由于各種原因，一些企業傾向于在其人工智能（AI）應用中使用功能較弱但開源的大型語言模型（LLM）
做出這種決定的人通常希望節省調用API的成本或對AI服務提供商的數據保護措施不信任。 Multiable對此方法沒有立場。無論如何，讓我們來了解一下采用自有LLAMA的運營成本，這是目前最受歡迎的開源LLM之一。
許多人在計劃在云中設置一個“可用”的LLAMA時犯了錯誤，特別是忽略了生產運行所需的一系列云服務。 是的，可能有1/5的IT人員傾向于使用UAT環境的成本向管理層申請預算，然后當系統實際運行時情況變得糟糕！ 事實上，在亞馬遜網絡服務（AWS）中托管大型語言模型架構（LLAMA）涉及與不同AWS服務相關的多個成本組成部分。
- 亞馬遜EC2（彈性計算云）：
- 定價取決于所選實例類型和配置。為了托管LLAMA，建議使用如p3.2xlarge這樣的GPU實例進行密集型機器學習任務。
- p3.2xlarge實例：每小時約3.06美元。
- p3.8xlarge實例：每小時約12.24美元。
- 預留實例和競價實例可以提供顯著的成本節省。
- 亞馬遜S3（簡單存儲服務）：
- 用于存儲數據集和模型檢查點。
- 標準存儲：每月每GB 0.023美元。
- 不頻繁訪問存儲：每月每GB 0.0125美元。
- Glacier存儲（用于歸檔模型）：每月每GB 0.004美元。
- 亞馬遜EBS（彈性塊存儲）：
- 為與EC2實例一起使用的持久性塊存儲提供支持。
- 通用SSD（gp2）：每月每GB 0.10美元。
- 預配置IOPS SSD（io1）：基于預配置的IOPS和存儲大小而變化。
- 亞馬遜VPC（虛擬私有云）：
- 數據傳輸可能會產生費用，例如在不同服務間傳輸數據。
- 數據傳輸出站：每月前1GB免費，之后每GB 0.09美元，最多每月10TB。
- AWS Lambda：
- 處理所需的任何無服務器函數。
- Lambda函數：每1百萬次請求0.20美元，加上每GB-秒的計算時間0.00001667美元。
- 亞馬遜CloudWatch：
- 基礎設施的監控和日志記錄服務。
- 自定義指標：每月每指標0.30美元。
- 日志：每GB輸入0.50美元，每GB存檔0.03美元。 確定在AWS中托管和運行自有語言學習模型架構（LLAMA）的完整年度成本取決于幾個因素，包括計算能力、數據存儲、網絡傳輸成本和其他輔助服務。 計算：AWS提供各種適合大型語言模型的實例，例如基于GPU的EC2實例。例如，使用p3.8xlarge實例，每小時大約12.24美元，連續運行的平均年費用約為107,136美元。
- 存儲：亞馬遜S3或EBS提供靈活的存儲選項。高性能EBS可能每月每GB約0.10美元。假設需要10TB，存儲成本可能在每年12,000美元左右。 網絡傳輸：數據傳輸成本各不相同，但對于大量的數據輸出和輸入，估計每月500美元的費用可能導致每年6000美元。
- 附加服務：使用AWS Lambda、API Gateway或其他服務可能會增加額外的5000美元輔助成本。 以下是粗略估計。總年度成本大約為： ? 計算：107,136美元 ? 存儲：12,000美元 ? 網絡傳輸：6,000美元 ? 輔助服務：5,000美元 總估計：大約130,136美元每年。
- LAIDFU是一個由無代碼方法驅動的可配置企業AI，允許用戶在應用程序中采用不同的AI服務提供商，從OpenAI、百度到自有的LLAMA。用戶可以自由選擇最適合的LLM來運行用戶定義的各種業務流程中的用例。 [了解更多關于LAIDFU]