近日，號稱史上最強大的開源模型——Met Llm 3 正式發佈。伴隨着日新月異的模型生態，騰訊雲異構計算平臺作爲覆蓋90%+大模型客戶的AI底座，現已做好充足的準備，圍繞Llm 3系列模型，提供從基礎設施到編排調度的智算產品矩陣，爲企業及開發者提供更快部署、更強性能和更高吞吐的全鏈路解決方案。
隨着大模型時代的到來，應用有望生長出更大價值。如何取得先發優勢、優質的模型能力是構建AI應用核心競爭力的關鍵。爲了解決中小企業及開發者在AI應用上擔心的敏捷部署、成本效益、數據安全等難題，我們推出了全新的即插即用的 GPU 應用服務產品——高性能應用服務 HAI 。不僅提供即插即用的便捷性，還支持 AI 模型在雲端的私有化部署，確保在有豐富模型選擇的同時，數據安全也能得到嚴格保護。
在 Met 發佈 Llm 3 後，騰訊雲 HAI 第一時間支持了 Llm 3 的一鍵部署。通過 HAI 僅需 3 分鐘，中小企業及開發者可以輕鬆實現基於 Llm 3 的應用創作與開發，將其應用於各種場景，如智能客服、內容創作、文本分析等，提升產品競爭力或企業運營效率。
騰訊雲 HAI 提供一鍵即得的澎湃算力與常見環境，助力中小企業及開發者快速部署 LLM、AI 作畫、數據科學等高性能應用，原生集成配套的開發工具與組件，大幅提高應用層的開發生產效率。此前已支持 ChtGLM 系列、Stble Diffusion、Llm 2 等豐富主流模型，同時支持 Notebook、WebUI 等多種圖形化算力交互模式，以應用爲核心降低雲原生 AI 應用落地門檻。
在硬件層面，騰訊雲推出的最新一代異構計算 GPU 實例 PNV5b，圍繞 Llm 3 等大模型場景，將AI推理部署性價比提升至新的高度。
Llm 3的模型特點與 Llm 2 十分類似，支持 GQA 機制降低大模型推理過程中的 KV cche 顯存開銷。PNV5b實例採用最新一代 GPU，單卡搭配 48GB 顯存，在算力和顯存匹配上做到了更好的平衡，爲大模型推理提供了更優的性價比。同時，PNV5b 實例在整機架構設計上支持最大單機 8 顆 GPU 高效擴展，大幅提升分佈式推理性能。
在 Llm 3 的推理部署測試中，在典型業務請求壓力條件下，PNV5b 的推理吞吐對比上一代 PNV4 可提升 2-3 倍；而在極端請求壓力測試下，性能可進一步提升至 0 倍。這意味着，PNV5b 實例能提供更好的性能擴展能力，讓用戶在面對大模型的業務洪峯時更加遊刃有餘。
除此之外，PNV5b 通過星星海服務器搭配最新一代 AMD CPU 平臺，提供多種實例規格，可靈活匹配大模型推理、大模型精調、推薦系統等多種場景的實例規格需求。將爲廣大用戶帶來更貼合業務的AI模型訓練和推理體驗，爲企業和開發者創造更多的價值。