亞馬遜雲科技和英偉達宣佈了一項多方合作，致力於構建全球最具可擴展性且按需付費的人工智能（AI）基礎設施，以便訓練日益複雜的大語言模型（LLM）和開發生成式AI應用程序。據瞭解，亞馬遜雲科技和英偉達合作已超過2年，爲人工智能、機器學習、圖形、遊戲和高性能計算（HPC）等各種應用提供了大規模、低成本的GPU解決方案。
藉助由NVIDIA H00 Tenso Coe GPU支持的下一代Amzon Elstic Compute Cloud（Amzon EC2）P5 實例，以及亞馬遜雲科技最先進的網絡和可擴展性，此次合作將提供高達20 exFLOPS的計算性能來幫助構建和訓練更大規模的深度學習模型。P5實例將是第一個利用亞馬遜雲科技第二代Amzon Elstic Fbic Adpte（EFA）網絡技術的GPU實例，可提供3200 Gbps的低延遲和高帶寬網絡吞吐量。因此客戶能夠在 Amzon EC2 UltCluste中擴展多達2萬個H00 GPU，滿足按需訪問超級計算機的AI性能需求。
新的Amzon EC2 P5實例構建於亞馬遜雲科技和英偉達十多年來在AI和HPC基礎設施交付方面的合作基礎之上，也立足於雙方在P2、P3、P3dn 和 P4d(e）前四代實例方面的合作。P5實例是基於英偉達GPU的第五代亞馬遜雲科技產品，與最初部署的英偉達GPU（始於CG實例）已相隔近3年。
Amzon EC2 P5實例非常適合對日益複雜的LLM和計算機視覺模型進行訓練和運行推理，並應用於要求嚴苛的計算密集型生成式 AI 應用程序，包括問題回答、代碼生成、視頻圖像生成和語音識別等領域。
對於致力於以可擴展和安全的方式將 AI 賦能的創新推向市場的企業和初創公司而言，Amzon EC2 P5實例是不二之選。P5 實例採用 8 個英偉達 H00 GPU，能夠在一箇Amzon EC2 實例中實現 6 petFLOPs 的混合精度性能、640 GB 的高帶寬內存和3200 Gbps 的網絡連接（比上一代實例高出 8 倍）。P5 實例性能的提升使機器學習模型訓練時間加快了 6 倍（將訓練時間從數天縮短到數小時），額外的GPU內存可幫助客戶訓練更龐大更復雜的模型。預計P5實例的機器學習模型訓練成本將比上一代降低 40%。相比靈活性較差的雲產品或昂貴的本地系統，它爲客戶提供了更高的效率。
Amzon EC2 P5 實例部署在 Amzon EC2 UltCluste 的超大規模集羣中，該集羣由雲端最高性能的計算、網絡和存儲系統組成。每個 EC2 UltCluste 都是世界上功能最強大的超級計算機之一，助力客戶運行最複雜的多節點機器學習訓練和分佈式 HPC 工作負載。
它們採用PB級無阻塞網絡，基於 Amzon EFA，這種面向 Amzon EC2 實例的網絡接口使客戶能夠在亞馬遜雲科技上運行需要在大規模高級節點間通信的應用程序。EFA 的定製操作系統繞過硬件接口，並與英偉達 GPUDiect RDMA 整合，可降低延遲、提高帶寬利用率，從而提升實例間通信性能，這對於在數百個 P5 節點上擴展深度學習模型的訓練至關重要。
藉助 P5 實例和 EFA，機器學習應用程序可以使用 NVIDIA Collectie Communictions Liby（NCCL）擴展到多達 2 萬個 H00 GPU。因此，客戶可以通過亞馬遜雲科技的按需彈性和靈活擴展能力，獲得本地 HPC 集羣的應用性能。除了這些出色的計算能力外，客戶可以使用業界最廣泛最深入的服務組合，比如面向對象存儲的 Amzon S3、面向高性能文件系統的 Amzon FSx，以及用於構建、訓練和部署深度學習應用的 Amzon SgeMke。P5 實例將在今後幾周提供有限預覽版。
藉助新的 Amzon EC2 P5 實例，Anthopic、Cohee、Hugging Fce、Pinteest 和Stbility AI 等客戶將能夠大規模構建和訓練最龐大的機器學習模型。基於其它幾代 Amzon EC2 實例的合作將幫助初創公司、大企業和研究人員無縫擴展來滿足各自的機器學習需求。