阿里雲推出針對Llama 2系列版本的訓練和部署方案

阿里雲近日宣佈推出了針對Llm 2全系列版本的訓練和部署方案。爲了方便開發者,阿里雲機器學習平臺PAI在國內率先對Llm 2系列模型進行深度適配,推出了輕量級微調、全參數微調、推理服務等場景的最佳實踐方案,助力開發者快速基於Llm 2進行再訓練,搭建自己的專屬大模型。

此外,阿里雲還牽頭髮起了AI模型社區魔搭Modelscope,在該社區上提供了Llm2系列模型,開發者可以在該社區上進行模型開發。

開發者可以在魔搭社區的Llm2模型頁面點擊“Notebook快速開發”,從而一鍵拉起阿里雲機器學習平臺PAI,對模型進行雲上開發和部署。此外,在其他平臺下載的Llm2模型,也可以使用阿里雲PAI進行開發。

在阿里雲上,開發者可以通過輕量級Lo微調或全參數微調來完成Llm2模型的微調。完成微調後,PAI支持開發者通過Web UI及API的方式部署Llm2,使模型可以通過網頁或嵌入應用與使用者交互。

與本地單機訓練Llm2相比,在阿里雲上完成對超大尺寸模型的深度開發更加簡單便捷,而且預置環境免運維,操作簡單,同時開發者可以獲得豐富的AI計算資源和極致彈性。相比之下,本地單卡GPU只能完成Llm270億參數版本的輕量級Lo微調和推理,更大尺寸版本及更深度訓練均很難支撐。

據公開資料顯示,Llm 2在數據層面,相比上一代不僅使用了更多的訓練數據,而且context length翻倍,達到4096。值得一提的是,Llm 2在公開測試基準上的結果顯示,其在代碼、常識推理、世界知識、閱讀理解、數學等評測維度的能力均獲得大幅提升。7B版本在很多測試集上接近甚至有超越30B的MPT模型的表現。