9月7日,在2023騰訊全球數字生態大會上,騰訊混元大模型正式亮相,並通過騰訊雲對外全面開放。
據悉,混元大模型是由騰訊全鏈路自研的通用大語言模型,擁有超千億參數規模,預訓練語料超2萬億tokens。據騰訊集團副總裁蔣傑介紹,該大模型是從零開始訓練,公司掌握了從模型算法到機器學習框架,再到AI基礎設施的全鏈路自研技術,具備強大的中文創作能力,複雜語境下的邏輯推理能力,以及可靠的任務執行能力。
騰訊混元大模型具有強大的中文理解與創作能力、邏輯推理能力,以及可靠的任務執行能力,在解決大模型常見的“幻覺”問題上取得了明顯進步。針對大模型容易“胡言亂語”的問題,騰訊優化了預訓練算法及策略,讓混元大模型的幻覺相比主流開源大模型降低了30%至50%。
同時,通過強化學習的方法,讓模型學會識別陷阱問題,可以拒絕回答不恰當的用戶問題;通過位置編碼優化,提高了超長文的處理效果和性能。
目前混元大模型已經接入騰訊50多箇業務,包括騰訊雲、騰訊廣告、騰訊遊戲、騰訊會議、騰訊文檔、微信搜一搜和QQ瀏覽器等業務和產品,同時取得了不錯的效果。
未來它將作爲騰訊雲MS服務的底座,客戶不僅可以直接通過API調用混元,也可以將混元作爲基底模型,開發不同產業場景的應用。