美團發布下一代萬億參數大模型LongCat-2.0

PANews 6月30日消息，據金十報導，今日，美團正式發布其新一代萬億參數大模型LongCat-2.0，並將開源。LongCat-2.0的預訓練數據規模超過30T tokens，涵蓋中文、英文、多語言、代碼等數據類型；面對數萬張卡訓練中的硬件故障、通信異常、內存壓力和數值波動，LongCat團隊從穩定性、正確性和效率三個方面攻克了國產算力訓練的挑戰。在穩定性方面，通過HCCL異常處理、彈性卡擴縮和自動故障恢復，每月平均日故障率降低了70%以上；在正確性方面，通過自研確定性算子、位元一致性驗證和參數檢測，保證訓練結果可靠性，同時提升關鍵模塊的計算精度，並基於實踐優化Reduce邏輯。