Meituan выпускает новое поколение триллионно-параметрической большой модели LongCat-2.0

PANews 30 июня, по сообщениям Jin10, сегодня Meituan официально выпустила новое поколение триллионно-параметрической большой модели LongCat-2.0 и сделает ее открытым исходным кодом. Объем предварительных обучающих данных LongCat-2.0 превышает 30 трлн токенов, охватывая китайский, английский, многоязычные, кодовые и другие типы данных; столкнувшись с аппаратными сбоями, аномалиями связи, давлением памяти и числовыми колебаниями при обучении на десятках тысяч карт, команда LongCat решила проблемы обучения на отечественных вычислительных мощностях с трех сторон: стабильность, корректность и эффективность. В плане стабильности, благодаря обработке исключений HCCL, эластичному масштабированию карт и автоматическому восстановлению после сбоев, средняя ежедневная частота отказов в месяц была снижена более чем на 70%; в плане корректности, путем самостоятельной разработки детерминированных операторов, проверки побитовой согласованности и обнаружения параметров, гарантируется надежность результатов обучения, а также повышается вычислительная точность ключевых модулей и оптимизируется логика Reduce на основе практики.