메이투안, 차세대 조 단위 파라미터 대규모 모델 LongCat-2.0 출시

PANews 6월 30일 소식, Jin10 보도에 따르면 오늘 메이투안이 차세대 조 단위 파라미터 대규모 모델 LongCat-2.0을 공식 출시하고 오픈소스로 공개할 예정입니다. LongCat-2.0의 사전 학습 데이터 규모는 30T 토큰을 초과하며 중국어, 영어, 다국어, 코드 등 다양한 데이터 유형을 포함합니다. 수만 개의 카드에서 훈련 중 발생하는 하드웨어 오류, 통신 이상, 메모리 압력 및 수치 변동에 직면하여 LongCat 팀은 안정성, 정확성 및 효율성의 세 가지 측면에서 국내 컴퓨팅 파워 훈련의 과제를 해결했습니다. 안정성 측면에서는 HCCL 예외 처리, 탄력적 카드 확장 및 자동 장애 복구를 통해 월 평균 일일 장애율을 70% 이상 줄였습니다. 정확성 측면에서는 자체 개발한 결정론적 연산자, 비트 단위 일관성 검증 및 매개변수 탐지를 통해 훈련 결과의 신뢰성을 보장하고, 핵심 모듈의 계산 정밀도를 향상시키며 실제 경험을 바탕으로 Reduce 로직을 최적화했습니다.