Meituan Lança Modelo de Grande Porte de Próxima Geração com Trilhões de Parâmetros LongCat-2.0

PANews 30 de junho, de acordo com relatos da Jin10, hoje, a Meituan lançou oficialmente o seu novo modelo de grande porte com trilhões de parâmetros LongCat-2.0, e irá disponibilizá-lo como código aberto. A escala de dados de pré-treinamento do LongCat-2.0 excede 30T tokens, abrangendo chinês, inglês, multilíngue, código e outros tipos de dados; enfrentando falhas de hardware, anomalias de comunicação, pressão de memória e flutuações numéricas no treinamento em dezenas de milhares de cartões, a equipa LongCat abordou os desafios do treinamento com poder computacional doméstico a partir de três aspetos: estabilidade, correção e eficiência. Em termos de estabilidade, através do tratamento de exceções HCCL, escalonamento elástico de cartões e recuperação automática de falhas, a taxa média de falhas diárias por mês foi reduzida em mais de 70%; em termos de correção, através do desenvolvimento próprio de operadores determinísticos, verificação de consistência bit a bit e deteção de parâmetros, a fiabilidade dos resultados do treinamento é garantida, ao mesmo tempo que melhora a precisão computacional de módulos chave e otimiza a lógica Reduce com base na prática.