می‌توانید مدل بزرگ با تریلیون پارامتر نسل بعدی LongCat-2.0 را منتشر کرد

PANews 30 ژوئن، به گزارش Jin10، امروز، می‌توانید به طور رسمی مدل بزرگ با تریلیون پارامتر نسل بعدی LongCat-2.0 را منتشر کرد و آن را به صورت منبع باز در اختیار عموم قرار خواهد داد. مقیاس داده‌های پیش‌آموزش LongCat-2.0 بیش از 30 تریلیون توکن است که شامل انواع داده‌های چینی، انگلیسی، چندزبانه، کد و غیره می‌شود. در مواجهه با خرابی‌های سخت‌افزاری، ناهنجاری‌های ارتباطی، فشار حافظه و نوسانات عددی در آموزش روی ده‌ها هزار کارت، تیم LongCat چالش‌های آموزش با توان محاسباتی داخلی را از سه جنبه پایداری، صحت و کارایی حل کرد. از نظر پایداری، از طریق مدیریت استثناهای HCCL، مقیاس‌پذیری الاستیک کارت و بازیابی خودکار خطا، میانگین نرخ خرابی روزانه در ماه بیش از 70 درصد کاهش یافت. از نظر صحت، با توسعه عملگرهای قطعی خودکار، تأیید سازگاری بیتی و تشخیص پارامتر، قابلیت اطمینان نتایج آموزش تضمین می‌شود، در حالی که دقت محاسباتی ماژول‌های کلیدی نیز بهبود یافته و منطق Reduce بر اساس عمل بهینه‌سازی شده است.