Сбер открыл исходный код новой флагманской языковой модели GigaChat 3.5 Ultra с 432 миллиардами параметров. Это не просто очередная итерация - архитектуру переписали с нуля, инференс стал дешевле, а сама модель обогнала предшественника по ключевым бенчмаркам, несмотря на меньший размер.
Меньше параметров - не значит слабее
Прошлый флагман компании, GigaChat 3.1 Ultra, весил 700 миллиардов параметров. Новая модель компактнее почти вдвое. Казалось бы - шаг назад. Но за счёт переработанного рецепта обучения, свежего корпуса данных и архитектурных изменений команде удалось выжать из 432B больше, чем было в 700B.
Особую роль сыграла гибридная архитектура: MLA-слои совместили с GatedDeltaNet и добавили механизмы стабилизации, которые позволяют устойчиво обучать модель на сотнях миллиардов параметров. Это собственная разработка - не адаптация чужого рецепта, а результат более 1500 экспериментов внутри команды.
KV-кеш на токен сократился примерно в четыре раза. В ту же память теперь помещается вдвое больше контекста, а пропускная способность выросла на 20%. Плюс - ускорение генерации через MTP-головы для self-speculative decoding: в режиме greedy скорость увеличивается в 2,2 раза.
Данные: синтетику потеснил живой веб
Прежде Сбер активно использовал синтетически сгенерированные данные для предобучения. На небольших моделях это работало хорошо, но при масштабе в сотни миллиардов параметров синтетика начинала «схлопываться» - разнообразие падало, покрытие реальных сценариев оставалось неполным.
В 3.5 основу pretrain-корпуса составляют органические тексты. Главный источник - веб: HTML-документы прогнали через LLM-парсинг и получили чистый Markdown с сохранением формул и таблиц. Это потребовало колоссальных вычислительных ресурсов, зато дало ощутимый прирост на MMLU, MATH и смежных бенчмарках.
Итоговый состав претрейн-корпуса выглядит так:
- 52% - веб
- 26% - качественные источники (научные статьи и аналогичные материалы)
- 16% - код (охват вырос с 16 до более чем 600 языков программирования)
- 6% - математика
Синтетика никуда не исчезла - она по-прежнему работает на стадии midtrain, но теперь скорее обогащает органические источники, а не заменяет их.
Что это означает на практике
GigaChat 3.5 Ultra ощутимо прибавил в коде, агентных сценариях и сложных предметных областях. Именно эти направления остаются узкими местами большинства открытых моделей - и именно здесь сосредоточились усилия команды в новом цикле разработки.
Выход модели в open source означает, что её можно развернуть самостоятельно. Для исследователей и разработчиков, работающих с русскоязычными задачами, это один из наиболее мощных публично доступных вариантов на сегодня. Конкуренция с зарубежными открытыми флагманами становится предметным разговором - не декларацией.
