Содержание
Зачем NVIDIA сжимает большие MoE-модели
NVIDIA выпустила Nemotron-Labs-3-Puzzle-75B-A9B — сжатую версию Nemotron-3-Super. Если исходная модель имела 120,7B параметров и 12,8B активных параметров, новая версия уменьшена до 75,3B total и 9,3B active. Главная цель — не просто сделать модель меньше, а улучшить практический инференс: больше пользователей, длиннее контекст и выше throughput на том же железе.
Что изменилось в модели
Nemotron-3-Super — hybrid Mamba-Transformer MoE-модель. В Puzzle-75B-A9B NVIDIA сохранила общую архитектурную схему из 88 блоков: Mamba, MoE и attention-слои остались на своих местах. Но внутри блоков уменьшили ёмкость: урезали часть MoE-экспертов, активное число routed experts и размер Mamba-состояний.
Такой подход отличается от грубого «просто сделать модель меньше». NVIDIA использует Puzzle — метод поиска архитектурных замен под конкретные deployment-ограничения. То есть модель оптимизировали не абстрактно, а под реальные сценарии сервинга.
Главные цифры: throughput и длинный контекст
По данным NVIDIA, на 8xB200 новая модель даёт от 1,60x до 2,14x прироста total throughput по сравнению с Super при сопоставимых условиях. В сценарии 8K входа и 64K выхода прирост достигает примерно 2,03x.
Ещё интереснее сценарий с 1M-token контекстом на одном H100. Для исходной модели память становится узким местом: веса занимают около 70 ГБ, и остаётся место фактически на один запрос с длинным контекстом. У Puzzle-75B-A9B веса занимают около 44,5 ГБ, поэтому concurrency для 1M-token запросов может вырасти до 8.
Какая цена у сжатия
Сжатие не бесплатно. В отдельных бенчмарках модель теряет несколько пунктов: например, Arena-Hard-V2 и SWE-Bench проседают сильнее, чем long-context тесты. Это важный нюанс: модель становится эффективнее для сервинга, но не обязательно лучше для всех типов агентных задач.
Зато для сервисов, где стоимость инференса, concurrency и длинный контекст важнее абсолютного максимума качества, такие оптимизации могут быть решающими. Это особенно актуально для RAG-систем, корпоративных ассистентов и coding-инструментов, которые работают с большими документами или репозиториями.
Почему новость важна
Рынок AI постепенно переходит от гонки «самая большая модель» к вопросу «какую модель реально можно дешево и стабильно обслуживать». Nemotron Puzzle показывает, что следующий виток конкуренции будет идти вокруг компрессии, квантования, long-context concurrency и стоимости одного ответа.