Содержание
Большая MoE-модель — без загрузки всех весов в память
Разработчик Тарек Зиаде опубликовал на Hugging Face результаты и открытый код запуска Qwen3.8-Flash-Next — модели на 180 млрд параметров — на MacBook Pro M5 с 32 ГБ объединённой памяти. В его эксперименте генерация достигла примерно 13,9 токена в секунду. Проект можно скачать и воспроизвести локально: это экспериментальная реализация поверх Transformers, а не готовый облачный сервис.
На SSD остаётся то, что не нужно текущему токену
Qwen3.8-Flash-Next использует архитектуру Mixture-of-Experts: в каждом из 48 слоёв есть 512 экспертов, но для обработки одного токена выбираются только десять. Поэтому хранить все экспертные веса одновременно в оперативной памяти необязательно.
В реализации Зиаде эксперты остаются на SSD, а нужные блоки подгружаются в ограниченный кеш на устройстве. Часто используемые эксперты сохраняются в кеше; вычисления выполняются на GPU. Для этой модели потребовалось отдельно вынести на диск ещё и таблицу n-грамм объёмом 51 ГБ: одной выгрузки экспертов оказалось недостаточно.
В исходной конфигурации эксперты сжаты до 3 бит и занимают около 49 ГБ на диске, под их кеш выделено 12 ГиБ. После загрузки модели автор наблюдал около 18 ГиБ занятой памяти, а при запросе на 6000 токенов — пик 25,4 ГиБ. Это уже близко к пределу такого ноутбука: параллельно открытый браузер может вызвать подкачку.
Что показали замеры
После оптимизаций и перехода на GGUF-веса, используемые движком Strata, автор получил 13,9 токена в секунду при генерации ответов на 200 токенов. Для сравнения, Strata на том же M5 показала 14,8 токена в секунду. Обработка входного запроса на 4000 токенов достигла 228 токенов в секунду против 220 у Strata; генерация после документа на 6000 токенов — 12,4 против 13,7.
Это замеры конкретных конфигураций с отключёнными thinking, MTP и спекулятивной генерацией, а не универсальное ускорение любой модели. Сам автор отмечает, что достигнутой скорости ему всё ещё недостаточно для привычной работы с агентами программирования.
Ограничения экспериментальной реализации
Общий механизм выгрузки экспертов предложен в черновом pull request № 50717, который на момент проверки открыт и не слит. API ещё обсуждается с разработчиками Transformers. Специальные оптимизации для Qwen, чтение таблицы n-грамм и Metal-ядра находятся в отдельном проекте.
Низкое потребление оперативной памяти не отменяет требований к накопителю. В описанном автором пути подготовки скачивается около 130 ГБ исходных весов, затем создаётся примерно 105 ГБ преобразованных данных; конвертация занимает около пяти часов. Приведённые результаты относятся к Apple Silicon и не подтверждают такую же скорость на Windows, Linux или более старых Mac.
Где попробовать
Код и инструкции автора доступны на GitHub; для описанного запуска нужны Mac с Apple Silicon и Python 3.10 или новее. Пакет использует экспериментальную ветку Transformers, поэтому обычного обновления стабильной библиотеки недостаточно. Это локальный запуск для разработчиков, не браузерный чат.
Страница проекта на Hugging Face содержит результаты и подробности замеров. Полный технический разбор опубликован в исходной статье Зиаде.
Как воспроизвести эксперимент
Подготовьте отдельное окружение
На Mac с Apple Silicon создайте окружение Python 3.10 или новее и откройте README репозитория tarekziade/moe-expert-streaming на GitHub.
Установите проект из исходников
Скачайте репозиторий и выполните установку пакета по README. Его зависимости подтягивают ветку Transformers с механизмом выгрузки экспертов, а не стабильный релиз.
Подготовьте веса и место на SSD
Выберите описанный автором путь конвертации или совместимые подготовленные веса. Сверьте объём исходных и выходных файлов со свободным местом до начала загрузки.
Запустите короткую проверку
Закройте лишние приложения и начните с короткого запроса из примера README. Для замеров используйте предусмотренный проектом защищённый запуск и следите за давлением на память.