НовостьНейросетиHugging FaceQwen

Разработчик запустил Qwen на 180 млрд параметров на Mac с 32 ГБ памяти — код открыт

В эксперименте Тарека Зиаде Qwen3.8-Flash-Next выдаёт около 14 токенов в секунду на MacBook Pro M5 с 32 ГБ памяти. Эксперты модели подгружаются с SSD; код доступен, но интеграция с Transformers пока находится в черновом pull request.

Ирина Видяшкина

19.11.2026 · 3 минут чтения · Нейросети

Hugging Face Moe Streaming Qwen 180b Mac 32gb Cover

Содержание

Большая MoE-модель — без загрузки всех весов в память

Разработчик Тарек Зиаде опубликовал на Hugging Face результаты и открытый код запуска Qwen3.8-Flash-Next — модели на 180 млрд параметров — на MacBook Pro M5 с 32 ГБ объединённой памяти. В его эксперименте генерация достигла примерно 13,9 токена в секунду. Проект можно скачать и воспроизвести локально: это экспериментальная реализация поверх Transformers, а не готовый облачный сервис.

На SSD остаётся то, что не нужно текущему токену

Qwen3.8-Flash-Next использует архитектуру Mixture-of-Experts: в каждом из 48 слоёв есть 512 экспертов, но для обработки одного токена выбираются только десять. Поэтому хранить все экспертные веса одновременно в оперативной памяти необязательно.

В реализации Зиаде эксперты остаются на SSD, а нужные блоки подгружаются в ограниченный кеш на устройстве. Часто используемые эксперты сохраняются в кеше; вычисления выполняются на GPU. Для этой модели потребовалось отдельно вынести на диск ещё и таблицу n-грамм объёмом 51 ГБ: одной выгрузки экспертов оказалось недостаточно.

В исходной конфигурации эксперты сжаты до 3 бит и занимают около 49 ГБ на диске, под их кеш выделено 12 ГиБ. После загрузки модели автор наблюдал около 18 ГиБ занятой памяти, а при запросе на 6000 токенов — пик 25,4 ГиБ. Это уже близко к пределу такого ноутбука: параллельно открытый браузер может вызвать подкачку.

Что показали замеры

После оптимизаций и перехода на GGUF-веса, используемые движком Strata, автор получил 13,9 токена в секунду при генерации ответов на 200 токенов. Для сравнения, Strata на том же M5 показала 14,8 токена в секунду. Обработка входного запроса на 4000 токенов достигла 228 токенов в секунду против 220 у Strata; генерация после документа на 6000 токенов — 12,4 против 13,7.

Это замеры конкретных конфигураций с отключёнными thinking, MTP и спекулятивной генерацией, а не универсальное ускорение любой модели. Сам автор отмечает, что достигнутой скорости ему всё ещё недостаточно для привычной работы с агентами программирования.

Ограничения экспериментальной реализации

Общий механизм выгрузки экспертов предложен в черновом pull request № 50717, который на момент проверки открыт и не слит. API ещё обсуждается с разработчиками Transformers. Специальные оптимизации для Qwen, чтение таблицы n-грамм и Metal-ядра находятся в отдельном проекте.

Низкое потребление оперативной памяти не отменяет требований к накопителю. В описанном автором пути подготовки скачивается около 130 ГБ исходных весов, затем создаётся примерно 105 ГБ преобразованных данных; конвертация занимает около пяти часов. Приведённые результаты относятся к Apple Silicon и не подтверждают такую же скорость на Windows, Linux или более старых Mac.

Где попробовать

Код и инструкции автора доступны на GitHub; для описанного запуска нужны Mac с Apple Silicon и Python 3.10 или новее. Пакет использует экспериментальную ветку Transformers, поэтому обычного обновления стабильной библиотеки недостаточно. Это локальный запуск для разработчиков, не браузерный чат.

Страница проекта на Hugging Face содержит результаты и подробности замеров. Полный технический разбор опубликован в исходной статье Зиаде.

Как воспроизвести эксперимент

Подготовьте отдельное окружение

На Mac с Apple Silicon создайте окружение Python 3.10 или новее и откройте README репозитория tarekziade/moe-expert-streaming на GitHub.

Установите проект из исходников

Скачайте репозиторий и выполните установку пакета по README. Его зависимости подтягивают ветку Transformers с механизмом выгрузки экспертов, а не стабильный релиз.

Подготовьте веса и место на SSD

Выберите описанный автором путь конвертации или совместимые подготовленные веса. Сверьте объём исходных и выходных файлов со свободным местом до начала загрузки.

Запустите короткую проверку

Закройте лишние приложения и начните с короткого запроса из примера README. Для замеров используйте предусмотренный проектом защищённый запуск и следите за давлением на память.

Вопросы об эксперименте

Нет. Используется Qwen3.8-Flash-Next. Новизна проекта — в способе подгрузки её экспертов и других крупных таблиц с накопителя при локальном запуске.

Хочешь узнавать первым о таких новостях?

Переходи в наш телеграм канал где мы ежедневно публикуем самые свежие и интересные новости

Хочешь узнавать первым о таких новостях?

Переходи в наш телеграм канал где мы ежедневно публикуем самые свежие и интересные новости

Чиби Новости