Содержание
Bonsai 27B показывает, как большие AI-модели могут переехать на смартфон
PrismML представила Bonsai 27B — сжатую модель на 27 млрд параметров, которую компания позиционирует как полноценную reasoning-модель для локального запуска на Apple-устройствах. В основе лежит Qwen3.6-27B, а сама Bonsai должна поддерживать многошаговые рассуждения, работу с инструментами, понимание изображений и агентные задачи.
Главная интрига в размере: обычная 27B-модель может занимать десятки гигабайт, а PrismML говорит о вариантах около 5,9 ГБ для ноутбуков и около 3,9 ГБ для смартфонов. Это уже попадает в диапазон, где модель можно запускать локально на современном iPhone без постоянного обращения к облаку.
Что изменилось технически
Компания использует агрессивное сжатие весов: вместо привычных 16 бит на вес отдельные варианты Bonsai используют один или чуть меньше двух бит. По собственным тестам PrismML, более крупная версия сохраняет до 95% качества исходной Qwen3.6-27B, а самая компактная — около 90%. При этом математика и кодинг, по заявлению компании, просели меньше, чем визуальные и агентные сценарии.
Для пользователей это важно не только из-за скорости. Локальная модель снижает стоимость длинных цепочек действий: агент может делать десятки или сотни внутренних вызовов без оплаты каждого токена в облаке. Плюс приватные данные — экран, документы, черновики, переписка — могут оставаться на устройстве, если задача не требует frontier-модели.
Почему это важно для креаторов и бизнеса
Если такой подход станет массовым, AI-инструменты для контента смогут работать быстрее и стабильнее: офлайн-черновики, локальная обработка материалов, персональные ассистенты для сценариев, монтажных заметок, промптов и документов будут меньше зависеть от подключения и лимитов API. Для бизнеса это ещё и способ уменьшить расходы на повторяющиеся агентные операции.
PrismML уже выложила веса под Apache 2.0, показывает запуск через Apple MLX и NVIDIA GPU, а также предлагает developer preview API и демо на Hugging Face. The Decoder со ссылкой на CNBC пишет, что Apple и другие компании уже тестируют технологию по скорости, энергопотреблению и качеству, хотя переговоры находятся на ранней стадии.
Что пока стоит держать в уме
Все цифры производительности пока стоит воспринимать как данные от разработчика, а не независимый массовый бенчмарк. Но сам вектор понятен: локальный AI перестаёт быть только историей про маленькие модели и простые команды. Следующий этап — гибридные ассистенты, где приватные и частые действия выполняются на устройстве, а самые сложные запросы уходят в облако.