Содержание
Bonsai 27B переносит крупную AI-модель на локальные устройства
PrismML анонсировала Bonsai 27B — мультимодальную модель на базе Qwen3.6 27B, сжатую до размеров, которые позволяют запускать ее локально. Компания называет релиз первой 27B-class моделью, способной работать на телефоне: 1-битная версия занимает около 3,9 ГБ, а более качественная ternary-версия — около 5,9 ГБ.
Это не новая модель, обученная с нуля, а low-bit representation существующей архитектуры Qwen3.6 27B. PrismML утверждает, что сжатие применяется почти ко всей языковой сети — embeddings, attention, MLP и LM head — без скрытого возврата к высокой точности. Vision tower поставляется отдельно в 4-битном виде, поэтому модель сохраняет мультимодальные сценарии: скриншоты, документы и изображения.
Что обещают по качеству
По тестам PrismML на 15 бенчмарках, ternary Bonsai 27B сохраняет около 95% результата full-precision версии, а 1-битная — около 90%. Особенно важны категории, которые нужны агентам: математика, кодинг, structured tool calls, vision и instruction following. Контекст заявлен до 262K токенов, а для ускорения доступен speculative decoding.
Почему это важно для пользователей
Главная идея релиза — перенести более сильный AI с облака на устройство. Для пользователя это означает меньше зависимости от API, нулевую стоимость дополнительных шагов внутри длинной агентной задачи и больше приватности: файлы, экран, документы и промежуточные результаты могут оставаться локально. Для разработчиков это открывает гибридную схему, где локальная модель берет частые и приватные задачи, а облачная frontier-модель подключается только к самым сложным шагам.
Где можно запускать
Bonsai 27B опубликована под Apache 2.0. Весы доступны для llama.cpp с CUDA, Metal и CPU, есть MLX-варианты для Apple Silicon и iOS, а также демо-репозиторий с примерами. По заявлению PrismML, 1-битная версия показывает около 11 токенов в секунду на iPhone 17 Pro Max, а на более мощном железе может работать существенно быстрее.
Для контент-команд и small business это не «еще одна модель в таблице», а важный сдвиг: локальные ассистенты становятся ближе к уровню, где они могут разбирать большие документы, работать с инструментами и выполнять длинные workflows без постоянной отправки данных в облако. Если подход PrismML подтвердится на независимых тестах, конкуренция в AI будет идти не только за максимальный IQ модели, но и за intelligence density — сколько полезного reasoning помещается в один гигабайт.