Содержание
Две речевые модели стали доступны в llama.cpp
В llama.cpp добавили поддержку двух моделей распознавания речи: Higgs Audio v3 STT от Boson AI и VibeVoice-ASR от Microsoft. Изменение включили в основной код 15 ноября, а затем выпустили в сборке b12426. В ночь на 16 ноября команда ggml-org разместила готовые файлы обеих моделей на Hugging Face. Обновление предназначено для разработчиков и пользователей, которые хотят расшифровывать аудио на собственном компьютере.
Что именно изменилось
Новость не в выпуске самих речевых моделей: они существовали раньше. Новым стал их запуск через llama.cpp — общий движок для локальных нейросетей. В обновление вошли конвертация моделей, обработка аудио, поддержка мультимодальных компонентов и настройка запросов на транскрибацию в сервере. Для обеих архитектур также добавлен путь потоковой обработки входящего аудио; это техническая возможность движка, а не обещание одинаковой задержки на любом устройстве.
Такую интеграцию можно использовать как основу для локального сервиса расшифровки интервью, записей встреч или подкастов. Вместо отдельного окружения для каждой архитектуры разработчик получает знакомую инфраструктуру llama.cpp. Скорость и потребление памяти при этом зависят от выбранной модели, её представления и оборудования.
Чем различаются модели
Higgs Audio v3 STT объединяет аудиоэнкодер Whisper-Large-v3 и текстовый декодер Qwen3-1.7B. В исходной модели суммарно 2,68 млрд параметров. Её задача — преобразование речи в текст; официальная карточка описывает входной звук 16 кГц, моно.
VibeVoice-ASR ориентирована в том числе на длинные записи и структурированную расшифровку: кто говорил, когда и что именно сказал. Microsoft заявляет поддержку более 50 языков и записей продолжительностью до 60 минут за один проход при контексте до 64 тысяч токенов. Это характеристики исходной модели, а не опубликованный результат тестирования новой реализации llama.cpp.
Где попробовать
Готовые модели доступны в официальных репозиториях ggml-org: Higgs Audio v3 STT GGUF и VibeVoice-ASR GGUF. В обеих карточках приведены команды запуска через Llama и ссылка на официальное приложение. Это доступные для скачивания локальные модели, а не закрытый анонс или лист ожидания.
Ограничения нового запуска
В описании интеграции нет сравнительных замеров скорости, точности или минимального объёма памяти для двух новых моделей. Поэтому обещать работу в реальном времени, определённое качество русского языка либо обработку часовой записи на обычном ноутбуке пока нельзя. Сам проект отдельно предупреждает, что мультимодальная подсистема активно развивается и может получать несовместимые изменения.
Иллюстрация: официальная схема VibeVoice-ASR от Microsoft.
Как запустить локальное распознавание
Обновите локальный движок
Установите актуальный Llama с официального сайта llama.app либо сборку llama.cpp b12426 или новее из официальных GitHub Releases. Более ранняя сборка может не содержать новую интеграцию.
Выберите модель и запустите сервер
Для Higgs выполните в терминале llama serve -hf ggml-org/higgs-audio-v3-stt-GGUF. Для VibeVoice используйте llama serve -hf ggml-org/VibeVoice-ASR-GGUF. Эти команды опубликованы в официальных карточках GGUF; при первом запуске потребуется скачать файлы.
Проверьте короткую запись
Отправьте аудиофайл локальному серверу POST-запросом на /v1/audio/transcriptions, передав файл в поле file формы multipart/form-data и указав response_format=json. Начните с короткого фрагмента и сравните результат с записью, прежде чем обрабатывать длинные материалы.