НовостьНейросетиЛокальные нейросетиРаспознавание речи

В llama.cpp добавили VibeVoice и Higgs для локальной расшифровки речи

В llama.cpp появилась поддержка Higgs Audio v3 STT и Microsoft VibeVoice-ASR. Команда ggml-org уже выложила готовые GGUF-файлы: модели можно запускать локально, без самостоятельной конвертации.

Ирина Видяшкина

16.11.2026 · 3 минут чтения · Нейросети

Llama Cpp Vibevoice Higgs Audio Local Asr Cover

Содержание

Две речевые модели стали доступны в llama.cpp

В llama.cpp добавили поддержку двух моделей распознавания речи: Higgs Audio v3 STT от Boson AI и VibeVoice-ASR от Microsoft. Изменение включили в основной код 15 ноября, а затем выпустили в сборке b12426. В ночь на 16 ноября команда ggml-org разместила готовые файлы обеих моделей на Hugging Face. Обновление предназначено для разработчиков и пользователей, которые хотят расшифровывать аудио на собственном компьютере.

Что именно изменилось

Новость не в выпуске самих речевых моделей: они существовали раньше. Новым стал их запуск через llama.cpp — общий движок для локальных нейросетей. В обновление вошли конвертация моделей, обработка аудио, поддержка мультимодальных компонентов и настройка запросов на транскрибацию в сервере. Для обеих архитектур также добавлен путь потоковой обработки входящего аудио; это техническая возможность движка, а не обещание одинаковой задержки на любом устройстве.

Такую интеграцию можно использовать как основу для локального сервиса расшифровки интервью, записей встреч или подкастов. Вместо отдельного окружения для каждой архитектуры разработчик получает знакомую инфраструктуру llama.cpp. Скорость и потребление памяти при этом зависят от выбранной модели, её представления и оборудования.

Чем различаются модели

Higgs Audio v3 STT объединяет аудиоэнкодер Whisper-Large-v3 и текстовый декодер Qwen3-1.7B. В исходной модели суммарно 2,68 млрд параметров. Её задача — преобразование речи в текст; официальная карточка описывает входной звук 16 кГц, моно.

VibeVoice-ASR ориентирована в том числе на длинные записи и структурированную расшифровку: кто говорил, когда и что именно сказал. Microsoft заявляет поддержку более 50 языков и записей продолжительностью до 60 минут за один проход при контексте до 64 тысяч токенов. Это характеристики исходной модели, а не опубликованный результат тестирования новой реализации llama.cpp.

Где попробовать

Готовые модели доступны в официальных репозиториях ggml-org: Higgs Audio v3 STT GGUF и VibeVoice-ASR GGUF. В обеих карточках приведены команды запуска через Llama и ссылка на официальное приложение. Это доступные для скачивания локальные модели, а не закрытый анонс или лист ожидания.

Ограничения нового запуска

В описании интеграции нет сравнительных замеров скорости, точности или минимального объёма памяти для двух новых моделей. Поэтому обещать работу в реальном времени, определённое качество русского языка либо обработку часовой записи на обычном ноутбуке пока нельзя. Сам проект отдельно предупреждает, что мультимодальная подсистема активно развивается и может получать несовместимые изменения.

Иллюстрация: официальная схема VibeVoice-ASR от Microsoft.

Как запустить локальное распознавание

Обновите локальный движок

Установите актуальный Llama с официального сайта llama.app либо сборку llama.cpp b12426 или новее из официальных GitHub Releases. Более ранняя сборка может не содержать новую интеграцию.

Выберите модель и запустите сервер

Для Higgs выполните в терминале llama serve -hf ggml-org/higgs-audio-v3-stt-GGUF. Для VibeVoice используйте llama serve -hf ggml-org/VibeVoice-ASR-GGUF. Эти команды опубликованы в официальных карточках GGUF; при первом запуске потребуется скачать файлы.

Проверьте короткую запись

Отправьте аудиофайл локальному серверу POST-запросом на /v1/audio/transcriptions, передав файл в поле file формы multipart/form-data и указав response_format=json. Начните с короткого фрагмента и сравните результат с записью, прежде чем обрабатывать длинные материалы.

Вопросы о файлах и условиях использования

Для обеих моделей доступны файлы Q4_K_M, Q8_0 и BF16, а также отдельные мультимодальные проекторы mmproj в BF16 и Q8_0. Полный набор файлов указан во вкладке Files and versions каждой карточки ggml-org.

Хочешь узнавать первым о таких новостях?

Переходи в наш телеграм канал где мы ежедневно публикуем самые свежие и интересные новости

Хочешь узнавать первым о таких новостях?

Переходи в наш телеграм канал где мы ежедневно публикуем самые свежие и интересные новости

Чиби Новости