Содержание
Что изменилось в llama.cpp 1.0.0
Команда ggml-org 13 ноября выпустила llama.cpp 1.0.0 и библиотеку ggml 1.0.0. Это открытый движок для запуска языковых и мультимодальных моделей на собственном компьютере или сервере, а не новая нейросеть. Разработчикам уже доступны исходники с тегом v1.0.0; для пользователей в релизе указана связанная готовая сборка b12359.
Совместимость библиотек теперь видна в номере версии
Главное изменение для приложений на базе llama.cpp — явные границы совместимости. Команда заявила, что несовместимые изменения API и ABI будут сопровождаться увеличением старшего номера версии. Новые возможности без нарушения совместимости относятся к MINOR-обновлениям, исправления без изменения API — к PATCH.
При этом сама версия 1.0 не сохраняет весь устаревший интерфейс: из публичного API удалены ранее помеченные устаревшими функции и параметры, включая llama_set_warmup и defrag_thold. Интерфейс NextN для спекулятивного декодирования перенесён в основной заголовок llama.h. Для разработчиков обёрток это означает возможную адаптацию кода, а не обещание обновления без изменений.
FP8-кэш, память MoE и новые модели
В движке появился KV-кэш в формате FP8 f8_e4m3. KV-кэш хранит промежуточные данные контекста при генерации; новый формат расширяет варианты управления его памятью. Также добавлен кэш экспертов MoE в оперативной памяти с настраиваемой долей вычислений на CPU. Влияние этих механизмов на скорость и расход памяти зависит от модели, оборудования и выбранного backend — универсального ускорения для любого компьютера релиз не обещает.
Среди новых поддерживаемых архитектур перечислены Kimi-K3.1-Pro, Ripple-65B-Preview и xing4_0. Для мультимодальных задач добавлены MageVL-Cowork и зрительная часть Kimi-K3.1, для синтеза речи — drama-3 TTS. В сервере появился совместимый с OpenAI маршрут /v1/audio/speech: он предназначен для работы с поддерживаемой речевой моделью, а не превращает любую текстовую модель в голосовую.
Локальный чат и защита сервера
Встроенный веб-интерфейс получил именованные группы чатов, редактор сообщений с предпросмотром Markdown и переработанную мобильную компоновку. Это изменения оболочки вокруг локально запущенной модели: её качество ответов по-прежнему определяется выбранными весами и настройками.
В llama-server исправлены проблемы, связанные с SSRF, CORS и DNS rebinding. Передача HF_TOKEN ограничена доменами huggingface.co, а вызовы MCP-инструментов отменяются при отключении клиента или тайм-ауте. Эти изменения уменьшают конкретные риски работы сервера и инструментов, но не являются гарантией полной безопасности любого развёртывания.
Что остаётся ограничением
Релиз не содержит универсальной модели и не отменяет требования к оперативной памяти или видеопамяти. Веса загружаются отдельно; их лицензии и аппаратные требования могут различаться. Поддержка архитектуры в движке также не означает одинаковую производительность всех моделей на CPU, CUDA, Metal и других backend.
Где попробовать
Официальный релиз v1.0.0 на GitHub содержит описание изменений и ссылку на готовые сборки b12359 для разных платформ. Исходники доступны публично; инструкция по сборке закреплена в документации версии 1.0.0.
Для локального знакомства в README приведена небольшая Qwen3.5-0.8B в GGUF: репозиторий открыт, без заявки на доступ. Параметры веб-интерфейса и совместимых API описаны в документации llama-server.
Источник: официальный анонс ggml-org на Hugging Face.
Как запустить локальный чат
Выберите подходящую сборку
Откройте связанный с релизом nightly b12359 и скачайте архив для своей ОС и оборудования. В разделе Assets доступны варианты для CPU и разных ускорителей. Распакуйте архив.
Скачайте файл модели
В открытом репозитории ggml-org/Qwen3.5-0.8B-GGUF выберите GGUF-файл, например Qwen3.5-0.8B-Q4_0.gguf, и сохраните его на компьютере. Веса модели не входят в архив движка.
Запустите сервер с явным портом
В каталоге распакованной сборки запустите llama-server -m /путь/к/модели.gguf --port 8080, заменив путь на свой. В Windows исполняемый файл называется llama-server.exe. Дождитесь загрузки модели.
Откройте локальный интерфейс
Откройте http://127.0.0.1:8080 в браузере и отправьте короткий запрос. Это интерфейс на вашем компьютере; для первого запуска нужны скачанные веса, для обработки запроса облачный API не требуется.