НовостьНейросетиЛокальные нейросетиOpen Source

Вышла llama.cpp 1.0 — локальный ИИ получил FP8-кэш и обновлённый веб-интерфейс

Команда ggml-org выпустила llama.cpp 1.0.0 и ggml 1.0.0. В релизе — новые правила совместимости API, FP8-кэш, управление памятью MoE-моделей, переработанный веб-интерфейс и исправления безопасности локального сервера. Исходники и связанные готовые сборки уже доступны.

Ирина Видяшкина

13.11.2026 · 4 минут чтения · Нейросети

Llama Cpp 1 0 Local AI API Fp8 Security Cover

Содержание

Что изменилось в llama.cpp 1.0.0

Команда ggml-org 13 ноября выпустила llama.cpp 1.0.0 и библиотеку ggml 1.0.0. Это открытый движок для запуска языковых и мультимодальных моделей на собственном компьютере или сервере, а не новая нейросеть. Разработчикам уже доступны исходники с тегом v1.0.0; для пользователей в релизе указана связанная готовая сборка b12359.

Совместимость библиотек теперь видна в номере версии

Главное изменение для приложений на базе llama.cpp — явные границы совместимости. Команда заявила, что несовместимые изменения API и ABI будут сопровождаться увеличением старшего номера версии. Новые возможности без нарушения совместимости относятся к MINOR-обновлениям, исправления без изменения API — к PATCH.

При этом сама версия 1.0 не сохраняет весь устаревший интерфейс: из публичного API удалены ранее помеченные устаревшими функции и параметры, включая llama_set_warmup и defrag_thold. Интерфейс NextN для спекулятивного декодирования перенесён в основной заголовок llama.h. Для разработчиков обёрток это означает возможную адаптацию кода, а не обещание обновления без изменений.

FP8-кэш, память MoE и новые модели

В движке появился KV-кэш в формате FP8 f8_e4m3. KV-кэш хранит промежуточные данные контекста при генерации; новый формат расширяет варианты управления его памятью. Также добавлен кэш экспертов MoE в оперативной памяти с настраиваемой долей вычислений на CPU. Влияние этих механизмов на скорость и расход памяти зависит от модели, оборудования и выбранного backend — универсального ускорения для любого компьютера релиз не обещает.

Среди новых поддерживаемых архитектур перечислены Kimi-K3.1-Pro, Ripple-65B-Preview и xing4_0. Для мультимодальных задач добавлены MageVL-Cowork и зрительная часть Kimi-K3.1, для синтеза речи — drama-3 TTS. В сервере появился совместимый с OpenAI маршрут /v1/audio/speech: он предназначен для работы с поддерживаемой речевой моделью, а не превращает любую текстовую модель в голосовую.

Локальный чат и защита сервера

Встроенный веб-интерфейс получил именованные группы чатов, редактор сообщений с предпросмотром Markdown и переработанную мобильную компоновку. Это изменения оболочки вокруг локально запущенной модели: её качество ответов по-прежнему определяется выбранными весами и настройками.

В llama-server исправлены проблемы, связанные с SSRF, CORS и DNS rebinding. Передача HF_TOKEN ограничена доменами huggingface.co, а вызовы MCP-инструментов отменяются при отключении клиента или тайм-ауте. Эти изменения уменьшают конкретные риски работы сервера и инструментов, но не являются гарантией полной безопасности любого развёртывания.

Что остаётся ограничением

Релиз не содержит универсальной модели и не отменяет требования к оперативной памяти или видеопамяти. Веса загружаются отдельно; их лицензии и аппаратные требования могут различаться. Поддержка архитектуры в движке также не означает одинаковую производительность всех моделей на CPU, CUDA, Metal и других backend.

Где попробовать

Официальный релиз v1.0.0 на GitHub содержит описание изменений и ссылку на готовые сборки b12359 для разных платформ. Исходники доступны публично; инструкция по сборке закреплена в документации версии 1.0.0.

Для локального знакомства в README приведена небольшая Qwen3.5-0.8B в GGUF: репозиторий открыт, без заявки на доступ. Параметры веб-интерфейса и совместимых API описаны в документации llama-server.

Источник: официальный анонс ggml-org на Hugging Face.

Как запустить локальный чат

Выберите подходящую сборку

Откройте связанный с релизом nightly b12359 и скачайте архив для своей ОС и оборудования. В разделе Assets доступны варианты для CPU и разных ускорителей. Распакуйте архив.

Скачайте файл модели

В открытом репозитории ggml-org/Qwen3.5-0.8B-GGUF выберите GGUF-файл, например Qwen3.5-0.8B-Q4_0.gguf, и сохраните его на компьютере. Веса модели не входят в архив движка.

Запустите сервер с явным портом

В каталоге распакованной сборки запустите llama-server -m /путь/к/модели.gguf --port 8080, заменив путь на свой. В Windows исполняемый файл называется llama-server.exe. Дождитесь загрузки модели.

Откройте локальный интерфейс

Откройте http://127.0.0.1:8080 в браузере и отправьте короткий запрос. Это интерфейс на вашем компьютере; для первого запуска нужны скачанные веса, для обработки запроса облачный API не требуется.

Вопросы о llama.cpp 1.0

Нет. Это движок для выполнения языковых и мультимодальных моделей. Веса загружаются отдельно, а качество ответов зависит от выбранной модели.

Хочешь узнавать первым о таких новостях?

Переходи в наш телеграм канал где мы ежедневно публикуем самые свежие и интересные новости

Хочешь узнавать первым о таких новостях?

Переходи в наш телеграм канал где мы ежедневно публикуем самые свежие и интересные новости

Чиби Новости