НовостьНейросетиIBMОткрытые модели

IBM открыла Granite LLMON — модели учат отличать команды от чужих данных

IBM выпустила экспериментальные Granite 4.1 LLMON на 3 и 8 млрд параметров. Веса открыты по Apache 2.0: модели используют специальную разметку, чтобы разделять инструкции, документы и ответы инструментов. В тестах разработчиков это снижает успешность скрытых атак, но не гарантирует защиту.

Ирина Видяшкина

12.11.2026 · 4 минут чтения · Нейросети

Ibm Granite Llmon Preview Prompt Injection Cover

Содержание

Что изменилось в Granite с разметкой LLMON

12 ноября IBM выпустила две экспериментальные модели — Granite 4.1 3B LLMON preview и Granite 4.1 8B LLMON preview. Их веса уже доступны разработчикам на Hugging Face по лицензии Apache 2.0. Вместе с ними опубликован набор инструментов для LLMON: формата, который явно отделяет команды от документов, пользовательских данных и результатов вызова инструментов.

Главная задача релиза — снизить риск косвенных prompt injection. Это атаки, в которых посторонняя команда спрятана, например, внутри найденной страницы или документа. Агент должен прочитать такой материал ради ответа, но не принять содержащийся в нём текст за распоряжение. В официальном разборе IBM описано, как для этого изменили не только формат запросов, но и обучение моделей.

Как устроено разделение команд и данных

LLMON расшифровывается как LLM Object Notation. Внешне формат напоминает XML, но границы его блоков обозначены зарезервированными специальными токенами. Инструкция, входные данные, ограничения ответа и другие части контекста получают собственные адресуемые блоки. Отдельный блок exec указывает, какую инструкцию выполнить, к каким данным её применить и куда записать результат.

Разница с обычным текстовым запросом — в явной связи между частями контекста. Документ или ответ инструмента передаётся как материал для обработки, а не как ещё один источник команд. Модели дообучали на примерах с отвлекающими инструкциями и блоками, не связанными с исполняемой задачей. Поэтому речь не о фильтре, который можно просто добавить к любой нейросети: опубликованные варианты Granite специально обучены работать с этой структурой.

LLMON дополняет шаблон чата, а не отменяет его. Модели поставляются со своим chat template; библиотека Transformers может сформировать разметку через apply_chat_template. В репозитории проекта есть также преобразователи JSON в LLMON и обратно без потери данных, примеры RAG, работы с инструментами и дообучения адаптеров.

Что показали проверки IBM

Авторы сравнили preview-модели с другими моделями на OPI — наборе тестов, где вредоносные инструкции помещаются во входные данные обычных языковых задач. По их отчёту, LLMON почти устраняет успешные атаки на этом наборе; похожую тенденцию команда наблюдает на ASB и StruQ. Это результаты разработчиков на конкретных тестах, а не подтверждение неуязвимости в любом приложении.

Общие способности, по оценке IBM, остаются сопоставимыми с Granite 4.1 Instruct. Это не означает улучшение по всем метрикам: в карточке 3B-модели MMLU составляет 68,05 против 67,02 у обычной Instruct-версии, а MMLU-Pro — 46,08 против 49,83. Акцент релиза — на границе между инструкциями и данными, а не на универсальном приросте качества.

Для каких задач это предназначено и где ограничения

Подход рассчитан прежде всего на RAG-системы, обработку документов и агентов, читающих результаты внешних инструментов. В таких приложениях смешиваются доверенная задача и недоверенный материал; LLMON позволяет явно представить эту границу модели.

IBM прямо называет выпуск экспериментальным preview для изучения и оценки, не для промышленной эксплуатации. Устойчивость к статическим косвенным инъекциям нельзя автоматически переносить на адаптивные атаки, разворачивающиеся в нескольких сообщениях: над ними команда продолжает работать. Следование разделению блоков — выученное поведение, а не принудительно обеспеченная гарантия безопасности.

В списке поддерживаемых языков карточки 3B указаны 12 языков; русского среди них нет. Публичность весов также не означает наличие готового потребительского сервиса или бесплатного облачного API: основной доступ здесь — самостоятельный запуск модели и работа с кодом.

Где попробовать

Без заявки на доступ открыты официальные репозитории Granite 4.1 3B LLMON preview и Granite 4.1 8B LLMON preview: там размещены веса, токенизаторы, шаблоны чата и примеры генерации. Код и преобразователи доступны на GitHub. Лицензия моделей — Apache 2.0; вычислительные ресурсы для самостоятельного запуска нужны отдельно.

Как проверить LLMON на своей задаче

Подготовьте отдельное окружение

Выберите репозиторий preview-модели на Hugging Face и подготовьте окружение с Transformers по примеру из её карточки. Учитывайте объём выбранных весов и доступную память.

Используйте штатный шаблон модели

Загрузите модель и токенизатор из одного репозитория. Передавайте сообщения через apply_chat_template, как в примере Generation, чтобы получить корректную разметку LLMON.

Разделите задачу и входной материал

Укажите инструкцию отдельно от данных или документов. Начните с небольшого тестового текста без персональных данных и сравните результат с обычным вариантом Granite.

Оцените ограничения до интеграции

Проверьте свои документы, языки и сценарии со скрытыми командами. Не считайте удачный ответ гарантией защиты: IBM позиционирует выпуск как экспериментальный preview, не для промышленной эксплуатации.

Вопросы о Granite LLMON

IBM опубликовала Granite 4.1 3B LLMON preview и Granite 4.1 8B LLMON preview. Их веса доступны в публичных репозиториях Hugging Face без заявки на доступ, по лицензии Apache 2.0.

Хочешь узнавать первым о таких новостях?

Переходи в наш телеграм канал где мы ежедневно публикуем самые свежие и интересные новости

Хочешь узнавать первым о таких новостях?

Переходи в наш телеграм канал где мы ежедневно публикуем самые свежие и интересные новости

Чиби Новости