Содержание
Что изменилось в Granite с разметкой LLMON
12 ноября IBM выпустила две экспериментальные модели — Granite 4.1 3B LLMON preview и Granite 4.1 8B LLMON preview. Их веса уже доступны разработчикам на Hugging Face по лицензии Apache 2.0. Вместе с ними опубликован набор инструментов для LLMON: формата, который явно отделяет команды от документов, пользовательских данных и результатов вызова инструментов.
Главная задача релиза — снизить риск косвенных prompt injection. Это атаки, в которых посторонняя команда спрятана, например, внутри найденной страницы или документа. Агент должен прочитать такой материал ради ответа, но не принять содержащийся в нём текст за распоряжение. В официальном разборе IBM описано, как для этого изменили не только формат запросов, но и обучение моделей.
Как устроено разделение команд и данных
LLMON расшифровывается как LLM Object Notation. Внешне формат напоминает XML, но границы его блоков обозначены зарезервированными специальными токенами. Инструкция, входные данные, ограничения ответа и другие части контекста получают собственные адресуемые блоки. Отдельный блок exec указывает, какую инструкцию выполнить, к каким данным её применить и куда записать результат.
Разница с обычным текстовым запросом — в явной связи между частями контекста. Документ или ответ инструмента передаётся как материал для обработки, а не как ещё один источник команд. Модели дообучали на примерах с отвлекающими инструкциями и блоками, не связанными с исполняемой задачей. Поэтому речь не о фильтре, который можно просто добавить к любой нейросети: опубликованные варианты Granite специально обучены работать с этой структурой.
LLMON дополняет шаблон чата, а не отменяет его. Модели поставляются со своим chat template; библиотека Transformers может сформировать разметку через apply_chat_template. В репозитории проекта есть также преобразователи JSON в LLMON и обратно без потери данных, примеры RAG, работы с инструментами и дообучения адаптеров.
Что показали проверки IBM
Авторы сравнили preview-модели с другими моделями на OPI — наборе тестов, где вредоносные инструкции помещаются во входные данные обычных языковых задач. По их отчёту, LLMON почти устраняет успешные атаки на этом наборе; похожую тенденцию команда наблюдает на ASB и StruQ. Это результаты разработчиков на конкретных тестах, а не подтверждение неуязвимости в любом приложении.
Общие способности, по оценке IBM, остаются сопоставимыми с Granite 4.1 Instruct. Это не означает улучшение по всем метрикам: в карточке 3B-модели MMLU составляет 68,05 против 67,02 у обычной Instruct-версии, а MMLU-Pro — 46,08 против 49,83. Акцент релиза — на границе между инструкциями и данными, а не на универсальном приросте качества.
Для каких задач это предназначено и где ограничения
Подход рассчитан прежде всего на RAG-системы, обработку документов и агентов, читающих результаты внешних инструментов. В таких приложениях смешиваются доверенная задача и недоверенный материал; LLMON позволяет явно представить эту границу модели.
IBM прямо называет выпуск экспериментальным preview для изучения и оценки, не для промышленной эксплуатации. Устойчивость к статическим косвенным инъекциям нельзя автоматически переносить на адаптивные атаки, разворачивающиеся в нескольких сообщениях: над ними команда продолжает работать. Следование разделению блоков — выученное поведение, а не принудительно обеспеченная гарантия безопасности.
В списке поддерживаемых языков карточки 3B указаны 12 языков; русского среди них нет. Публичность весов также не означает наличие готового потребительского сервиса или бесплатного облачного API: основной доступ здесь — самостоятельный запуск модели и работа с кодом.
Где попробовать
Без заявки на доступ открыты официальные репозитории Granite 4.1 3B LLMON preview и Granite 4.1 8B LLMON preview: там размещены веса, токенизаторы, шаблоны чата и примеры генерации. Код и преобразователи доступны на GitHub. Лицензия моделей — Apache 2.0; вычислительные ресурсы для самостоятельного запуска нужны отдельно.
Как проверить LLMON на своей задаче
Подготовьте отдельное окружение
Выберите репозиторий preview-модели на Hugging Face и подготовьте окружение с Transformers по примеру из её карточки. Учитывайте объём выбранных весов и доступную память.
Используйте штатный шаблон модели
Загрузите модель и токенизатор из одного репозитория. Передавайте сообщения через apply_chat_template, как в примере Generation, чтобы получить корректную разметку LLMON.
Разделите задачу и входной материал
Укажите инструкцию отдельно от данных или документов. Начните с небольшого тестового текста без персональных данных и сравните результат с обычным вариантом Granite.
Оцените ограничения до интеграции
Проверьте свои документы, языки и сценарии со скрытыми командами. Не считайте удачный ответ гарантией защиты: IBM позиционирует выпуск как экспериментальный preview, не для промышленной эксплуатации.