Содержание
Почему сжатие вывода команд не уменьшило счёт за Claude Code
JetBrains провела большой парный A/B‑тест rtk — инструмента, который перехватывает команды Claude Code и сжимает их вывод. Разработчики rtk заявляют об экономии 60–90% токенов, но в реальной агентной работе результат оказался противоположным: при низком уровне рассуждений медианная стоимость задачи выросла на 7,6%, а при высоком почти не изменилась.
Как проверяли обещание rtk
В эксперименте использовали Claude Code 2.1.201, Claude Sonnet 5 и 86 заданий SkillsBench. Всего исследователи провели 425 оплачиваемых прогонов примерно на $320, сравнивая одинаковые задачи с обычным Claude Code и с подключённым rtk. Качество решений в обеих группах осталось статистически одинаковым.
Само сжатие работает: rtk действительно превращает длинный вывод git, pytest и других команд в короткую сводку. Но встроенные инструменты Claude Code для чтения файлов и поиска обходят этот механизм, а из команд оболочки rtk смог затронуть лишь около трети. По расчёту JetBrains, инструмент в принципе мог повлиять примерно на 3% входных токенов сессии.
Почему счёт не уменьшился
При low effort с rtk агент делал на 13,8% больше шагов и на 14,3% больше обращений к кэшу. Иногда сжатая информация заставляла модель повторно читать данные или выбирать более длинный путь решения. На задачах, где rtk вмешивался особенно часто, стоимость была примерно на 24% выше базовой.
Отдельная проблема — собственная статистика инструмента. rtk сообщил об экономии 96,2 млн токенов, хотя фактический счёт вырос. Он сравнивал с полным необработанным выводом команд, не учитывая, что Claude Code и без него обрезает слишком большие результаты, а повторно используемый кэш тарифицируется дешевле обычного контекста.
Что это значит для пользователей AI‑агентов
Главный вывод применим не только к rtk: счётчик «сэкономленных токенов» внутри оптимизатора ещё не доказывает снижение расходов. Для рабочих AI‑агентов полезнее сравнивать одинаковые задачи по фактической стоимости, числу шагов и качеству результата. В тесте JetBrains rtk не ухудшил ответы, но и не дал заявленной экономии.