Содержание
Oak Lab хочет переосмыслить обучение AI-агентов
Ричард Саттон, один из основателей reinforcement learning и лауреат премии Тьюринга 2024 года, запустил в Торонто новый стартап Oak Lab вместе с исследователем Хуррамом Джаведом. Компания делает ставку на AI-агентов, которые смогут непрерывно учиться из собственного опыта, а не только воспроизводить закономерности из заранее подготовленных датасетов.
Идея важна не только для исследователей. Сегодня большинство популярных нейросетей хорошо работает как ассистент для текста, кода, изображений и анализа, но обычно не меняет свои навыки прямо во время работы с пользователем. Oak Lab хочет двигаться к агентам, которые наблюдают среду, оценивают результат действий, строят внутренние модели мира и улучшаются в процессе.
Почему Саттон критикует текущий подход
Саттон считает, что нынешнее глубокое обучение слишком зависит от больших очищенных датасетов и плохо приспособлено к шумному потоку реального опыта. На сайте Oak Lab опубликован свежий исследовательский текст о том, почему обучение на опыте отличается от обучения на curated datasets: в реальном мире не все сигналы полезны, часть данных случайна, а агенту нужно понимать, чему вообще стоит отдавать кредит при обновлении модели.
В качестве направления Oak Lab выделяет алгоритмы непрерывного обучения и более точное распределение ошибки между полезными и бесполезными сигналами. Это может стать основой для агентов, которые не просто выполняют инструкции, а накапливают рабочий опыт в задачах, где меняется контекст: робототехника, персональные ассистенты, автономные системы и сложные бизнес-процессы.
Что это значит для пользователей и бизнеса
Для креаторов и команд это пока не новый продукт, который можно открыть и сразу использовать, а сильный сигнал о следующем этапе AI-рынка. Если подход сработает, будущие ассистенты смогут дольше держать цель, лучше адаптироваться к стилю пользователя, учиться на собственных ошибках и меньше зависеть от постоянного ручного промптинга.
При этом новость стоит воспринимать трезво: Oak Lab только начинает публичную работу, а путь от исследовательской программы до надежного массового инструмента может занять годы. Но имя Саттона делает запуск заметным: именно reinforcement learning уже сыграл ключевую роль в развитии современных моделей, а теперь один из главных авторов этого направления снова ставит вопрос о том, как AI должен учиться дальше.