НовостьНейросетиAWSAI-агенты

AWS выпустила AI-агента для оптимизации Spark — без доплаты в EMR Serverless

Apache Spark Optimization Agent анализирует успешные запуски, находит лишние расходы и причины замедления. Доступен через консоль AWS и MCP; изменения сначала проверяют на тестовом запуске.

Ирина Видяшкина

18.11.2026 · 3 минут чтения · Нейросети

Aws Spark Optimization Agent Emr Serverless Cost Performance Cover

Содержание

Оптимизация Spark по фактическим метрикам, а не общим советам

17 ноября AWS выпустила Apache Spark Optimization Agent для Amazon EMR Serverless. Он разбирает уже завершённые успешные задания обработки данных и предлагает конкретные настройки под одну из двух целей: меньшую стоимость или более короткое время выполнения. Дополнительной платы за самого агента нет; вычислительные ресурсы и запуски заданий оплачиваются по обычным условиям AWS.

Что агент извлекает из задания

Источниками служат конфигурация, логи и телеметрия Spark. Анализ учитывает стадии и задачи, обмен данными между ними, загрузку исполнителей и доступную мощность приложения. Это позволяет искать не только ошибочные параметры, но и неравномерное распределение данных, недостаточный параллелизм, простаивающие ресурсы и нехватку памяти с вытеснением промежуточных данных на диск.

Вместо одного общего ответа пользователь получает приоритетные рекомендации: какую конфигурацию изменить, какие ресурсы пересмотреть или как скорректировать организацию данных. Для предлагаемых свойств Spark могут отображаться текущие и рекомендуемые значения. Каждый вывод сопровождается объяснением и подтверждающими измерениями. По описанию AWS, рекомендации опираются на детерминированный движок; документация также описывает использование AI-моделей и проверок, которые отсеивают неподтверждённые или неприменимые настройки.

Сравнение с запуском, который работал лучше

Второй режим — сравнение с более ранним успешным запуском. Он нужен, когда знакомое задание внезапно стало медленнее или дороже: агент сопоставляет параметры, метрики, поведение стадий и использование ресурсов, чтобы выделить изменения. Это практичнее универсального списка советов, потому что точкой отсчёта становится собственная рабочая нагрузка команды.

Снижение времени и снижение стоимости не равнозначны: увеличение мощности может ускорить обработку, но повысить счёт. Агент учитывает выбранную цель при отборе предложений. AWS не обещает фиксированный процент экономии или ускорения для любого задания — результат зависит от обнаруженных узких мест.

Где попробовать

Функция доступна в консоли Amazon EMR и через удалённый MCP-сервер SageMaker Unified Studio. Для EMR Serverless нужен релиз emr-7.6.0 или новее. Согласно анонсу, агент работает в регионах присутствия EMR Serverless, кроме AWS GovCloud (US) и регионов Китая. Доступ определяется правами AWS IAM; обращения журналируются в CloudTrail.

Условия для конкретного задания приведены в документации по ограничениям: необходимы данные Spark History Server из управляемого хранилища логов. Оно включено по умолчанию и хранит данные 30 дней; более старые запуски и запуски без таких логов анализировать нельзя. Анализ ресурсов между разными регионами не поддерживается.

Для работы из AI-клиента опубликована официальная инструкция подключения MCP, в том числе для Kiro CLI, Claude Code, Codex и GitHub Copilot. Документация также описывает поддержку AWS Glue версии 4.0 и новее при включённом Spark UI и доступных журналах событий. Последовательность действий в консоли вынесена ниже.

Как получить рекомендации в EMR Studio

Откройте приложение EMR Serverless

В консоли Amazon EMR перейдите в EMR Studio, откройте его URL и выберите нужное приложение в разделе Applications.

Выберите успешный запуск

На вкладке Batch job runs отметьте завершённое задание со статусом Success и нажмите Analyze with AI.

Задайте цель анализа

Выберите Performance для скорости или Cost для стоимости. Для обычного анализа нажмите View recommendations; для сравнения укажите ранний успешный запуск в Baseline job и выберите Compare with baseline.

Изучите выводы

Откройте вкладку AI analysis у запуска. Сопоставьте предложенные параметры с метриками и объяснениями агента.

Проверьте изменения вне production

Примените выбранные рекомендации в непродуктивном запуске и сравните его время и стоимость с исходным. Только после проверки переносите подходящие настройки в рабочую среду.

Вопросы об Apache Spark Optimization Agent

Нет. Он только читает данные запусков и возвращает рекомендации. Он не изменяет, не запускает и не останавливает задания.

Хочешь узнавать первым о таких новостях?

Переходи в наш телеграм канал где мы ежедневно публикуем самые свежие и интересные новости

Хочешь узнавать первым о таких новостях?

Переходи в наш телеграм канал где мы ежедневно публикуем самые свежие и интересные новости

Чиби Новости