Содержание
Оптимизация Spark по фактическим метрикам, а не общим советам
17 ноября AWS выпустила Apache Spark Optimization Agent для Amazon EMR Serverless. Он разбирает уже завершённые успешные задания обработки данных и предлагает конкретные настройки под одну из двух целей: меньшую стоимость или более короткое время выполнения. Дополнительной платы за самого агента нет; вычислительные ресурсы и запуски заданий оплачиваются по обычным условиям AWS.
Что агент извлекает из задания
Источниками служат конфигурация, логи и телеметрия Spark. Анализ учитывает стадии и задачи, обмен данными между ними, загрузку исполнителей и доступную мощность приложения. Это позволяет искать не только ошибочные параметры, но и неравномерное распределение данных, недостаточный параллелизм, простаивающие ресурсы и нехватку памяти с вытеснением промежуточных данных на диск.
Вместо одного общего ответа пользователь получает приоритетные рекомендации: какую конфигурацию изменить, какие ресурсы пересмотреть или как скорректировать организацию данных. Для предлагаемых свойств Spark могут отображаться текущие и рекомендуемые значения. Каждый вывод сопровождается объяснением и подтверждающими измерениями. По описанию AWS, рекомендации опираются на детерминированный движок; документация также описывает использование AI-моделей и проверок, которые отсеивают неподтверждённые или неприменимые настройки.
Сравнение с запуском, который работал лучше
Второй режим — сравнение с более ранним успешным запуском. Он нужен, когда знакомое задание внезапно стало медленнее или дороже: агент сопоставляет параметры, метрики, поведение стадий и использование ресурсов, чтобы выделить изменения. Это практичнее универсального списка советов, потому что точкой отсчёта становится собственная рабочая нагрузка команды.
Снижение времени и снижение стоимости не равнозначны: увеличение мощности может ускорить обработку, но повысить счёт. Агент учитывает выбранную цель при отборе предложений. AWS не обещает фиксированный процент экономии или ускорения для любого задания — результат зависит от обнаруженных узких мест.
Где попробовать
Функция доступна в консоли Amazon EMR и через удалённый MCP-сервер SageMaker Unified Studio. Для EMR Serverless нужен релиз emr-7.6.0 или новее. Согласно анонсу, агент работает в регионах присутствия EMR Serverless, кроме AWS GovCloud (US) и регионов Китая. Доступ определяется правами AWS IAM; обращения журналируются в CloudTrail.
Условия для конкретного задания приведены в документации по ограничениям: необходимы данные Spark History Server из управляемого хранилища логов. Оно включено по умолчанию и хранит данные 30 дней; более старые запуски и запуски без таких логов анализировать нельзя. Анализ ресурсов между разными регионами не поддерживается.
Для работы из AI-клиента опубликована официальная инструкция подключения MCP, в том числе для Kiro CLI, Claude Code, Codex и GitHub Copilot. Документация также описывает поддержку AWS Glue версии 4.0 и новее при включённом Spark UI и доступных журналах событий. Последовательность действий в консоли вынесена ниже.
Как получить рекомендации в EMR Studio
Откройте приложение EMR Serverless
В консоли Amazon EMR перейдите в EMR Studio, откройте его URL и выберите нужное приложение в разделе Applications.
Выберите успешный запуск
На вкладке Batch job runs отметьте завершённое задание со статусом Success и нажмите Analyze with AI.
Задайте цель анализа
Выберите Performance для скорости или Cost для стоимости. Для обычного анализа нажмите View recommendations; для сравнения укажите ранний успешный запуск в Baseline job и выберите Compare with baseline.
Изучите выводы
Откройте вкладку AI analysis у запуска. Сопоставьте предложенные параметры с метриками и объяснениями агента.
Проверьте изменения вне production
Примените выбранные рекомендации в непродуктивном запуске и сравните его время и стоимость с исходным. Только после проверки переносите подходящие настройки в рабочую среду.