Активность EMR застряла в состоянии Waiting_For_Runner

Я создаю конвейер данных для экспорта таблицы DynamoDB в корзину S3. Я использовал стандартный шаблон для этого в консоли конвейера данных. Я проверил, что в поле runOn указано имя запускаемого кластера EMR. Однако статус активности EMR по-прежнему как Waiting_For_Runner ... Есть идеи, почему это так ??

Спасибо!!!


amazon-web-services amazon-data-pipeline emr
person user3610975    schedule 08.05.2014    source источник
comment
решил проблему .. проблема с авторизацией :(   -  person user3610975    schedule 08.05.2014
comment
Как вы решили эту проблему с авторизацией?   -  person Cognitio    schedule 26.05.2016

Ответы (1)


arrow_upward
1
arrow_downward

Waiting_For_Runner означает, что datatpipeline пытается подключиться к EMR.

Несколько причин, по которым вы можете проверить:

  1. Разрешения IAM между EMR и конвейером данных (роли). Вот ссылка!
  2. Проверьте, запущен ли исполнитель задач на главном экземпляре
    $ps -ef | grep workerGroup (Главный экземпляр)
  3. Проверьте --workgroup name в EMR (вы можете увидеть в процессе Task runner) и сравните его с именем рабочей группы в datapipeline.
person andy_l    schedule 02.06.2017
comment
Какие должны быть разрешения IAM? - person Aidan Connelly; 02.07.2018
comment
@AidanConnelly, вы можете сослаться на ссылку ниже на документ AWS для материалов IAM: docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/ - person andy_l; 11.07.2018