Отправка журналов EMR в CloudWatch

Есть ли способ отправлять журналы EMR в CloudWatch вместо S3. Мы хотели бы, чтобы все журналы наших услуг были в одном месте. Похоже, единственное, что вы можете сделать, - это настроить будильники для мониторинга, но это не касается ведения журнала.

https://docs.aws.amazon.com/emr/latest/ManagementGuide/UsingEMR_ViewingMetrics.html

Придется ли мне устанавливать агент CloudWatch на узлы кластера https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/AgentReference.html


amazon-web-services amazon-cloudwatch amazon-emr amazon-cloudwatchlogs
person ns123    schedule 02.12.2019    source источник
comment
Да, это один из подходов. Другой - заставить лямбда прослушивать события s3, открыть файл do console.logger (). Log () для каждой строки файла - это довольно быстро, хотя решение poormans   -  person ravi    schedule 03.12.2019
comment
Вы нашли какое-нибудь решение? Как ты с этим справляешься сейчас? Нам также нужно отправить все наши журналы EMR в cloudwatch.   -  person santosh kumar    schedule 28.07.2020
comment
@santoshkumar Я думаю, что у нас были проблемы с агентом cloudwatch, и из-за нехватки времени мы использовали лямбда для прослушивания событий s3, как упоминал Рави. Я считаю, что установка агента cloudwatch на каждом узле - лучшее решение, если вы можете заставить его работать.   -  person ns123    schedule 04.08.2020

Ответы (1)


arrow_upward
3
arrow_downward

вы можете установить агент CloudWatch через конфигурацию начальной загрузки EMR и настроить его для просмотра каталогов журналов. Затем он начинает отправлять журналы в Amazon CloudWatch Logs.

person ngi    schedule 09.09.2020
comment
Не могли бы вы подробнее рассказать о техническом решении? - person DanielM; 16.03.2021
comment
привет, это все еще актуально? Я думал, что ЭМР автоматически отправляет журналы в облачные часы - person thebluephantom; 09.06.2021