Как включить ведение журнала AWS EMR CloudTrail?

У нас есть общий аккаунт AWS, который иногда бывает сложно отладить. В частности, для API-интерфейсов EMR дросселирование происходит регулярно, поэтому было бы неплохо, если бы журналы CloudTrail сообщали людям, которые плохо себя чувствуют при использовании EMR. Я думаю, что наша регистрация CloudTrail включена, что я могу видеть эти события API с EMR в качестве источника событий -

AddJobFlowSteps
RunJobFlow
TerminateJobFlows

Я почти уверен, что вызываю DescribeCluster много раз и вызываю некоторое регулирование, но не уверен, почему они не отображаются в моих журналах CloudTrail ...

Может кто-нибудь поможет понять -

  • Требуются ли дополнительные настройки для DescribeCluster EMR API, чтобы регистрировать события в CloudTrail?
  • А как насчет других API-интерфейсов EMR? Можно ли настроить их для записи событий в CloudTrails без использования SDK, явно записывающего в CloudTrails?

Я прочитал эти статьи, чувствую, что в CloudTrails можно сделать многое ...

Ценю любую помощь!


amazon-web-services amazon-cloudtrail elastic-map-reduce
person Pen2    schedule 06.06.2018    source источник
comment
Вызовы Describe * не отображаются в консоли CloudTrail. Однако они хранятся в журналах S3. Вам необходимо настроить инструмент, который анализирует журналы CloudTrail, хранящиеся в корзине S3. Например, есть несколько корпоративных инструментов: Splunk, Sumologic и т. Д.   -  person krishna_mee2004    schedule 06.06.2018
comment
@ krishna_mee2004 Спасибо за подсказку! Я проанализировал свои журналы, и кажется, что API EMR DescribeCluster переведен на другие вызовы более низкого уровня с EC2 в моих журналах ...   -  person Pen2    schedule 07.06.2018
comment
Один экземпляр ... одна из моих записей журнала имеет - eventSource: ec2.amazonaws.com, eventName: DescribeInstances, sourceIPAddress: elasticmapreduce.amazonaws.com, userAgent: elasticmapreduce.amazonaws.com ... Я думаю, что это мой DescribeCluster, но не знаю наверняка, как это произошло под капотом ..   -  person Pen2    schedule 07.06.2018
comment
Каждый сервис AWS будет генерировать события CloudTrail при каждом вызове их общедоступных API. eventSource определяет, откуда исходит событие. EMR использует экземпляры EC2 для своих кластеров, поэтому EMR вызовет EC2 от вашего имени для добавления / удаления ведомых устройств из ваших кластеров. Если вас интересуют ограничения EMR, вы можете спокойно игнорировать события, поступающие от ec2.amazonaws.com.   -  person Gaston    schedule 28.05.2020
comment
@ krishna_mee2004 - CloudTrail теперь поддерживает чтение событий в истории событий.   -  person Gaston    schedule 28.05.2020

Ответы (1)


arrow_upward
1
arrow_downward

Краткое описание AWS cloudtrail: события, регистрируемые AWS cloudtrail, бывают двух типов: события управления и события данных. События управления включают в себя такие действия, как остановка экземпляра, удаление корзины и т. Д. События данных доступны только для двух служб (S3 и лямбда), которые включают такие действия, как: объект 'abc.txt' был прочитан из корзины S3.

Под управленческими событиями у нас снова 4 типа:

  1. Только запись

  2. Только чтение

  3. Все (как чтение, так и запись)

  4. Никто

Событие DescribeCluster, которое вы ищете, относится к типу событий управления «Только для чтения». DescribeCluster - образ облачного пути:
DescribeCluster - изображение облака

Убедитесь, что вы выбрали тип события управления «Все» или «Только для чтения» в своем следе Cloudtrail. Выбор «WriteOnly» в типе события управления в вашем облачном трейле не приведет к записи «DescribeCluster». Других настроек сервиса AWS, которые можно было бы включить в Cloudtrail, нет.

Также обратите внимание, что на вкладке «История событий» в консоли AWS Cloudtrail записываются все типы журналов (включая ReadOnly) в течение 90 дней. Вы также можете увидеть событие DescribeCluster.

person Feroz Shaikh    schedule 27.11.2018