Сохранение журналов CloudWatch в S3 (некоторый структурированный формат)

У меня есть группа журналов CloudWatch, эта группа журналов постоянно получает информацию журналов от моих сервисов AWS.

Я хочу извлечь часть информации журнала из этой группы журналов и сохранить эти данные в S3 в каком-либо формате (CSV, PARQUET).

Затем я воспользуюсь Athena для запроса этих данных журнала.

Мне нужен какой-то автоматический механизм для непрерывной отправки этих журналов на S3.

Может ли кто-нибудь предложить решение для этого?




Ответы (1)


Похоже, Афина может напрямую общаться с cloudwatch, как показано здесь. Не уверен, насколько это эффективно и насколько дорого обходится.

Другой вариант - настроить Cloudwatch для отправки данных в Firehose через подписки, который затем сбрасывает его в S3.

person Philipp Johannis    schedule 29.09.2020
comment
Да, Amazon Kinesis Data Firehose - лучший способ отправлять «непрерывные» данные в Amazon S3. Он сохраняется партиями в зависимости от времени или размера данных. - person John Rotenstein; 30.09.2020