Запуск конвейера данных AWS AWS Glue Crawler

У меня есть конвейер данных Aws с действием EMR, который записывает данные на S3. В конце этого процесса он также записывает некоторые метаданные в определенную папку S3 в этом месте.

Есть ли способ запустить искатель Aws Glue из определения конвейеров данных, который сканирует это последнее местоположение S3, чтобы создать таблицу Aws Athena?

Я не нашел способа сделать это в документации Aws Data Pipelines.


person cristi.calugaru    schedule 08.10.2018    source источник


Ответы (1)


Возможно, вы могли бы использовать ShellCommandActivity и позвонить _ 2_.

person botchniaque    schedule 08.10.2018
comment
Это тот путь, который я выбрал в конце концов. Спасибо! - person cristi.calugaru; 09.10.2018