Запретить поисковому роботу AWS glue создавать несколько таблиц

Я создал склеивающий сканер, который сканирует данные и создает таблицу в каталоге склеивающих данных. Предположим, у меня есть файл CSV (file1.csv), который имеет схему вроде (_2 _, _ 3_), и после завершения выполнения задания поискового робота создается таблица Athena (crawler_file) с двумя столбцами (_5 _, _ 6_). Теперь есть новый файл (file2.csv) со схемой вроде (_8 _, _ 9 _, _ 10_). В настоящее время, когда выполняется поисковый робот, он создает новую таблицу Athena (crawler_file_111) со схемой (_12 _, _ 13 _, _ 14_). Могу ли я настроить сканер таким образом, чтобы он вместо создания новой таблицы обновлял существующую схему таблицы? В этом сценарии вместо создания новой таблицы Athena (crawler_file_111) необходимо обновить существующую таблицу Athena (crawler_file). Могу я как-нибудь реализовать этот сценарий?


person trp    schedule 19.12.2018    source источник


Ответы (1)


На странице редактирования сканера включите следующее. Это должно сработать для вас.

введите здесь описание изображения

person Kishore Bharathy    schedule 19.12.2018
comment
Почему в этом случае не должен работать первый вариант? Разве он не должен автоматически обновлять схему, добавляя еще один столбец? - person Yankee; 14.12.2020