Я создал задание AWS Glue с помощью Glue Studio. Он берет данные из каталога данных Glue, выполняет некоторые преобразования и записывает данные в другой каталог данных.
При настройке целевого узла я включил возможность создания новых разделов после запуска:
Задание выполняется успешно, данные записываются в S3 с правильной структурой папок разделов, но в реальной таблице каталога данных новые разделы не создаются - мне все равно нужно запустить Glue Crawler для их создания.
Код в сгенерированном скрипте, который отвечает за создание раздела, следующий (последние две строки задания):
DataSink0 = glueContext.write_dynamic_frame.from_catalog(frame = Transform4, database = "tick_test", table_name = "test_obj", transformation_ctx = "DataSink0", additional_options = {"updateBehavior":"LOG","partitionKeys":["date","provider"],"enableUpdateCatalog":True})
job.commit()
Что я делаю неправильно? Почему не создаются новые разделы? Как мне избежать запуска поискового робота, чтобы данные были доступны в Athena?
Я использую Glue 2.0 - PySpark 2.4
