Мне нужно выполнить добавление нагрузки в ведро S3.
- Каждый день новый файл .gz выгружается в расположение S3, и сканер glue считывает данные и обновляет их в каталоге данных.
- Задание Scala AWS Glue запускается и фильтрует данные только за текущий день.
- Вышеуказанные отфильтрованные данные преобразуются в соответствии с некоторыми правилами, и создается разделенный динамический фрейм данных (например, год, месяц, день).
Теперь мне нужно записать этот динамический фрейм данных в корзину S3, в которой присутствуют все разделы предыдущего дня. На самом деле мне просто нужно записать только один раздел в корзину S3. В настоящее время я использую приведенный ниже фрагмент кода для записи данных в корзину S3.
// Write it out in Parquet for ERROR severity
glueContext.getSinkWithFormat(
connectionType = "s3",
options = JsonOptions(Map("path" -> "s3://some s3 bucket location",
"partitionKeys" -> Seq("partitonyear","partitonmonth","partitonday"))),
format = "parquet").writeDynamicFrame(DynamicFrame(dynamicDataframeToWrite.toDF().coalesce(maxExecutors), glueContext))
Я не уверен, будет ли приведенный выше фрагмент кода выполнять добавочную нагрузку или нет. Есть ли способ достичь того же с помощью библиотек клея AWS?
