Скопируйте файлы (конфигурацию) из HDFS в локальный рабочий каталог каждого исполнителя Spark

Я ищу, как скопировать папку с файлами зависимостей ресурсов из HDFS в локальный рабочий каталог каждого исполнителя искры с помощью Java.

Сначала я думал об использовании опции --files FILES для spark-submit, но, похоже, она не поддерживает папки с файлами произвольной вложенности. Итак, похоже, я должен сделать это, поместив эту папку на общий путь HDFS, чтобы каждый исполнитель правильно скопировал в свой рабочий каталог перед запуском задания, но еще не выяснил, как это сделать правильно в коде Java.

Или заархивируйте / gzip / заархивируйте эту папку, поместите ее в общий путь HDFS, а затем разверните архив в локальный рабочий каталог каждого исполнителя Spark.

Любая помощь или образцы кода приветствуются.

Это папка с файлами конфигурации, и они являются частью вычислений и должны быть расположены вместе с основным jar-файлом spark-submit (например, файлами базы данных, которые код jar-кода использует при запуске задания, и я, к сожалению, не могу изменить эту зависимость, поскольку я я повторно использую существующий код).

С уважением, -Юрий