У меня есть данные, хранящиеся в S3 как файлы json в кодировке utf-8 и сжатые с использованием snappy / lz4. Я хотел бы использовать Spark для чтения / обработки этих данных, но Spark, похоже, требует суффикс имени файла (.lz4, .snappy), чтобы понять схему сжатия.
Проблема в том, что я не могу контролировать, как файлы будут называться - они не будут записаны с этим суффиксом. Также слишком дорого переименовывать все такие файлы, чтобы включить в них суффикс.
Есть ли способ для Spark правильно прочитать эти файлы JSON? Для файлов с паркетной кодировкой есть 'parquet.compression' = 'snappy' в Hive Metastore, который, кажется, решает эту проблему для паркетных файлов. Есть что-то подобное для текстовых файлов?
