Я запускаю сканер по папке, содержащей несколько файлов с разными схемами. Я рассчитываю так найти таблицу для каждого файла.
Что происходит, так это то, что в каталоге Glue я вижу таблицу для каждого файла с собственной схемой. Но когда я пытаюсь запросить его через Redshift Spectrum (после создания внешней схемы и т. д.), я получаю это исключение:
[XX000][500310] [Amazon](500310) Invalid operation: Parsed manifest is not a valid JSON object.
Как это исправить?
Как сообщается на этом форуме https://forums.aws.amazon.com/thread.jspa?threadID=266510
каждый файл должен быть в своей папке/вложенной корзине
Таким образом, для меня размещение каждого файла в отдельной папке и настройка Glue Crawler для запуска над папкой верхнего уровня разрешили исключение.
Теперь я могу запросить его без каких-либо проблем.
Для сотрудников Google:
Искатель устанавливает Location таблицы Glue в файл, если он не может создать таблицу из содержащей ее папки.
То есть файл:
Location, указывающий непосредственно на файл, не поддерживается Redshift Spectrum или Athena, поэтому возникает эта ошибка.
Чтобы решить эту проблему, создайте содержащую папку, а также убедитесь, что все одноуровневые папки имеют одинаковый формат. Запустите поисковый робот еще раз.
Затем вы должны увидеть Location, указывающий на префикс в ведре.
