Я пробовал это, не добиваясь требуемых результатов - у меня есть несколько файлов CSV в папке ведра s3, но когда он создает для него несколько таблиц, Афина возвращает нулевые результаты, поэтому я создал другую папку для каждого файла, и все работает нормально. проблема - но если в будущем будет добавлено больше папок, мне придется перейти к искателю и добавить новый путь к каждой недавно добавленной папке, поэтому есть ли способ сделать это автоматически или каким-либо другим способом. Я использую glue crawler и s3 bucket athena для выполнения запросов к нескольким файлам CSV.
как создать несколько таблиц из нескольких папок с одним путем к местоположению, и Афина также должна работать с ним с помощью склеивающего робота
Ответы (1)
Обычно таблица требует, чтобы все ее файлы находились в каталоге, и никакие другие файлы не должны быть в этом каталоге.
Однако существует механизм, позволяющий создавать таблицы, включающие только определенные файлы. Подробнее об этом можно прочитать во второй части этого ответа: Разделите запрос Athena по дате создания S3 (прокрутите немного вниз после горизонтальной линейки). Вы также можете найти пример в документации S3 Inventory: https://docs.aws.amazon.com/AmazonS3/latest/dev/storage-inventory.html
person
Theo
schedule
22.03.2020
