Публикации по теме 'amazon-athena'
Как использовать Amazon Athena в Nodejs?
Что такое Амазонка Афина?
Amazon Athena предоставляет платформу, которую мы можем использовать для стандартных запросов SQL, и она использует Amazon Simple Storage (S3) для хранения данных.
Почему мы должны использовать Афину?
Athena является бессерверной, и в ней нет инфраструктуры для настройки и управления. Платите только за запросы, которые мы выполняем. Запросы выполняются быстрее даже с большим набором данных. Параллельный запрос делает систему быстрее. Перетащите базу..
Вопросы по теме 'amazon-athena'
Ошибка вложенного JSON в AWS Athena
У меня есть вложенный файл JSON, который выглядит следующим образом:
\n \"total\" : 510,\n \"start\" : 0,\n \"count\" : 500,\n \"data\" : [ {\n \"id\" : 294,\n \"candidate\" : {\n \"id\" : 5275,\n \"firstName\" : \"bob\",\n...
530 просмотров
schedule
11.10.2021
Apache Zeppelin с Athena обрабатывает токен сеанса с помощью интерпретатора jdbc
Я пытаюсь подключить Афину к Apache Zeppelin . Мне нужно обработать secret_key, Access_key и Session_token. Мне трудно установить связь с интерпретатором Zeppelin JDBC. Я выполняю шаги, указанные в этом блоке ,
Если кто-нибудь может помочь мне...
362 просмотров
schedule
18.10.2021
Афина Престо перечисляет пустые столы
Я хотел бы перечислить все пустые таблицы в моей базе данных Athena.
Я пытался :
select table_schema, table_name from information_schema.tables
where table_schema = 'database'
Но так я перечисляю только имя таблицы с именем базы данных....
269 просмотров
schedule
12.09.2021
Афина: запрашивать исчерпанные ресурсы при таком масштабном коэффициенте.
У меня есть два дампа фрейма данных, позвольте называть их df1 и df2 , находящиеся в s3 в виде файлов json (вывод, скажем, искры).
Оба набора данных содержат поле polygon , которое содержит многоугольник WKT.
df1 is > 1TB, df2 is ~3GB....
3063 просмотров
schedule
07.11.2021
AWS Athena разделяет данные
У меня есть файл tsv в s3, и я оцениваю отсканированный размер запроса Athena с разбиением и без него. Запрос выполняется нормально без каких-либо разделов и сканирования полных данных. Когда я пытаюсь разделить, я не могу загрузить раздел....
2449 просмотров
schedule
20.11.2021
Контроль затрат в Redshift Spectrum при сканировании внешних таблиц (данные S3)
Афина имеет значение по умолчанию ограничения на услуги , которые могут помочь ~ ограничить расходы на случайные "неконтролируемые" запросы в большом озере данных в S3. Они невелики (по времени, а не по объему отсканированных данных), но все же...
824 просмотров
schedule
27.11.2021
тип LIST не поддерживается при запросе AWS Athena в таблице, созданной с помощью AWS Glue Catalog.
Я написал задание ETL для преобразования кучи файлов JSON в файлы (объекты) паркета с временным разделением, хранящиеся на S3.
Вместо того, чтобы вручную создавать таблицы в AWS Athena и использовать каталог данных Athena, я решил использовать...
1198 просмотров
schedule
22.09.2021
Создать таблицу Athena из вложенного источника json
Как мне создать таблицу Athena из вложенного файла json? Это мой образец json-файла. Мне нужны только выбранные пары ключ-значение, такие как состояние крыши и гаражные стены.
{ "reportId":"7bc7fa76-bf53-4c21-85d6-118f6a8f4244",...
5506 просмотров
schedule
03.10.2021
Amazon Athena - запрос за последние 5 минут записи (отметка времени 19 цифр)
У меня есть таблица в Афине, где у каждой записи есть отметка времени, например 1531699933974236880 .
В таблице есть большие объемы данных, и я хочу запросить только последние 5 минут записей на основе метки времени.
Каким будет для этого...
1697 просмотров
schedule
22.11.2021
presto / aws athena - выбрать последнюю версию записи
У меня есть таблица событий заказа, которая состоит из нескольких записей для каждого заказа по мере его заполнения. Некоторые заказы отменяются или возвращаются. Я пытаюсь выбрать последние версии всего заказа, для которого последняя версия имеет...
2915 просмотров
schedule
11.09.2021
Суммирование последовательности сумм, итеративно сгруппированных по идентификатору и дате в Presto
Я пытаюсь запустить запрос в Amazon Athena, где я суммирую последовательность транзакций по идентификатору до определенной даты. Указанная дата дает баланс на данный момент времени. Для каждого идентификатора мне нужно включить самую первую...
206 просмотров
schedule
30.11.2021
Запрос на обнаружение данных Athena / Presto, чтобы рекомендовать схему JSON?
У меня есть таблица Афины ( raw ) только с одним столбцом ( json ).
У меня есть следующий запрос, который выводит частоты ключей json:
SELECT key, count(*)
FROM (
SELECT map_keys(cast(json_parse(json) AS map(varchar, json))) AS keys
FROM...
100 просмотров
schedule
03.10.2021
AWS Athena создает таблицу и раздел
Я сохранил данные своего датчика в S3 (запись данных каждые 5 минут):
farm_iot/sensor_data/farm/farm0001/sensor01/1541252701443
1541252701443 - это файл json, содержащий измерения:
{ "temperature": 14.78, "pressure": 961.70,...
12342 просмотров
schedule
25.11.2021
Трубопровод от AWS RDS до S3 с помощью Glue
Я пытался с AWS Glue перенести текущий конвейер данных со скриптов Python на AWS Glue. Мне удалось настроить краулер для извлечения схемы для различных баз данных postgres. Однако я сталкиваюсь с проблемами при извлечении данных из Postgres RDS в...
4209 просмотров
schedule
02.12.2021
SQL COUNT (DISTINCT (field1)) GROUP BY MAX (filed2)
У меня есть таблица вроде
name num_try
John 2
John 1
Mike 3
Mike 2
Linda 2
И я хочу знать, подсчитать количество различных имен группы MAX(num_try) .
Желаемый результат должен выглядеть так
MAX(num_try)...
84 просмотров
schedule
18.11.2021
Невозможно удалить раздел в Афине
У меня в Афине плохо отформатированный раздел. Я разделяю год, месяц, день и час как целочисленные столбцы, но по ошибке создал разделы как числа с плавающей запятой.
i.e
/year=2019.0/month=4.0/day=22.0/hour=6.0
вместо того...
1389 просмотров
schedule
19.11.2021
HIVE_CANNOT_OPEN_SPLIT: несоответствие схемы при запросе файлов паркета из Athena
Я получаю сообщение об ошибке несоответствия схемы при запросе данных паркета от Athena.
Ошибка:
HIVE_CANNOT_OPEN_SPLIT: Error opening Hive split...
4106 просмотров
schedule
07.11.2021
Преобразование структуры папок в разделы на S3 с помощью Spark
У меня много данных на S3, которые находятся в папке, а не в разделах. Структура выглядит так:
## s3://bucket/countryname/year/weeknumber/a.csv
s3://Countries/Canada/2019/20/part-1.csv
s3://Countries/Canada/2019/20/part-2.csv...
714 просмотров
schedule
04.10.2021
Таблицы отсутствуют в файловой системе в AWS Athena
Я создал таблицу с автоматическим разбиением с помощью этого кода на Афине.
CREATE EXTERNAL TABLE IF NOT EXISTS matchdata.stattable (
`matchResult` string,
...
) PARTITIONED BY (
year int ,
month int,
day int
)
ROW FORMAT SERDE...
3680 просмотров
schedule
08.10.2021
Как создать паркетный стол-секцию
Вот пример оператора создания таблицы, который работает должным образом.
CREATE EXTERNAL TABLE default.reviews(
marketplace varchar(10),
customer_id varchar(15),
review_id varchar(15),
product_id varchar(25),
product_parent...
146 просмотров
schedule
29.11.2021
