Вопросы по теме 'hive-serde'

Ошибка при сериализации совокупного хранилища состояний с настраиваемым serde в Spring Cloud Stream
Я пытаюсь создать простой функциональный bean-компонент с помощью Spring Cloud Stream, который обрабатывает сообщения из KStream и GlobalKTable, присоединяется к ним, агрегирует их и выводит результат в новый поток, но у меня возникают трудности с...
578 просмотров

Формат CSV Serde в Hive для разных типов значений в таблице
CSV-файл содержит опрос пользователя в нижеприведенном беспорядочном формате и содержит множество различных типов данных, таких как строка, целое число, диапазон. Китай, 20–30, мужчина, xxxxx, yyyyy, мобильный разработчик; zzzz-vvvv; $ 40 000–50...
636 просмотров
schedule 03.05.2022

Таблица куста, разделенная запятой и несколькими пробелами
У меня есть аналогичный вопрос здесь: Источник таблицы Hive, разделенный несколькими пробелы Мои данные выглядят так: AL, 01, 2016010700, , BEST, 0, 266N, 753W AL, 01, 2016010706, , BEST, 0, 276N, 747W AL, 01, 2016010712, , BEST,...
2315 просмотров
schedule 02.06.2022

регулярное выражение для доступа к журналу в улье serde с новой строкой
С помощью служб aws athena я пытаюсь импортировать файл csv, включая данные новой строки При импорте данных используется формат hive serde. Если данные такие, (все данные заключены в двойные кавычки. "") «DataA» | «DataB» | «DataC»...
206 просмотров
schedule 22.08.2022

Ошибка при попытке создать внешнюю таблицу в улье
Я пытаюсь создать внешнюю таблицу, используя куст с помощью Hadoop, но почему-то это не удалось. Это ошибка, которую я получаю, когда пытаюсь выполнить свои запросы. 02:23:29.516 [HiveServer2-Background-Pool: Thread-39] ERROR hive.ql.exec.DDLTask...
234 просмотров
schedule 12.09.2022

Источник таблицы Hive, разделенный несколькими пробелами
Как сделать следующий разделитель источника таблицы одним или несколькими пробелами : CREATE EXTERNAL TABLE weather (USAF INT, WBAN INT, `Date` STRING, DIR STRING, SPD INT, GUS INT, CLG INT, SKC STRING, L STRING, M STRING, H STRING, VSB DECIMAL,...
1355 просмотров
schedule 11.04.2023

Hive — заменить столбцы в таблице ORC
У меня есть таблица кустов, сохраненная в файлах ORC, это определение в команде «создать»: ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.orc.OrcSerde' STORED AS INPUTFORMAT 'org.apache.hadoop.hive.ql.io.orc.OrcInputFormat' OUTPUTFORMAT...
1405 просмотров
schedule 05.12.2022

Невозможно эффективно сопоставить ключ строки HBase в таблице HIve
У меня есть таблица HBase, где клавиша строки выглядит так. 08:516485815:2013 1 06:260070837:2014 1 00:338289200:2014 1 Я создаю таблицу ссылок Hive, используя запрос ниже. create external table hb (key string,value string) stored by...
780 просмотров
schedule 05.06.2023

косая черта не читается кустом при использовании OpenCSVSerde
Я определил таблицу поверх файлов, присутствующих в hdfs. Я использую OpenCSV Serde для чтения из файла. Но символы косой черты '\' в данных опускаются в окончательном наборе результатов. Есть ли свойство hive serde, которое я неправильно...
2016 просмотров
schedule 03.04.2023

Как удалить текст из столбцов в HIVE (sql)
Я пытаюсь импортировать данные из файла CSV (latlong.csv) и хочу удалить все кавычки из своих столбцов. Пожалуйста, обратитесь к первому изображению. Первое изображение Это код, который я использовал для импорта данных CREATE TABLE IF NOT...
407 просмотров
schedule 05.05.2023

Загрузка в куст символа новой строки из CSV-файла
У нас есть файл, который имеет следующий тип: 1- Sam, Joshua , "52 DD dr, Lake Hiawatha" , New Jersey, 07034 2- Ruchi,kumari,SNN Raj serenity,Bengaluru, 560068 Строка 1 разделена на 2 строки во внешней таблице, при этом остальные столбцы...
375 просмотров
schedule 30.07.2023

Несколько escape-символов для таблицы создания улья
Я пытаюсь загрузить csv с разделителем каналов во внешнюю таблицу улья. Значения данных содержат одинарные кавычки, двойные кавычки, скобки и т. Д. Использование Open CSV версии 2.3 testfile.csv id|name|phone 1|Rahul|123 2|Kumar's|456...
43 просмотров
schedule 08.10.2022

Как сохранить нулевое значение в OpenCSVSerde или избежать кавычек в LazySimpleSerde в таблице Hive
У меня есть вопрос о TBLProperties в Hive для OpenCSVSerde и SimpleLazySerDe. Файл данных, хранящийся в текстовом файле (созданный SQOOP) Свойства таблицы Сохраненные данные как OpenCSVSerde separatorChar на | цитатаChar от "...
487 просмотров
schedule 19.01.2024