Вопросы по теме 'hive-serde'
Ошибка при сериализации совокупного хранилища состояний с настраиваемым serde в Spring Cloud Stream
Я пытаюсь создать простой функциональный bean-компонент с помощью Spring Cloud Stream, который обрабатывает сообщения из KStream и GlobalKTable, присоединяется к ним, агрегирует их и выводит результат в новый поток, но у меня возникают трудности с...
578 просмотров
schedule
02.11.2021
Формат CSV Serde в Hive для разных типов значений в таблице
CSV-файл содержит опрос пользователя в нижеприведенном беспорядочном формате и содержит множество различных типов данных, таких как строка, целое число, диапазон.
Китай, 20–30, мужчина, xxxxx, yyyyy, мобильный разработчик; zzzz-vvvv; $ 40 000–50...
636 просмотров
schedule
03.05.2022
Таблица куста, разделенная запятой и несколькими пробелами
У меня есть аналогичный вопрос здесь: Источник таблицы Hive, разделенный несколькими пробелы
Мои данные выглядят так:
AL, 01, 2016010700, , BEST, 0, 266N, 753W
AL, 01, 2016010706, , BEST, 0, 276N, 747W
AL, 01, 2016010712, , BEST,...
2315 просмотров
schedule
02.06.2022
регулярное выражение для доступа к журналу в улье serde с новой строкой
С помощью служб aws athena я пытаюсь импортировать файл csv, включая данные новой строки
При импорте данных используется формат hive serde.
Если данные такие, (все данные заключены в двойные кавычки. "")
«DataA» | «DataB» | «DataC»...
206 просмотров
schedule
22.08.2022
Ошибка при попытке создать внешнюю таблицу в улье
Я пытаюсь создать внешнюю таблицу, используя куст с помощью Hadoop, но почему-то это не удалось. Это ошибка, которую я получаю, когда пытаюсь выполнить свои запросы.
02:23:29.516 [HiveServer2-Background-Pool: Thread-39] ERROR hive.ql.exec.DDLTask...
234 просмотров
schedule
12.09.2022
Источник таблицы Hive, разделенный несколькими пробелами
Как сделать следующий разделитель источника таблицы одним или несколькими пробелами :
CREATE EXTERNAL TABLE weather (USAF INT, WBAN INT, `Date` STRING, DIR STRING, SPD INT, GUS INT, CLG INT, SKC STRING, L STRING, M STRING, H STRING, VSB DECIMAL,...
1355 просмотров
schedule
11.04.2023
Hive — заменить столбцы в таблице ORC
У меня есть таблица кустов, сохраненная в файлах ORC, это определение в команде «создать»:
ROW FORMAT SERDE
'org.apache.hadoop.hive.ql.io.orc.OrcSerde'
STORED AS INPUTFORMAT
'org.apache.hadoop.hive.ql.io.orc.OrcInputFormat'
OUTPUTFORMAT...
1405 просмотров
schedule
05.12.2022
Невозможно эффективно сопоставить ключ строки HBase в таблице HIve
У меня есть таблица HBase, где клавиша строки выглядит так.
08:516485815:2013 1
06:260070837:2014 1
00:338289200:2014 1
Я создаю таблицу ссылок Hive, используя запрос ниже.
create external table hb
(key string,value string)
stored by...
780 просмотров
schedule
05.06.2023
косая черта не читается кустом при использовании OpenCSVSerde
Я определил таблицу поверх файлов, присутствующих в hdfs. Я использую OpenCSV Serde для чтения из файла. Но символы косой черты '\' в данных опускаются в окончательном наборе результатов.
Есть ли свойство hive serde, которое я неправильно...
2016 просмотров
schedule
03.04.2023
Как удалить текст из столбцов в HIVE (sql)
Я пытаюсь импортировать данные из файла CSV (latlong.csv) и хочу удалить все кавычки из своих столбцов. Пожалуйста, обратитесь к первому изображению.
Первое изображение
Это код, который я использовал для импорта данных
CREATE TABLE IF NOT...
407 просмотров
schedule
05.05.2023
Загрузка в куст символа новой строки из CSV-файла
У нас есть файл, который имеет следующий тип:
1- Sam, Joshua , "52 DD dr,
Lake Hiawatha" , New Jersey, 07034
2- Ruchi,kumari,SNN Raj serenity,Bengaluru, 560068
Строка 1 разделена на 2 строки во внешней таблице, при этом остальные столбцы...
375 просмотров
schedule
30.07.2023
Несколько escape-символов для таблицы создания улья
Я пытаюсь загрузить csv с разделителем каналов во внешнюю таблицу улья. Значения данных содержат одинарные кавычки, двойные кавычки, скобки и т. Д. Использование Open CSV версии 2.3
testfile.csv
id|name|phone
1|Rahul|123
2|Kumar's|456...
43 просмотров
schedule
08.10.2022
Как сохранить нулевое значение в OpenCSVSerde или избежать кавычек в LazySimpleSerde в таблице Hive
У меня есть вопрос о TBLProperties в Hive для OpenCSVSerde и SimpleLazySerDe.
Файл данных, хранящийся в текстовом файле (созданный SQOOP)
Свойства таблицы
Сохраненные данные как OpenCSVSerde
separatorChar на |
цитатаChar от "...
487 просмотров
schedule
19.01.2024