Вот пример оператора создания таблицы, который работает должным образом.
CREATE EXTERNAL TABLE default.reviews(
marketplace varchar(10),
customer_id varchar(15),
review_id varchar(15),
product_id varchar(25),
product_parent varchar(15),
product_title varchar(50),
star_rating int,
helpful_votes int,
total_votes int,
vine varchar(5),
verified_purchase varchar(5),
review_headline varchar(25),
review_body varchar(1024),
review_date date,
year int)
PARTITIONED BY (
product_category varchar(25))
ROW FORMAT SERDE
'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe'
STORED AS INPUTFORMAT
'org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat'
OUTPUTFORMAT
'org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat'
LOCATION
's3://amazon-reviews-pds/parquet/';
Когда я ремонтирую стол, я получаю сообщение об ошибке:
ТАБЛИЦА РЕМОНТА MSCK default.reviews
Разделов нет в metastore: reviews: product_category = Обзоры одежды: product_category = Автомобили
Если раздела нет в хранилище метаданных, как мне получить счетчик в 3,5 миллиона?
SELECT COUNT(*) FROM "default"."reviews" WHERE product_category='Automotive' -- OUTPUT 3516476
Как мне убедиться, что все записи правильно прочитаны и доступны?
Как был создан этот паркетный стол с перегородками? Я спрашиваю, потому что у меня есть таблица csv, которую я хотел бы разделить точно так же.