Impala создает паркетную таблицу с разделом из существующей таблицы Kudu

Вы можете попробовать загрузить данные с помощью

СТАТИЧЕСКОЕ РАЗДЕЛЕНИЕ

Одним из способов загрузки данных в секционированную таблицу является использование статического секционирования, при котором вы вручную определяете различные секции. (Другой способ — автоматически определить разделы при загрузке данных, это называется динамическим разделением.)

При статическом разделении вы создаете раздел вручную с помощью оператора ALTER TABLE … ADD PARTITION, а затем загружаете данные в раздел.

На вашем примере я бы попробовал это.

Первый. Создайте секционированную таблицу

CREATE TABLE IF NOT EXISTS db_name.parquet_table(field1 [TYPE],...,fieldN [TYPE]) --Fields that not belongs to the partitioned columns
PARTITIONED BY (year SMALLINT, month TINYINT, day TINYINT)
STORED AS PARQUET;

Второй. Оператор ALTER TABLE для создания раздела.

ALTER TABLE db_name.parquet_table ADD PARTITION(year = 0,month = 0,day = 0);

Обратите внимание, что имя столбца раздела и конкретное значение, определяющее этот раздел, указаны в предложении ADD PARTITION. Это создает каталог раздела внутри каталога таблицы.

После создания раздела вы можете добавить данные в раздел с помощью оператора INSERT … SELECT.

INSERT OVERWRITE TABLE db_name.parquet_table
    PARTITION(year = 0, month = 0, day = 0)
    SELECT field1,..., fieldn --do not include partitioned columns
    FROM db_name.kudu_table 
    WHERE year = 0 AND month = 0 AND day = 0;

При статическом разделении вам необходимо повторить эти два шага для каждого раздела: сначала создать раздел, а затем добавить данные. На самом деле вы можете использовать любой метод для загрузки данных; вам не нужно использовать оператор INSERT. Вместо этого вы можете использовать команды hdfs dfs или команду LOAD DATA INPATH. Но как бы вы ни загружали данные, вы должны следить за тем, чтобы данные хранились в правильных подкаталогах раздела.