Как преобразовать типы карт / списков DynamoDB из AWS Pipeline в Redshift?

У меня есть две таблицы DynamoDB, одна с типом данных карты (JSON) и одна с типом данных списка (список JSON).

В нашем текущем конвейере к Redshift утверждается, что это неподдерживаемые типы данных.

Как я могу преобразовать эти столбцы в Redshift как varchar (MAX)?


person David Cornelson    schedule 14.04.2016    source источник


Ответы (1)


Можете ли вы предоставить свой идентификатор конвейера AWS DataPipeline?

Кроме того, взгляните на этот образец, в котором используются HiveActivity и RedshiftCopyActivity Data Pipeline для копирования данных из таблицы DynamoDB в таблицу Redshift при выполнении преобразования данных с использованием Hive (для преобразования данных) и S3 (для промежуточного хранения). Этот образец был мотивирован вариантом использования, когда нужно преобразовать тип данных одного столбца в другой тип данных. В этом примере демонстрируется преобразование двоичного столбца в строку base64.

https://github.com/awslabs/data-pipeline-samples/tree/master/samples/DynamoDBToRedshiftConvertDataUsingHive

person AravindR    schedule 19.04.2016
comment
Позволит ли это разделить списки и карты в новые столбцы в Redshift? - person David Cornelson; 28.04.2016