Резервное копирование таблиц DynamoDB через конвейер данных по сравнению с ручным созданием json для DynamoDB

Мне нужно сделать резервную копию нескольких таблиц DynamoDB, которые пока не слишком велики, на S3. Однако это таблицы, которые использует/работает другая команда, но не я. Эти резервные копии должны выполняться один раз в неделю и будут использоваться только для восстановления таблиц DynamoDB в аварийных ситуациях (надеюсь, никогда). Я видел, что есть способ сделать это, настроив конвейер данных, который, я полагаю, вы можете запланировать на выполнение работы раз в неделю. Тем не менее, похоже, что это оставит трубопровод открытым и начнет взимать плату. Поэтому мне было интересно, есть ли значительная разница в стоимости между резервным копированием таблиц через конвейер и сохранением его открытым или созданием чего-то вроде powershellscript, который будет запланирован для запуска на экземпляре EC2, который уже существует, который будет вручную создавать файл сопоставления JSON и обновите его до S3.
Кроме того, я думаю, что еще один вопрос носит скорее практический характер. Насколько сложно сделать резервную копию таблиц DynamoDB в формате Json. Это не кажется слишком сложным, но не был уверен. Извините, если эти вопросы слишком общие.


person D. King    schedule 19.09.2015    source источник


Ответы (2)


Вы работаете, исходя из предположения, что Data Pipeline поддерживает работу сервера вечно? Это не относится к делу.

Например, вы определили действие оболочки, после завершения которого сервер завершит работу. (Вы можете установить защиту от завершения вручную. Ref.

Поскольку вы запускаете конвейер только один раз в неделю, затраты невелики.

Если вы запускаете задание cron на экземпляре ec2, этот экземпляр необходимо запустить, когда вы хотите запустить резервное копирование, и это может быть точкой отказа.

Между прочим, Amazon предоставляет образец Datapipeline, посвященный как экспортировать данные из Dynamodb.

person user1452132    schedule 20.09.2015
comment
Экземпляр EC2, о котором я упоминал, уже будет работать постоянно, поскольку он также выполняет другие задачи, которые должны выполняться постоянно. Я просто боялся, что выполнение задания конвейера раз в неделю, но сохранение этого конвейера созданным, но неиспользованным, повлечет за собой большие затраты. Думаю, теоретически я мог бы запланировать создание конвейера данных каждую неделю, выполнить задание, а затем удалить его. - person D. King; 21.09.2015
comment
Он берет 1 доллар в месяц только за воронку. aws.amazon.com/datapipeline/pricing — и стоимость запуска экземпляра EC2 во время выполнение задачи. Если вы установите частоту выполнения задачи еженедельно, Datapipeline выделяет ресурс в это время, запускает задачу, а по завершении прекращает работу ресурса. - person user1452132; 21.09.2015

Я только что проверил страницу стоимости конвейера, и там написано: «Например, конвейер, выполняющий ежедневное задание (низкочастотное действие) в AWS для репликации таблицы Amazon DynamoDB в Amazon S3, будет стоить 0,60 доллара США в месяц». Так что я думаю, что я в безопасности.

person D. King    schedule 20.09.2015