Необходимо перенести данные из AWS EFS в EFS в разных регионах

У меня есть EFS, настроенная в регионе Орегон, но поскольку EFS теперь доступна в регионе Токио, я хочу перенести все данные EFS в регион Токио, где EFS уже создан.

В документе AWS упоминается AWS-DataSync, но он не работает должным образом, чтобы копировать данные из одного efs в другой в разных регионах через агента.

Может ли кто-нибудь предложить мне лучшее решение, которое может легко копировать данные. Rsync и s3cmd однопоточные и слишком медленные.

Я уже создал агент DataSync, но при создании задачи он не может показать мне конечные efs на шаге назначения.


person Umar Hayat Khan    schedule 08.10.2019    source источник


Ответы (3)


вы можете использовать команду fpsync. Для этого вам необходимо установить для Amazon Linux и RHEL 6:

sudo yum install fpart -y

time fpsync -n 10 -v -o -azr /source /destination
person BigData-Guru    schedule 15.07.2020

Скопируйте данные из исходной файловой системы EFS в регионе и выберите целевую файловую систему EFS в другом регионе. Включите одноранговое соединение VPC и соответствующим образом настройте маршруты.

Перейдите по ссылке ниже, чтобы получить подробное описание EFS-EFS DataSync для различных регионов.

Ссылка- https://aws.amazon.com/blogs/storage/transferring-file-data-across-aws-regions-and-accounts-using-aws-datasync/

person Pavan Kumar S    schedule 16.03.2021

Существует решение под названием резервное копирование EFS-to-EFS, с помощью лямбда-функции и fpsync.

person Elzo Valugi    schedule 08.10.2019