Резервное копирование хранилища озера данных

Я работаю над стратегией резервного копирования для Data Lake Store (DLS). Я планирую создать две учетные записи DLS и копировать данные между ними. Я оценил несколько подходов к достижению этого, но ни один из них не удовлетворяет требованию сохранения списков ACL POSIX (разрешений на языке DLS). Командлеты PowerShell требуют, чтобы данные были загружены из первичного DLS на виртуальную машину и повторно загружены на вторичный DLS. Инструмент AdlCopy работает только в Windows 10, не сохраняет разрешения и не поддерживает копирование данных между регионами (хотя это не является жестким требованием). Фабрика данных казалась наиболее разумным подходом, пока я не понял, что она также не сохраняет разрешения. Это приводит меня к моему последнему варианту - Distcp. Согласно руководству Distcp (https://hadoop.apache.org/docs/current/hadoop-distcp/DistCp.html), инструмент поддерживает сохранение разрешений. Однако недостатком использования Distcp является то, что инструмент необходимо запускать из HDInsight. Хотя он поддерживает как внутрикластерное, так и межкластерное копирование, я бы предпочел не иметь работающий кластер HDInsight только для операций резервного копирования. Я что-то упускаю? Есть ли у кого-нибудь лучшие предложения?


person Georgi    schedule 03.04.2018    source источник


Ответы (1)


Ваша оценка исчерпывающая. Это действительно те параметры, которые доступны, если вы хотите скопировать разрешения. Так что вам придется выбрать одного из них, извините. Если вам действительно нужен бессерверный вариант, который копирует разрешения, фабрика данных Azure должна быть им. Не могли бы вы создать здесь отзыв - https://feedback.azure.com/forums/270578-data-factory?

Спасибо, Сачин Шет, менеджер программы, Azure Data Lake.

person Sachin Sheth    schedule 04.04.2018
comment
Привет Сачин. Согласно документам . microsoft.com/en-us/azure/data-lake-store/, фабрика данных также не копирует списки управления доступом: «Помните, что фабрика данных копирует только иерархию папок и содержимое файлов. Вам необходимо вручную применить любые списки управления доступом (ACL), которые вы используете в старой учетной записи, к новой учетной записи ». Вы посоветуете мне открыть запрос функции для сохранения списков ACL в фабрике данных? - person Georgi; 04.04.2018
comment
Привет, Георгий! Да, я знаю, что фабрика данных Azure не копирует ACL. Поэтому просьба открыть для него запрос функции. Таким образом, единомышленники в сообществе также могут проголосовать за запрос и повысить его в наших приоритетах. Извините за беспокойство. - person Sachin Sheth; 04.04.2018