Как проверить целостность резервных копий данных

У меня есть важные данные, резервные копии которых я делаю локально. У меня есть рабочая копия данных на одном локальном жестком диске, а затем резервная копия на внешнем жестком диске (а затем еще одна копия на удаленном сервере).

Есть ли хороший способ регулярно (например, еженедельно) проверять целостность данных, чтобы убедиться, что ни на одном из дисков ничего не повреждено?

1) утилита сканирования диска (например, fsck) проверит диск, но не обязательно данные. 2) rsync скажет, отличаются ли версии. 3) хеш на "завершенных" папках?

Есть ли другие лучшие способы проверить целостность данных на дисках, чтобы убедиться, что ничего не повреждено?


data-integrity backups
person Brian Jackson    schedule 11.06.2015    source источник

Ответы (1)


arrow_upward
3
arrow_downward

У меня была аналогичная проблема некоторое время назад с моими резервными копиями. Я обнаружил, что могу легко создавать резервные копии данных, но убедиться, что и резервная копия, и исходный файл действительны, а затем заменить их, если они будут повреждены, было непростой задачей. Я разработал для этого приложение на C#, но оно было громоздким и не очень эффективным.

В конце концов, я перешел на NAS на базе NAS4Free с зеркалом ZFS. ZFS уделяет большое внимание целостности данных. ZFS выполняет контрольные суммы на уровне блоков и хранит эти контрольные суммы отдельно от файлов. Если вы создадите зеркало ZFS, данные будут присутствовать в двух (или более) местах, и вы сможете очистить зеркало. Скраб проходит через каждый блок в зеркале и гарантирует, что данные совпадают с контрольной суммой. Если это не так, он захватывает действительный блок из других мест в зеркале.

Это позаботится о ваших локальных данных. Что касается ваших внешних данных, если вы не можете создать решение для хранения ZFS за пределами площадки, вам, вероятно, придется заархивировать и проконтролировать резервную копию за пределами площадки перед ее отправкой, а затем проверять целостность так часто, как это необходимо. Я создаю резервные копии всех своих файлов в виде зашифрованных архивов в Amazon Glacier и каталогизирую контрольные суммы на случай, если мне понадобится что-то извлечь из резервной копии позже.

Есть много возможных способов сделать это, но я считаю, что решение для хранения на основе ZFS является самым простым, прозрачным и требует минимального обслуживания. Я надеюсь, что это поможет или, по крайней мере, укажет вам полезное направление.

Nas4Free

ZFS

Зеркала ZFS

person Patrick Tucci    schedule 11.06.2015