AzCopy с запланированной задачей и последствиями файла журнала

Я собираюсь создать запланированную задачу Windows, которая запускается каждые 3 часа для копирования файлов с управляемого диска Azure в контейнер файлов Azure с помощью AzCopy v8 (версия 10 все еще находилась в предварительной версии, когда этот проект начался).

Я планирую исключить старые файлы (флаг «/ XO»), чтобы копировались только новые файлы.

У меня есть некоторые опасения, что мой подход может работать некорректно в двух конкретных сценариях, и я надеюсь, что кто-то может посоветовать:

1) Если передача файла ранее не удалась и файл не был завершен в контейнере файлов Azure, будет ли этот неполный / поврежденный файл передан и завершен при повторном запуске AzCopy с использованием флага «/ XO», когда существует предыдущий файл журнала?

2) При повторном запуске команды AzCopy, когда предыдущая команда не была завершена (то есть: файл журнала существует), AzCopy завершит любые файлы в файле журнала и отправит любые новые файлы, которые не существовали, когда исходный журнал файл был создан?


azure azcopy
person Jeremy F    schedule 07.05.2019    source источник
comment
Версия 10 не использует файлы журнала. Для каждого задания используется уникальный файл плана. Но в настоящее время у него нет флага / XO. Самый близкий к нему ток - это синхронизация.   -  person John Rusk - MSFT    schedule 23.11.2019

Ответы (1)


arrow_upward
0
arrow_downward

AzCopy V10 хранит журналы сбоев в папке% USERPROFILE.azcopy в Windows и в папке $ HOME.azcopy в Mac и Linux. Там будет сообщаться о любых сбоях в сценарии. Дай мне знать, что ты там видишь

Соответствующий файл задания для каждого журнала (который содержит сбой) хранится в подпапке с именем «планы». Не удалось повторно запустить задание, соответствующее журналу сбоев. В этом разделе текущей документации AzCopy V10 описывается этот рабочий процесс - https://docs.microsoft.com/en-us/azure/storage/common/storage-use-azcopy-v10?toc=%2fazure%2fstorage%2fblobs%2ftoc.json#устранениенеполадок.

Что касается копирования только новых файлов. Оптимальный подход AzCopy V10 к этому. Возможно, в файле задания есть информация о том, что делать. Вы всегда можете снова скопировать тот же набор файлов и использовать флаг –overwrite = false, чтобы избежать перезаписи существующих файлов.

Дополнительная информация: если файл журнала уже существует, AzCopy возобновляет операцию на основе файла журнала, то есть она возобновит работу с того места, где была остановлена. если вы используете XO и удалите журнал, он проверит все загружаемые файлы, если их дата изменения совпадает, но не будет загружена. Надеюсь, это поможет.

person SumanthMarigowda-MSFT    schedule 24.05.2019