s3cmd ls и стоимость команды синхронизации

Когда я использую команду для просмотра содержимого папки

s3cmd ls s3://mybucket/my_big_folder/

Предположим, моя папка содержит 10000 файлов. Сколько операций LIST будет? Только один или 10000 операций?

И второй вопрос: сколько операций выдаст команда "sync" для my_big_folder, если содержимое локальной и удаленной папок одинаково?

Это важно, потому что я хочу сделать скрипт "очистки" (5м файлов в ведре + 1.5м на удаление) и в случае 10000 опсов на один запрос это будет стоить десяток денег и мой начальник этому не обрадуется :-(


amazon-s3 cost-management s3cmd
person Riki_tiki_tavi    schedule 07.04.2015    source источник

Ответы (1)


arrow_upward
2
arrow_downward

Команды, перечисляющие сегменты, делают это партиями до 1000 объектов на запрос. Команды удаления, особенно в операциях [синхронизации], также выполняют пакетное удаление до 1000 объектов за запрос (пакетное удаление недавно добавлено в s3cmd 1.5.2). Если объекты большие (> 5 МБ по умолчанию; все, что загружено с помощью составной загрузки), при получении списка объектов также будет выполняться один запрос для каждого объекта.

person Matt Domsch    schedule 24.05.2015