Ошибки S3 для файлов размером более 5 ГБ, загруженных через бета-версию s3cmd 1.1.0

Я использую s3cmd 1.1.0beta для загрузки файлов размером более 5 ГБ в Amazon S3. Это связано с тем, что s3cmd старше 1.1.0 не может загружать файлы размером более 5 ГБ (ограничение на загрузку одной части Amazon), а последняя бета-версия может загружать эти файлы в S3, используя загрузку из нескольких частей.

Проблема в следующем: я не могу выполнить ЛЮБУЮ операцию с файлами размером более 5 ГБ, загруженными через s3cmd 1.1.0. Я подозреваю, что это может происходить из-за того, что Etag, установленный s3cmd, не соответствует Etag, который ожидает Amazon:

Конкретные проблемы заключаются в следующем (обе через веб-консоль):

  1. Когда я пытаюсь скопировать эти файлы из одной корзины в другую, Amazon S3 жалуется: "Следующие объекты не были скопированы из-за ошибок из: "
  2. Когда я пытаюсь изменить какие-либо свойства этих файлов, S3 жалуется: «Дополнительные свойства не были включены или отключены из-за ошибок для следующих объектов в:»

Есть ли способ исправить Etags в файлах размером более 5 ГБ, чтобы я мог выполнять операции с этими файлами?


amazon-s3 s3cmd
person Suman    schedule 30.01.2013    source источник

Ответы (1)


arrow_upward
1
arrow_downward

ОК, после некоторого расследования я обнаружил, что проблема связана с неспособностью Amazon S3 изначально обрабатывать файлы размером более 5 ГБ.

Чтобы скопировать или выполнить любую операцию с файлом размером более 5 ГБ, вы должны специально использовать многокомпонентную загрузку Amazon и соответствующие API для работы с большими файлами.

Судя по всему, даже веб-консоль Amazon AWS использует только простые API, которые работают только с файлами размером менее 5 ГБ, поэтому, если вы хотите что-то делать с файлами размером более 5 ГБ, вам нужно написать свой собственный код. с AWS API для работы с этими файлами!

person Suman    schedule 04.03.2013