Я пытаюсь загрузить файлы в корзину s3, используя узел js aws-sdk V3.
Я знаю, что должен использовать команды: CreateMultipartUploadCommand,UploadPartCommandи так далее. Но я не могу найти ни одного рабочего примера полной загрузки из нескольких частей.
Может ли кто-нибудь поделиться примерами кода?
заранее спасибо
Я собрал для этого небольшой код: https://gist.github.com/kbanman/0aa36ffe415cdc6c44293bc3ddb6448e< /а>
Идея состоит в том, чтобы загружать часть в S3 всякий раз, когда мы получаем фрагмент данных в потоке, а затем завершать загрузку, когда поток завершен.
Ситуация усложняется тем, что минимальный размер части S3 составляет 5 МБ для всех частей серии, кроме последней. Это означает, что нам нужно буферизовать данные до тех пор, пока мы не сможем сформировать эти куски по 5 МБ. Я достиг этого с помощью преобразователя, который добавляет обратное давление на поток контента между каждой загрузкой фрагмента.
Распараллеливание также затрудняется тем фактом, что S3 настаивает на получении частей по порядку (несмотря на просьбу о нумерации частей).
