Как быстрее всего загрузить файлы в Akamai?

Теперь у меня есть ftp-каталог с Akamai, и мне нужно загружать изображения как можно быстрее (возможно, 1+ миллион в день)

Какой самый быстрый способ синхронизировать локальные файлы с ftp-сайтом?

спасибо


person James    schedule 11.08.2010    source источник
comment
Выдержит ли ваш сервер нагрузку из тех миллионов файлов, которые запрашиваются у него?   -  person Jiminy    schedule 03.10.2011


Ответы (3)


Вместо FTP используйте Rsync. Он имеет меньшие накладные расходы, чем FTP, и хорошо подходит для синхронизации большой файловой базы.

документация Rsync

Akamai Netstorage поддерживает Rsync в качестве метода загрузки. Возможно, его потребуется включить в панели управления Akamai — любой, кто управляет вашими учетными записями пользователей Netstorage, может включить его.

Rsync включен во все дистрибутивы Linux, если вы используете Windows, вы можете получить его как часть cygwin.

person Matt    schedule 15.02.2011
comment
На какой Akamai ты загружаешь эти файлы? Ни загрузка на стороне клиента, ни API менеджера загрузки NetSession не кажутся подходящими для загрузки миллионов изображений. - person Jiminy; 03.10.2011

1 миллион в день - это конечно много, трудно представить, для чего нужно иметь такое огромное количество ресурсов. Все, что я могу предложить, это решить эту проблему исключительно на уровне синхронизации ftp, используя готовый инструмент. (Может быть, http://www.ftpsynchronizer.com/?)

В противном случае создание каталога, наблюдающего за ftp-загрузчиком, не будет чрезвычайно сложной задачей программирования на большинстве распространенных языков, в которых есть ftp-библиотеки.

Другая альтернатива заключается в том, что если вы можете получить эти файлы на сервере с выходом в Интернет, вы можете переключиться на использование Akamai Http Content Delivery и заставить Akamai извлекать изображения, а не постоянно их отправлять.

person llevera    schedule 22.08.2010
comment
Может ли кто-нибудь предоставить ссылку на документацию по тому, что вы назвали доставкой контента Akamai Http? Специально не нахожу. В моем проекте мне приходится брать много файлов с частного SFTP-сервера и размещать их на Akamai (через Onstream). Было бы эффективно, если бы я мог заставить Akamai делать загрузку вместо меня, вместо того, чтобы сервер приложений моего динамического сайта извлекал файлы из SFTP и отправлял файлы в Akamai. - person Jamie Jackson; 05.03.2014

если у вас такое огромное количество файлов и вы хотите загружать их быстрее, то я бы посоветовал использовать «значительный» продукт, который значительно сокращает время загрузки. это сторонняя служба загрузки, которая очень хорошо работает с Akamai, многие клиенты используют ее.

person gammabowl    schedule 09.08.2013