AWS EFS против EBS против S3 (различия и когда использовать?)

Ответ одним словом: ДЕНЬГИ: D

1 ГБ для хранения в регионе Восток США-1 (обновлено 20 декабря 2016 г.)

• Ледник: 0,004 доллара в месяц (Примечание: основное снижение цен в 2016 году)
• S3: 0,023 USD / Месяц
• S3-IA (объявлено в 2015.09): 0,0125 доллара в месяц (+ 0,01 доллара за поиск гигабайта)
• EBS: 0,045-0,1 $ / месяц (зависит от скорости - SSD или нет) + затраты на IOPS
• EFS: 0,3 доллара США в месяц

Дополнительные параметры хранения, которые можно использовать для временного хранения данных во время / перед их обработкой:

• SNS
• SQS
• Kinesis stream
• DynamoDB, SimpleDB

Приведенные выше затраты являются всего лишь примерами. Могут быть различия по регионам, и они могут измениться в любой момент. Также есть дополнительные расходы на передачу данных (в Интернет). Однако они показывают соотношение цен на услуги.

Между этими сервисами гораздо больше различий:

EFS:

• Общедоступно (недоступно для предварительной версии), но, возможно, еще не доступно в вашем регионе
• Сетевая файловая система (это означает, что у нее может быть большая задержка, но она может использоваться несколькими экземплярами; даже между регионами)
• Это дорого по сравнению с EBS (примерно в 10 раз больше), но дает дополнительные функции.
• Это высокодоступная услуга.
• Это управляемая услуга
• Вы можете подключить хранилище EFS к инстансу EC2
• Доступ к нескольким экземплярам EC2 одновременно
• Начиная с 20 декабря 2016 г. можно напрямую подключить хранилище EFS к локальные серверы через Direct Connect. ()

EBS - это:

• Блочное хранилище (поэтому вам нужно его отформатировать). Это означает, что вы можете выбрать, какой тип файловой системы вам нужен.
• Поскольку это блочное хранилище, вы можете использовать Raid 1 (или 0 или 10) с несколькими хранилищами блоков.
• Это действительно быстро
• Это относительно дешево
• С новыми объявлениями от Amazon вы можете хранить до 16 ТБ данных на одном хранилище на SSD.
• Вы можете сделать снимок EBS (пока он еще работает) для целей резервного копирования.
• Но он существует только в определенном регионе. Хотя вы можете перенести его в другой регион, вы не можете просто получить к нему доступ из разных регионов (только если вы поделитесь им через EC2; но это означает, что у вас есть файловый сервер)
• Вам нужен экземпляр EC2, чтобы присоединить его к
• Новая функция (2017 г. 15 февраля): теперь вы можете увеличить размер тома, отрегулировать производительность или изменить тип тома во время использования тома. Вы можете продолжать использовать свое приложение, пока изменения вступят в силу.

S3:

• Хранилище объектов (не файловая система).
• Вы можете хранить файлы и «папки», но не иметь блокировок, разрешений и т. Д., Как в традиционной файловой системе.
• Это означает, что по умолчанию вы не можете просто смонтировать S3 и использовать его в качестве веб-сервера.
• Но он идеально подходит для хранения ваших изображений и видео на вашем сайте.
• Отлично подходит для краткосрочного архивирования (например, несколько недель). Это тоже хорошо для долгосрочного архивирования, но Glacier более рентабельно.
• Отлично подходит для хранения журналов
• Вы можете получить доступ к данным из любого региона (может потребоваться дополнительная плата)
• Высокая доступность, избыточность. В основном потеря данных невозможна (надежность 99,999999999%, SLA времени бесперебойной работы 99,9)
• Намного дешевле, чем EBS.
• Вы можете передавать контент прямо в Интернет, у вас даже может быть полный (статический) веб-сайт, работающий прямо с S3, без экземпляра EC2.

Ледник:

• Долгосрочное архивное хранение
• Чрезвычайно дешево хранить
• Возможно очень дорого получить
• Для "обратного чтения" ваших данных требуется до 4 часов (поэтому храните только те элементы, которые, как вы знаете, вам не нужно будет извлекать в течение длительного времени)

Как упоминалось в комментарии JDL, есть несколько интересных аспектов с точки зрения ценообразования. Например, Glacier, S3, EFS выделяет вам хранилище в зависимости от вашего использования, в то время как в EBS вам необходимо заранее определить выделенное хранилище. Это означает, что вам нужно переоценить. (Однако легко добавить дополнительное хранилище к вашим томам EBS, это требует некоторой инженерии, а это означает, что вы всегда «переплачиваете» свое хранилище EBS, что делает его еще более дорогим.)

Источник: Обновление хранилища AWS - новый более дешевый вариант хранилища S3 и снижение цены Glacier

Интересно, почему люди не выделяют САМЫЙ веский довод в пользу EFS. EFS может быть смонтирован более чем на одном экземпляре EC2 одновременно, обеспечивая одновременный доступ к файлам в EFS.

(Изменить май 2020 г., EBS теперь также поддерживает одновременное подключение к нескольким EC2, см .: https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/ebs-volumes-multi.html)

Исправляем сравнение:

• S3 - это хранилище, доступное где угодно
• EBS - это устройство, которое можно установить на EC2
• EFS - это файловая система, которую можно подключить к нескольким экземплярам EC2 одновременно.

На данный момент немного преждевременно сравнивать EFS и EBS - производительность EFS и надежность неизвестны.

Зачем вам использовать S3?

• Нет необходимости, чтобы файлы были «локальными» для одного или нескольких экземпляров EC2.
• (эффективно) бесконечная емкость
• встроенный веб-сервис, аутентификация

Чтобы добавить к сравнению: (пакетное) скорость чтения / записи в EFS зависит от собранных кредитов. Сбор кредитов зависит от количества данных, которые вы храните на нем. Больше даты -> больше кредитов. Это означает, что когда вам нужно всего несколько ГБ хранилища, которое часто читается или записывается, у вас очень скоро закончатся кредиты, и пропускная способность упадет примерно до 50 Кбит / с. Единственный способ исправить это (в моем случае) - добавить большие фиктивные файлы, чтобы увеличить процент заработанных кредитов. Однако больше памяти -> дороже.

Помимо цены и характеристик, пропускная способность также сильно различается (как упомянул user1677120):

EBS

Взято из документов EBS:

| EBS volume | Throughput |           Throughput          |
|    type    |   MiB/s    |         dependent on..        |
|------------|------------|-------------------------------|
| gp2 (SSD)  | 128-160    | volume size                   |
| io1 (SSD)  | 0.25-500   | IOPS (256Kib/s per IOPS)      |
| st1 (HDD)  | 20-500     | volume size (40Mib/s per TiB) |
| sc1 (HDD)  | 6-250      | volume size (12Mib/s per TiB) |

Обратите внимание, что для io1, st1 и sc1 вы можете увеличить пропускную способность трафика как минимум до 125 МБ / с, но до 500 МБ / с, в зависимости от размера тома.

Вы можете дополнительно увеличить пропускную способность, например, развертывание томов EBS как RAID0

EFS

Взято из документов EFS

| Filesystem |    Base    |   Burst    |
|    Size    | Throughput | Throughput |
|    GiB     |   MiB/s    |   MiB/s    |
|------------|------------|------------|
|         10 |        0.5 |        100 |
|        256 |       12.5 |        100 |
|        512 |       25.0 |        100 |
|       1024 |       50.0 |        100 |
|       1536 |       75.0 |        150 |
|       2048 |      100.0 |        200 |
|       3072 |      150.0 |        300 |
|       4096 |      200.0 |        400 |

Базовая пропускная способность гарантирована, пакетная пропускная способность использует кредиты, которые вы собрали, будучи ниже базовой пропускной способности (так что у вас будет это только в течение ограниченного времени, см. здесь для получения дополнительных сведений.

S3

S3 - это совсем другое дело, поэтому его нельзя сравнивать с EBS и EFS. Плюс: для S3 нет опубликованных показателей пропускной способности. Вы можете улучшить пропускную способность, загрузив параллельно (я где-то читал, что AWS заявляет, что таким образом у вас будет практически неограниченная пропускная способность) или добавив CloudFront в микс.

EBS проста - хранилище на уровне блоков, которое может быть подключено к экземпляру из той же зоны доступности и может выжить независимо от срока службы экземпляра.

Однако интересное различие заключается между EFS и S3 и для определения правильных вариантов использования.

Стоимость: EFS примерно в 10 раз дороже, чем S3.

Варианты использования:

• Если у нас есть тысячи экземпляров, которым необходимо обрабатывать файл одновременно, рекомендуется использовать EFS вместо S3.
• Также обратите внимание, что S3 - это объектно-ориентированное хранилище, тогда как EFS - файловое, это означает, что всякий раз, когда у нас есть требование, чтобы файлы постоянно обновлялись (обновлялись), мы должны использовать EFS.
• S3 в конечном итоге согласован, в то время как EFS строго согласован. Если вы не можете позволить себе согласованность в конечном итоге, вам следует использовать EFS.

Простыми словами

Amazon EBS предоставляет хранилище на уровне блоков.

Amazon EFS предоставляет сетевое хранилище общих файлов.

Amazon S3 предоставляет объектное хранилище.

Основное различие между EBS и EFS заключается в том, что EBS доступен только из одного экземпляра EC2 в вашем конкретном регионе AWS, тогда как EFS позволяет монтировать файловую систему в нескольких регионах и экземплярах.

Наконец, Amazon S3 - это хранилище объектов, в котором можно хранить огромное количество резервных копий или пользовательских файлов.

AWS (Amazon Web Services) хорошо известен своей обширной линейкой продуктов. Есть (вероятно) несколько ниндзя Amazon Web Services, которые точно знают, как и когда использовать какой продукт Amazon для той или иной задачи. Остальные из нас отчаянно нуждаются в помощи.

AWS предлагает три распространенных сервиса хранения: S3, Elastic Block Store (EBS) и Elastic File System (EFS), которые работают по-разному и обеспечивают различные уровни производительности, стоимости, доступности и масштабируемости. Мы сравним производительность, стоимость и доступность хранимых данных этих вариантов хранения, а также варианты их использования.

Параметры хранилища AWS:

Amazon S3 - это базовая служба хранения объектов, которую можно использовать для размещения изображений и видео веб-сайтов, а также для аналитики данных, приложений для смартфонов и веб-приложений. Данные управляются как объекты в объектном хранилище, что означает, что все типы данных хранятся в своих собственных форматах. В объектном хранилище отсутствует иерархия файловых отношений, и объекты данных могут быть распределены по многим машинам. Вы можете использовать службу S3 с любого компьютера, подключенного к Интернету.

AWS EBS предлагает постоянное блочное хранилище данных. Системы блочного хранения более универсальны и обеспечивают лучшую емкость, чем стандартное файловое хранилище, поскольку файлы хранятся в нескольких томах, называемых блоками, которые служат отдельными жесткими дисками. Экземпляр Amazon EC2 должен быть смонтирован с EBS. Непрерывность бизнеса, тестирование программного обеспечения и управление базами данных - вот примеры вариантов использования.

AWS EFS - это общая эластичная платформа для хранения файлов, которая расширяется и сжимается в ответ на добавление и удаление файлов. Он следует традиционной модели хранения файлов, в которой данные организованы в папки и подкаталоги. EFS полезен для систем управления контентом и приложений SaaS. EFS можно смонтировать сразу на нескольких инстансах EC2.

Какой сервис облачного хранилища AWS лучше всего?

Как всегда, это зависит от обстоятельств.

Только для хранения данных Amazon S3 - самый дешевый выбор. S3, с другой стороны, имеет ряд других критериев ценообразования, включая стоимость загрузки, S3 Analytics и передачу данных из S3 на гигабайт. Структура затрат EFS наиболее проста.

Amazon S3 - это облачное хранилище, к которому можно получить доступ из любого места. AWS EBS доступен только в одном регионе, в то время как несколько экземпляров EFS могут обмениваться файлами в нескольких регионах.

EBS и EFS превосходят Amazon S3 по показателям IOPS и задержке.

С помощью одного вызова API можно увеличить или уменьшить масштаб EBS. Вы можете использовать EBS для резервного копирования баз данных и других интерактивных приложений с малой задержкой, которым нужна надежная и предсказуемая производительность, поскольку это дешевле, чем EFS.

EFS лучше обслуживает большие объемы данных, например, большие аналитические рабочие нагрузки. Пользователи должны разбивать данные и распределять их между экземплярами EBS, поскольку данные в этом масштабе не могут храниться в одном экземпляре EC2, разрешенном в EBS. Служба EFS обеспечивает одновременный доступ к тысячам экземпляров EC2, позволяя обрабатывать и анализировать огромные объемы данных в режиме реального времени.

EFS и S3 имеют ту же цель, вы можете хранить любые объекты или файлы.

Но для меня единственная разница в том, что EFS позволяет вам иметь традиционную файловую систему в облаке виртуальной машины (EC2) с большей гибкостью, например, вы можете подключаться к нескольким экземплярам.

С другой стороны, S3 - это отдельный гибкий и эластичный сервер для ваших объектов. Его можно использовать для ваших статических файлов, изображений, видео или даже для размещения статических приложений (js).

EBS, очевидно, предназначен для блочного хранилища, где вы можете установить ОС или что-либо, связанное с вашей ОС.

AWS EFS, EBS и S3. С функциональной точки зрения вот разница

EFS:

1. Сетевая файловая система: может использоваться несколькими серверами; даже между регионами. То же самое недоступно для корпуса EBS. Его можно использовать особенно для хранения программ ETL без риска для безопасности.

2. Высокодоступный, масштабируемый сервис.

3. Запуск любого приложения, которое имеет высокую рабочую нагрузку, требует масштабируемого хранилища и должно быстро производить вывод.

4. Это может обеспечить более высокую пропускную способность. Это соответствует внезапному росту файловой системы даже для рабочих нагрузок до 500 000 операций ввода-вывода в секунду или 10 ГБ в секунду.

5. Постоянная поддержка приложений: EFS эластична, доступна и масштабируема, а также позволяет легко и быстро перемещать корпоративные приложения без необходимости их повторной архитектуры.

6. Аналитика для больших данных: он может запускать приложения для работы с большими данными, которые требуют значительной пропускной способности узлов, доступа к файлам с малой задержкой и операций чтения-после-записи.

EBS:

1. для баз данных NoSQL EBS предлагает базам данных NoSQL производительность с низкой задержкой и надежность, необходимую для максимальной производительности.

S3:

Надежная производительность, масштабируемость и доступность: Amazon S3 масштабирует ресурсы хранения, освобождая от циклов закупки ресурсов или предварительных вложений.

2) Озеро данных и аналитика больших данных: создайте озеро данных для хранения необработанных данных в их собственном формате, а затем используйте инструменты машинного обучения и аналитику для получения информации.

3. Резервное копирование и восстановление: безопасные и надежные решения для резервного копирования и восстановления
4. Архивирование данных
5. S3 - это объектное хранилище, удобное для хранения огромного количества резервных копий или пользовательских файлов. В отличие от EBS или EFS, S3 не ограничивается EC2. К файлам, хранящимся в корзине S3, можно получить доступ программно или напрямую из таких сервисов, как AWS CloudFront. Многие веб-сайты используют его для хранения своего контента и медиафайлов, которые можно эффективно обслуживать через AWS CloudFront.

На этот вопрос очень часто отвечают другие люди, я просто хочу отметить, что всякий раз, когда принимается решение о том, чтобы какой-либо сервис был в AWS, нужно понимать вариант использования для каждого, а также видеть решение, которое сервис предоставит с точки зрения Well- Архитектурная среда, вам нужна высокая доступность, устранение неисправностей, оптимизация затрат. Это поможет определиться с тем, какую услугу использовать.

Amazon EBS предоставляет хранилище на уровне блоков - оно используется для создания файловой системы и хранения файлов. Amazon EFS - его общая система хранения, аналогичная NAS / SAN. Вам нужно смонтировать его на unix-сервере и использовать. Amazon S3 - это объектно-ориентированное хранилище, в котором каждый элемент хранится с URL-адресом http.

Одно из различий заключается в том, что EBS можно подключать к одному экземпляру за раз, а EFS можно подключать к нескольким экземплярам, ​​поэтому общее хранилище. Простое хранилище объектов S2 не может быть смонтировано.