Я вроде как оцениваю Athena & Redshift Spectrum. Оба служат для одной и той же цели: Spectrum нужен кластер Redshift, тогда как Athena полностью бессерверна. Афина использует Presto, а Spectrum использует движок Redshift.
Есть ли какие-то специфические недостатки для спектра Athena или Redshift? Есть ли ограничения на использование Athena или Spectrum?
Я использовал оба варианта в нескольких разных сценариях использования и пришел к выводу:
Преимущества Redshift Spectrum:
Если вам не нужны эти вещи, вам следует подумать и об Афине.
Отличия Афины от спектра Redshift:
Кроме того, для любого решения убедитесь, что вы используете метаданные AWS Glue, а не Athena, поскольку здесь меньше ограничений.
Этот вопрос поднимался довольно давно, но, тем не менее, я думаю, что могу внести свой вклад в обсуждение.
Что такое Афина?
Amazon Athena - это интерактивная служба запросов, которая упрощает анализ данных в Amazon S3 с использованием стандартного SQL. Athena не имеет сервера, поэтому нет инфраструктуры для управления, и вы платите только за запросы, которые выполняете. (Из документа)
Довольно прямолинейно, правда?
Затем возникает вопрос, что такое Redshift Spectrum и почему люди из Amazon сделали это, когда Athena в значительной степени была решением для запросов к внешним таблицам?
Итак, люди из AWS хотели создать расширение для Redshift (которое в настоящее время довольно популярно как управляемое столбцовое хранилище данных) и дать ему возможность взаимодействовать с внешними таблицами (обычно S3). Но они хотели облегчить жизнь пользователям Redshift, в основном аналитикам. Многие инструменты аналитики не поддерживают Athena, но в настоящее время поддерживают Redshift. Но создание кластера Reshift и хранение данных было узким местом. Опять же, Redshift не настолько масштабируем по горизонтали и требует некоторого времени простоя в случае добавления новых машин. Если вы пользуетесь Redshift, удешевление хранилища существенно упрощает вашу жизнь.
Я предлагаю вам использовать спектр Redshift в следующих случаях:
Вы уже являетесь пользователем Redshift и хотите хранить больше данных в Redshift.
Вы хотите переместить более холодные данные во внешнюю таблицу, но все же в некоторых случаях хотите присоединиться к таблицам Redshift.
А Афина может быть полезна, когда:
Все, что нужно сказать, Redshift + Redshift Spectrum действительно мощный инструмент с множеством обещаний. Но ему еще предстоит пройти долгий путь, чтобы стать зрелым.
Если вы используете базу данных Redshift, будет разумно использовать Spectrum вместе с красным смещением, чтобы получить требуемую производительность.
Однако, если вы только начинаете изучать варианты, мы можем рассматривать Афину как инструмент для продвижения вперед.
explain планах. Идеальный вариант использования - это когда у вас много данных - дешево храните их на s3 - но не нужно масштабировать свои вычисления. В старом добром Redshift хранилище привязано к вычислениям, поэтому оба должны масштабироваться вместе.
- person Davos; 30.07.2019
Я узнал (из курса Adrian Cantril / LA 2019 SA Pro), что Redshift Spectrum будет использовать собственный кластер Redshift для обеспечения более стабильной производительности, чем это доступно за счет использования общей емкости, которую AWS предоставляет для запросов Athena. Я понимаю, что эта информация может быть полезна только для экзамена, я не нашел его аргументы убедительными.
Я написал этот ответ, потому что меня не устраивало, что в главном ответе Афина превосходит Redshift Spectrum. Остальная часть этого ответа хороша, и я не хочу напрямую копировать что-либо из этого здесь (без ссылок, которые не были зарегистрированы у меня, когда я писал это).
Я (опять же, основываясь исключительно на моих независимых исследованиях) выбрал бы Spectrum, когда большая часть моих данных находится в S3, что обычно будет для больших наборов данных. Однако недавние экземпляры RA3, похоже, перекрывают эту нишу. Итак, я считаю, что Spectrum лучше всего подходит для тех случаев, когда у нас есть долгосрочные кластеры Redshift, которые, будучи узлами OLAP, имеют резервную емкость для запроса S3.
Зачем вам использовать собственное поместье для выполнения запросов, которые Афина могла бы выполнить без таких вложений с вашей стороны? Кеширование там, где оно подходит. И стабильная игра, если верить Адриану Кантриллу больше, чем Джону Скотту. Это заставило меня подозревать, что RA3 может вытеснить Spectrum; это и отсутствие достойной литературы по Спектруму. Почему Amazon предлагает бессерверный продукт в Афине, который превосходит Redshift Spectrum, более дорогой? Вот как они решили отказаться от RRS. Я не могу поверить, что Spectrum устарел, поэтому должен предложить этот ответ, чтобы оспорить это. Просто посмотрите на https://aws.amazon.com/redshift/whats-new/.
Думаю, изображение ниже (из https://d1.awsstatic.com/events/Summit/AMER2020/May13SummitOnline/Modernize_your_data_warehouse.pdf) совершенно ясно, что вычислительные узлы здесь имеют большое значение, и, возможно, вопреки ценной информации @ JonScott выше.
Еще одно большое отличие заключается в том, что Athena ограничена IAM для аутентификации, как показано на слайде Revent 2018 (ANT201-R1):
Одно большое ограничение и отличный фактор - это возможность использовать структурированные данные. Athena поддерживает его как для форматов файлов JSON, так и для файлов Parquet, в то время как Redshift Spectrum принимает только плоские данные.
Другой фактор - это наличие у Athena функций ГИС, а также лямбда-выражений, которые иногда могут пригодиться.
Теперь, если вы запускали новый автономный Postgres, он делает все и даже больше, но что касается сравнения между Redshift (и Spectrum) - это инструмент, который прекратил развиваться.
