В чем разница между Apache Ignite и Tachyon

Я новичок в Apache Ignite для интеграции Ignite и spark ， похоже, что Ignite обеспечивает слой в памяти, на котором данные будут жить в приложениях Spark, что является возможностью, которую Tachyon предоставляет как файловую систему в памяти. Итак, мой вопрос касается файловой системы в памяти (IGFS для ignite), в чем разница между Ignite и Tachyon? Какие плюсы и минусы между ними?

Спасибо!


apache-spark ignite alluxio
person Tom    schedule 06.12.2016    source источник

Ответы (1)


arrow_upward
3
arrow_downward

Apache Ignite - это платформа со многими компонентами, такими как (не ограничиваясь ими):

  • Вычислительный движок, который позволяет запускать распределенные вычисления в модели fork-join (нет зависимости от Hadoop или Spark)
  • Распределенное хранилище ключей и значений, совместимое с JSR-107, с различными вариантами сохранения и возможностью выполнять индексированные SQL-запросы к вашим данным и, начиная с Ignite 1.8, обновлять ваши данные с помощью DML.
  • Распределенные отказоустойчивые сервисы, позволяющие запускать фиксированное количество фоновых процессов в кластере
  • IGFS, распределенная файловая система в памяти
  • Компонент ускорителя Hadoop
  • Интеграция Spark RDD, позволяющая иметь промежуточное хранилище для результатов задач Spark.
  • Распределенные события, обмен сообщениями и т. Д.

Если мы посмотрим на интеграцию Ignite-Spark, я бы обратил внимание на одну важную особенность, которая позволяет выполнять индексированные запросы SQL. Это может значительно улучшить производительность запросов по сравнению со Spark на больших RDD.

С другой стороны, Tachyon - это файловая система в памяти, поэтому я бы сказал, что сам Tachyon по сравнению с IGFS довольно близко.

person Alexey    schedule 06.12.2016
comment
Спасибо, @ Alexey .. Не знаю, почему Ignite содержит слишком много компонентов ... мне кажется, это просто путаница. Чем больше компонентов / возможностей он предоставляет, тем меньше внимания будет уделяться каждому отдельному компоненту. - person Tom; 07.12.2016