Подключите Spark 2.X к ElasticSearch 2.X

Я работаю со Spark и ElasticSearch и не могу найти, как использовать Spark 2.X с ElasticSearch 2.x. Библиотеки ElasticSearch Spark поддерживают только Spark 1.6 для ES 2.X и Spark 2 для ES 5.alpha Что вы используете для подключения Spark к ElasticSearch?


apache-spark hadoop elasticsearch elasticsearch-2.0
person Andriy    schedule 20.09.2016    source источник
comment
вы получаете что-то вроде ошибки?   -  person eliasah    schedule 20.09.2016
comment
Да, elasticsearch hadoop и spark потоковая передача elasticsearch поддерживают только Spark 1.6. Spark 2 поддерживает только ElasticSearch 5 alpha   -  person Andriy    schedule 20.09.2016
comment
Думаю, я понимаю, о чем вы здесь говорите, вы хотите сказать, что нет поддержки последней версии ES (которая в настоящее время является альфа-версией)? Разве мы не можем вернуться к немного более старой и стабильной версии для интеграции со Spark?   -  person Ram Ghadiyaram    schedule 20.09.2016

Ответы (3)


arrow_upward
2
arrow_downward

Пожалуйста, взгляните на это.

Поддержка Apache Spark

Apache Spark - это вычислительная среда, которая не привязана к самой Map / Reduce, но интегрируется с Hadoop, в основном с HDFS. elasticsearch-hadoop позволяет использовать Elasticsearch в Spark двумя способами: через выделенную поддержку, доступную с версии 2.1, или через мост Map / Reduce, начиная с версии 2.0. Spark 2.0 поддерживается в elasticsearch-hadoop с версии 5.0

Надеюсь, это поможет!

Также есть добыча в ElasticSearch Spark Error, где пользователь использует Spark 2.0 с более ранней версией (Spark 2.0.0 ElasticSearch-Spark 2.3.4) эластичного поиска, и @Crackerman смог решить свою проблему (другая проблема, не связанная с версией)

person Ram Ghadiyaram    schedule 20.09.2016
comment
был ли мой ответ полезным? можешь проверить? - person Ram Ghadiyaram; 21.09.2016

arrow_upward
0
arrow_downward

Да, поддерживает.

Вы можете найти org.elasticsearch библиотеки здесь: https://mvnrepository.com/artifact/org.elasticsearch

https://mvnrepository.com/artifact/org.elasticsearch/elasticsearch-spark-20

Также позаботьтесь о том, чтобы соответствовать той же версии scala (2.11 или 2.10). Например, Ambari предоставляет Spark2 - scala 2.11.

person Thomas Decaux    schedule 27.02.2018

arrow_upward
0
arrow_downward

я использую искру 2.2 читать elasticsearch 5.5.2 работает

scalaVersion := "2.11.10"
val spark = "2.2.0"
val es = "5.5.2"
libraryDependencies ++= Seq(
  "org.elasticsearch" % "elasticsearch-spark-20_2.11" % es,
  "org.apache.spark" % "spark-core_2.11" % spark % "provided" ,
  "org.apache.spark" % "spark-sql_2.11" % spark % "provided",
  "org.apache.spark" % "spark-hive_2.11" % spark % "provided"
)
 val sparkSession = SparkSession.builder()
    .config("es.nodes",locahost)
    .config("es.port","9200")
    .appName("ES")
    .master("local[*]")
    .enableHiveSupport()
    .getOrCreate()

   sparkSession.read.format("org.elasticsearch.spark.sql")
  .option("es.query", "?q=id:(123)") 
  .load("es_index/es_type")
person Neil_TW    schedule 28.08.2017