Выравнивание версии SQLcontext с помощью Spark-Core

Я создаю свое рабочее пространство в Scala-IDE для Spark-core и Dataframes. Ниже приведены конечные точки, которые я предоставил в pom.xml.

<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.10</artifactId>
<version>1.6.2</version>
</dependency>
<!-- https://mvnrepository.com/artifact/org.apache.spark/spark-sql_2.11  -->


<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-sql_2.11</artifactId>
<version>1.6.1</version>
</dependency>

Похоже, версии несовместимы. Какую версию sqlContext я должен использовать с spark-core-1.6.2.


maven apache-spark apache-spark-sql spark-dataframe
person Ishan Kumar    schedule 16.11.2016    source источник

Ответы (2)


arrow_upward
1
arrow_downward

Я бы использовал это:

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-sql_2.11</artifactId>
    <version>1.6.2</version>
</dependency>
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-core_2.11</artifactId>
    <version>1.6.2</version>
</dependency>

И я бы использовал одни и те же версии scala в обеих зависимостях! Вы указываете в своей зависимости scala 2.10 для искрового ядра и 2.11 для искрового sql. И на данный момент доступен Spark Core 1.6.3, но не Spark SQL 1.6.3. но когда он станет доступен, вам следует сменить на него свой pom, потому что они выпустили много исправления.

person Simon Schiff    schedule 16.11.2016

arrow_upward

arrow_downward

person    schedule
comment
Да, я могу понять, что действительно сложно получить разрешение зависимости, но нужно понимать зависимый объект, который зависит друг от друга. - person Shyam Gupta; 06.05.2018
comment
Я предлагаю изучить матрицу репозитория maven на следующих сайтах: mvnrepository.com/artifact/org.apache.spark/spark-hive_2.11/ - person Shyam Gupta; 06.05.2018