Недавно у нас было обновление Spark с версии 1.3 до версии 1.6, и после этого обновления запросы с условиями "имеющий количество (отдельные)" не работают. Мы получаем ошибку ниже. запрос :: hiveContext.sql( "select A1.x, A1.y, A1.z from...

Я пытаюсь сделать это в модульных тестах: val sConf = new SparkConf() .setAppName("RandomAppName") .setMaster("local") val sc = new SparkContext(sConf) val sqlContext = new TestHiveContext(sc) // tried new HiveContext(sc) as well Но я...

В bluemix spark я хочу использовать HiveContext HqlContext = HiveContext(sc) //some code df = HqlContext.read.parquet("swift://notebook.spark/file.parquet") Я получаю следующую ошибку Py4JJavaError: Произошла ошибка при вызове...

В одном из наших пайплайнов мы выполняем агрегацию с помощью spark(java), и она управляется с помощью oozie. Этот конвейер записывает агрегированные данные в файл ORC, используя следующие строки. HiveContext hc = new HiveContext(sc); DataFrame...

Мы читаем данные из таблицы hive с hiveContext , используя spark dataframe . После выполнения некоторых агрегаций данных мы сохраняем эти данные в другой таблице (в которой уже есть данные). Но новые данные не добавляются в существующую...

У меня есть набор данных размером 10 петабайт. Мои текущие данные находятся в HBase , где я использую Spark HbaseContext , но он работает плохо. Будет ли полезно переместить данные из HbaseContext в HiveContext в Spark?

Я использую pyspark для некоторой обработки данных и использую HiveContext для оконной функции. Чтобы протестировать код, я использую TestHiveContext, в основном копируя реализацию из исходного кода pyspark:...