Я запускаю искровую потоковую передачу 1.4.0 на Yarn (дистрибутив Apache 2.6.0) с java 1.8.0_45, а также с прямым потоком Kafka. Я также использую Spark с поддержкой scala 2.11. Проблема, которую я вижу, заключается в том, что контейнеры драйвера...

Я новичок в Apache Spark (версия 1.4.1). Я написал небольшой код для чтения текстового файла и сохранил его данные в Rdd. Есть ли способ получить размер данных в rdd. Это мой код: import org.apache.spark.SparkContext import...

Изначально мы создали библиотеку в блоках данных, используя артефакт maven. Мы видим, что все банки присутствуют в библиотеке, и обратите внимание, что этот артефакт maven наш. Мы обнаружили несколько проблем с артефактом. Исправлено и обновлено...

Я запускаю потоковое приложение Spark с двумя рабочими. Приложение имеет операции соединения и объединения. Все пакеты завершаются успешно, но было замечено, что метрики разлива случайного воспроизведения не согласуются с размером входных или...

Я пытаюсь установить Spark на свой локальный компьютер. Я следил за это руководство. Я установил JDK-7 (также есть JDK-8 ) и Scala 2.11.7 . Проблема возникает, когда я пытаюсь использовать sbt для сборки Spark 1.4.1 . Я получаю следующее...

Я хотел бы рассчитать разницу между двумя значениями из одного столбца. Сейчас мне просто нужна разница между последним значением и первым значением, однако использование последнего (столбца) возвращает нулевой результат. Есть ли причина, по которой...