Я бегу pyspark , spark 1.3 , standalone mode , client mode . Я пытаюсь исследовать свою искровую работу, просматривая прошлые вакансии и сравнивая их. Я хочу просмотреть их журналы, параметры конфигурации, в которых были отправлены задания, и...

Я использую Спарк 1.3.1. Как хранить/сохранять данные DataFrame в хранилище метаданных Hive? В Hive Если я запускаю show tables , DataFrame не отображается в виде таблицы в базах данных Hive. Я скопировал hive-site.xml в $SPARK_HOME/conf ,...

Я пытаюсь запустить простое приложение Python в кластере с двумя узлами, который я настроил в автономном режиме. Мастер и рабочий, а мастер берет на себя и роль рабочего. В следующем коде я пытаюсь подсчитать количество тортов, происходящих в...