Прочитав этот вопрос , я хотел бы задать дополнительные вопросы: Диспетчер кластеров - это служба с длительным сроком службы, на каком узле она запущена? Возможно ли, что главный и драйверный узлы будут одной и той же машиной? Я предполагаю,...

TL; DR: в чем разница между режимами развертывания клиента и кластера в автономном кластере Spark? Как мне установить, в каком режиме будет работать мое приложение? У нас есть автономный кластер Spark с тремя машинами, все с Spark 1.6.1:...

schedule() в Master.scala показывает, что первая задача расписания - это планирование драйверов для рабочих. Поскольку Master запускает только автономный режим, драйверы будут работать на клиенте вне кластера Spark. Зачем мастеру нужно...

Я хочу запускать примеры Spark MLlib локально на своем компьютере (я думаю, это называется автономным). Я хочу запустить JavaWord2VecExample.java . эта конфигурация файла настроена для сеансов, которые запускают Spark на некоторых рабочих с одним...

Установленный искровой кластер в автономном режиме с 2 узлами, на первом узле работает главный узел искры, а на другом узле рабочий узел искры. Когда я пытаюсь запустить искровую оболочку на рабочем узле с кодом подсчета слов, он работает нормально,...

Я разрабатывал в pyspark с автономным некластерным режимом искры. В эти дни я хотел бы больше узнать о кластерном режиме искры. Я поискал в Интернете и обнаружил, что мне может понадобиться диспетчер кластеров для запуска кластеров на разных машинах...

У меня есть работающая HDFS и работающая среда Spark на удаленном сервере. Я запускаю приложения SparkR и надеюсь также увидеть журналы завершенного пользовательского интерфейса. Я выполнил все инструкции здесь: Windows: конфигурация сервера...

Я установил spark 2.1.1 на 2 машины, но в разные относительные местоположения , то есть на одну машину я установил где-то на диск NTFS, а на другой я установил его на диск ext4. Я пытаюсь запустить кластер в автономном режиме с 2 ведомыми...

Я отправлял приложение play для запуска автономного кластера 2.1. В игровом приложении также добавлена ​​зависимость postgres, и приложение работает с локальными библиотеками spark. Но во время выполнения на автономном кластере выдает ошибку:...

Я создал автономный кластер Spark (2.1.1) на своих локальных машинах с 9 ядрами / 80 ГБ на каждой машине (всего 27 ядер / 240 ГБ оперативной памяти) У меня есть образец искровой работы, который суммирует все числа от 1 до x, это код: package...

Попытка добиться высокой доступности SparkMaster с помощью ZooKeeper с устойчивостью SparkDriver с использованием контрольной точки метаданных в GlusterFS. Некоторая информация: Использование Spark 2.2.0 (готовый двоичный файл) Отправка...

На достаточно оборудованном 64-разрядном сервере Fedora (домашнем) с 12-Cores и 64gb-RAM у меня есть Spark 2.4 , работающий в режиме Standalone со следующей конфигурацией в ./spark-env.sh (где не показаны элементы в этом файле, которые у...

У меня есть кластер с двумя рабочими и одним мастером. Чтобы запустить мастер и рабочие, я использую sbin/start-master.sh и sbin/start-slaves.sh на главной машине . Затем главный пользовательский интерфейс показывает мне, что ведомые устройства...

В режиме развертывания «клиент» искры драйвер искры не потребляет ядра, только приложения искры. Но почему в «кластерном» режиме драйверу искры нужно ядро ​​для себя?

У меня проблема с удаленным подключением к искровому кластеру из ноутбука Jupyter. Локально работает нормально. Способ 1: conf = pyspark.SparkConf().setAppName('Pi').setMaster('spark://my-cluster:7077') sc = pyspark.SparkContext(conf=conf)...