Я создаю RESTful API поверх Apache Spark. Выполнение следующего скрипта Python с spark-submit , похоже, работает нормально: import cherrypy from pyspark.sql import SparkSession spark = SparkSession.builder.appName('myApp').getOrCreate() sc =...

Я использую spark-jobserver-0.6.2-spark-1.6.1 (1) экспорт OBSERVER_CONFIG = /custom-spark-jobserver-config.yml (2) ./ server_start.sh Выполнение указанного выше стартового файла оболочки возвращается без ошибок. Однако он создал файл pid:...

У меня есть автономный кластер Spark с несколькими узлами. Я смог получить его High Available с помощью zookeeper. Я использую Spark Jobserver spark-2.0-preview, и я настроил файл jobserver env1.conf с доступными URL-адресами искры, например,...

Я практиковался в разработке образца модели, используя онлайн-ресурсы, представленные на веб-сайте spark. Мне удалось создать модель и запустить ее для выборки данных с помощью Spark-Shell, но как на самом деле запустить модель в производственной...

Я новый пользователь Spark. У меня есть веб-служба, которая позволяет пользователю запрашивать сервер для выполнения сложного анализа данных путем чтения из базы данных и отправки результатов обратно в базу данных. Я переместил эти анализы в...

Я пробовал искру, используя искровую оболочку. Все мои данные в sql. I used to include external jars using the --jars flag like /bin/spark-shell --jars /path/to/mysql-connector-java-5.1.23-bin.jar --master spark://sparkmaster.com:7077 I have...

Итак, я пытаюсь запустить задание, которое просто запускает запрос к cassandra с использованием spark-sql, задание отправляется нормально, и задание запускается нормально. Этот код работает, когда он не запускается через сервер заданий Spark (когда...

начало работы со искрой Я хотел бы знать, как flatmap или explode фрейм данных. Он был создан с использованием df.groupBy("columName").count и имеет следующую структуру, если я его соберу: [[Key1, count], [Key2, count2]] Но я бы...

Я многого не понимаю в Spark, Spark Jobserver и DC/OS от Mesosphere. Но мне очень нравится проект Jobserver, а также очень нравится наш кластер DC/OS, и я бы очень хотел, чтобы они работали вместе. Добавление контейнера Docker в файл marathon,...

Я пытаюсь следовать этой документации: https://github.com/spark-jobserver/spark-jobserver#dependency-jars Вариант 2, указанный в документации, гласит: Зависимый-jar-uris также может использоваться в параметре конфигурации задания при...

Я пытаюсь выполнить следующую команду curl для запуска задания: curl -k --basic --user 'user:psw' -d 'input.string= {"user":13}' 'https://localhost:8090/jobs?appName=test&classPath=test.ImportCSVFiles&context=import&sync=true' Но...