Вопросы по теме 'livy'
выполнять задания Spark с Livy, используя --master yarn-cluster, без внесения общесистемных изменений
Я хочу выполнить задание Spark через HTTP-вызов извне кластера с помощью Livy , где Spark jar уже существует в HDFS.
Я могу spark-submit выполнить задание из оболочки на узлах кластера, например:
spark-submit --class io.woolford.Main...
1325 просмотров
schedule
18.10.2021
почему Livy или Spark-JobServer вместо простого веб-фреймворка?
Я создаю RESTful API поверх Apache Spark. Выполнение следующего скрипта Python с spark-submit , похоже, работает нормально:
import cherrypy
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName('myApp').getOrCreate()
sc =...
4251 просмотров
schedule
24.11.2021
Apache Nifi - отправка пакетных заданий Spark через Apache Livy
Я хочу запланировать мои искровые пакетные задания из Нифи. Я вижу, что есть ExecuteSparkInteractive , который отправляет искровые задания Ливи, но выполняет код, указанный в свойстве или из содержимого файла входящего потока. Как мне запланировать...
877 просмотров
schedule
07.03.2022
Как установить свойства конфигурации Spark с помощью Apache Livy?
Я не знаю, как программно передавать параметры SparkSession при отправке задания Spark в Apache Livy:
Это задание Test Spark:
class Test extends Job[Int]{
override def call(jc: JobContext): Int = {
val spark = jc.sparkSession()
//...
1445 просмотров
schedule
27.03.2022
Как пересобрать apache Livy с помощью scala 2.12
Я использую Spark 3.1.1, который использует Scala 2.12, и предварительно созданный Livy, загруженный с здесь использует Scala 2.11 (после распаковки можно было найти папку с именем repl_2.11-jars/ ).
Ссылаясь на комментарий Александра...
313 просмотров
schedule
29.03.2022
Настройка внешних jar-файлов с помощью записной книжки HDI Jupyter Spark (Scala)
У меня есть внешний настраиваемый jar-файл, который я хотел бы использовать с записными книжками Azure HDInsight Jupyter; ноутбуки Jupyter в HDI используют Spark Magic и Livy.
В первой ячейке записной книжки я пытаюсь использовать конфигурацию...
1488 просмотров
schedule
16.09.2022
Внутренняя ошибка сервера: сеанс находится в состоянии ошибки запуска при выполнении примера задания Spark Livy
Ошибка «Внутренняя ошибка сервера: сеанс находится в состоянии запуска» при выполнении примера задания Spark Livy.
Я установил Livy для доступа к apache-spark с помощью REST API и запустил сервер Livy. При запуске пробного приложения Spark Pi (как...
1003 просмотров
schedule
06.10.2023
Как убить искру / пряжу через livy
Я пытаюсь отправить искру через livy, используя rest api. Но если я запускаю один и тот же сценарий несколько раз, он запускает несколько экземпляров задания с разными идентификаторами задания. Я ищу способ убить задание искры / пряжи с тем же...
4906 просмотров
schedule
20.01.2023
Не удалось найти банку в репозитории при сборке Livy с использованием пакета mvn clean
Я новичок в Ливии и строю Ливи, как сказал официал. Команда выглядит следующим образом:
git clone https://github.com/apache/incubator-livy.git
cd incubator-livy
mvn package
Затем я получаю сообщение об ошибке следующим образом:...
380 просмотров
schedule
08.06.2023
Ошибка при запуске Spark от livy
Я выполняю свою работу Spark, используя livy, однако я получаю исключение ниже
java.util.concurrent.ExecutionException: java.io.IOException: Internal Server Error: "java.util.concurrent.ExecutionException: org.apache.livy.rsc.rpc.RpcException:...
922 просмотров
schedule
01.12.2022
Как установить spark.driver.extraClassPath через Apache Livy в кластере Azure Spark?
Я хотел бы добавить некоторую конфигурацию, когда задание Spark отправляется через Apache Livy в кластер Azure. В настоящее время для запуска Spark Job через Apache Livy в кластере я использую следующую команду
curl -X POST --data '{"file":...
1304 просмотров
schedule
19.03.2023
Ошибка отражения при создании сеанса искры через Ливи
Я создаю искровую сессию через LivyClient. Код для создания сеанса -
var client: LivyClient = null
try {
client = new LivyClientBuilder()
.setURI(new URI("http://127.0.0.1:4141"))
.build();
val pi =...
444 просмотров
schedule
16.10.2022
как установить livy.server.session.timeout на ускорение кластера EMR?
Я создаю кластер EMR и использую jupyter notebook для запуска некоторых искровых задач. Мои задачи умирают примерно через 1 час выполнения, и ошибка:
An error was encountered:
Invalid status code '400' from...
9066 просмотров
schedule
23.05.2023
Почему задание искровой отправки оставляет процесс, запущенный на главном узле кластера (EMR)?
Я отправляю искровое задание Ливи через лямбда-функцию AWS. Задание выполняется до конца программы драйвера, но затем не завершается.
Если в конец программы драйвера добавлены spark.stop () или sc.stop (), задание Spark завершится в диспетчере...
343 просмотров
schedule
18.07.2023
Состояние сеансов AWS EMR Livy отключено
Я использую EMR с livy, но Livy убивает некоторые сеансы, есть ли способ дождаться завершения других задач вместо того, чтобы убивать эти сеансы? Спасибо,
Вот результат этих сеансов убийства:
Цитата
Приложение YARN Diagnostics...
898 просмотров
schedule
29.04.2023
Сбой загрузки LivyClient с py4j.Py4JException: ошибка при получении нового канала связи
Я пытаюсь отправить искровое задание через Apache Livy, но метод uploadJar LivyClient не работает.
Это код (очень похожий на пример PiJob):
LivyClientBuilder builder = new LivyClientBuilder();
LivyClient client =...
211 просмотров
schedule
04.03.2023
Есть ли какие-то другие настройки, которые нужно сделать вместе с Livy server (livy.conf)?
Я установил докер для пряжи hadoop, и я пытаюсь настроить живой сервер apache для выполнения вызовов API для отправки заданий.
В журналах ниже показано, что livy-сервер запускается на определенное время и останавливается автоматически.
19/08/17...
342 просмотров
schedule
25.06.2023
Пакеты Python не импортируются в AWS EMR
Я пытаюсь отправить задание в кластер EMR через Livy. Мой сценарий Python (для отправки задания) требует импорта нескольких пакетов. Я установил все эти пакеты на главный узел EMR. Основной сценарий находится на S3, который вызывается сценарием для...
731 просмотров
schedule
07.07.2023
Вызов API REST Apache Livy из Java
Мы используем Apache Livy для чтения данных из объектного хранилища в кластере Spark.
Apache Livy API: POST http: // server: port / sessions / {sessionId} / statement Полезная нагрузка запроса:
{"code":" val df =...
306 просмотров
schedule
20.05.2023
Настройка spark.local.dir в Pyspark/Jupyter
Я использую Pyspark из блокнота Jupyter и пытаюсь записать большой паркетный набор данных в S3. Я получаю сообщение об ошибке "Нет свободного места на устройстве". Я поискал и выяснил, что это происходит из-за того, что /tmp заполняется. Теперь я...
2960 просмотров
schedule
22.10.2023
