Я использую EMR с livy, но Livy убивает некоторые сеансы, есть ли способ дождаться завершения других задач вместо того, чтобы убивать эти сеансы? Спасибо,
Вот результат этих сеансов убийства:
Цитата
Приложение YARN Diagnostics Application_1556020828433_0008 было убито пользователем livy в 172.18.29.18
Неактивные сеансы будут уничтожены после истечения срока действия livy.server.session.timeout.
используйте указанные ниже свойства, чтобы установить в livy.conf для настройки тайм-аута сеанса
Предупреждение: игнорирование свойства конфигурации без искры: maximizeResourceAllocation = true 19/04/23 12:07:11 WARN SparkConf: ключ конфигурации spark.yarn.executor.memoryOverhead устарел в Spark 2.3 и может быть удален в будущее. Вместо этого используйте новый ключ spark.executor.memoryOverhead. 19/04/23 12:07:11 ПРЕДУПРЕЖДЕНИЕ SparkConf: ключ конфигурации 'spark.scheduler.listenerbus.eventqueue.size' объявлен устаревшим в Spark 2.3 и может быть удален в будущем. Вместо этого используйте новый ключ spark.scheduler.listenerbus.eventqueue.capacity. 19/04/23 12:07:11 ПРЕДУПРЕЖДЕНИЕ NativeCodeLoader: невозможно загрузить библиотеку native-hadoop для вашей платформы ... с использованием встроенных классов java, где это возможно. 19/04/23 12:07:12 ИНФОРМАЦИЯ RMProxy: подключение к ResourceManager на ip-172-18-29-18.ec2.internal / 172.18.29.18: 8032 19/04/23 12:07:13 INFO Client: запрос нового приложения из кластера с 4 NodeManager 19/04/23 12:07: 13 INFO Client: проверка того, что наше приложение не запросило больше, чем максимальная емкость памяти кластера (491520 МБ на контейнер) 19.04.23 12:07:13 INFO Client: выделит контейнер AM с 22000 МБ памяти, включая 2000 МБ накладные расходы 19.04.23 12:07:13 INFO Client: Настройка контекста запуска контейнера для нашего AM 19.04.23 12:07:13 INFO Client: Настройка среды запуска для нашего AM контейнера 19.04.23 12 : 07: 13 INFO Client: подготовка ресурсов для нашего AM-контейнера 19.04.23 12:07:14 WARN Client: ни spark.yarn.jars, ни spark.yarn.archive не установлены, возвращаясь к загрузке библиотек в SPARK_HOM Э. 19/04/23 12:07:16 INFO Client: Загрузка файла ресурсов: / mnt / tmp / spark-9e521492-1bdf-4115-a0d1-d3c278f7058f / spark_libs__3546840914405417444.zip -> hdfs: // ip-172- 18-29-18.ec2.internal: 8020 / user / livy / .sparkStaging / application_1556020828433_0008 / __ spark_libs__3546840914405417444.zip 19/04/23 12:07:17 INFO Client: загрузка файла ресурсов: / usr / lib / livy / rsc- jars / netty-all-4.0.37.Final.jar -> hdfs: //ip-172-18-29-18.ec2.internal: 8020 / user / livy / .sparkStaging / application_1556020828433_0008 / netty-all-4.0. 37.Final.jar 19/04/23 12:07:17 INFO Client: загрузка файла ресурсов: /usr/lib/livy/rsc-jars/livy-rsc-0.5.0-incubating.jar -> hdfs: // ip-172-18-29-18.ec2.internal: 8020 / user / livy / .sparkStaging / application_1556020828433_0008 / livy-rsc-0.5.0-incubating.jar 19/04/23 12:07:17 INFO Клиент: загрузка файл ресурсов: /usr/lib/livy/rsc-jars/livy-api-0.5.0-incubating.jar -> hdfs: //ip-172-18-29-18.ec2.internal: 8020 / user / livy /.sparkStaging/application_1556020828433_0008/livy-api-0. 5.0-incubating.jar 19/04/23 12:07:17 INFO Client: загрузка файла ресурсов: /usr/lib/livy/repl_2.11-jars/livy-core_2.11-0.5.0-incubating.jar -> hdfs: //ip-172-18-29-18.ec2.internal: 8020 / user / livy / .sparkStaging / application_1556020828433_0008 / livy-core_2.11-0.5.0-incubating.jar 19/04/23 12:07 : 17 INFO Client: загрузка файла ресурсов: /usr/lib/livy/repl_2.11-jars/livy-repl_2.11-0.5.0-incubating.jar -> hdfs: // ip-172-18-29-18 .ec2.internal: 8020 / user / livy / .sparkStaging / application_1556020828433_0008 / livy-repl_2.11-0.5.0-incubating.jar 19/04/23 12:07:17 INFO Клиент: загрузка файла ресурсов: / usr / lib /livy/repl_2.11-jars/commons-codec-1.9.jar -> hdfs: //ip-172-18-29-18.ec2.internal: 8020 / user / livy / .sparkStaging / application_1556020828433_0008 / commons-codec -1.9.jar 19/04/23 12:07:17 INFO Client: загрузка файла ресурсов: /etc/spark/conf/hive-site.xml -> hdfs: //ip-172-18-29-18.ec2 .internal: 8020 / user / livy / .sparkStaging / application_1556020828433_0008 / hive-site.xml 19/04/23 12:07:17 INFO Клиент: Uploa файл ресурсов ding: /usr/lib/spark/R/lib/sparkr.zip#sparkr -> hdfs: //ip-172-18-29-18.ec2.internal: 8020 / user / livy / .sparkStaging / application_1556020828433_0008 /sparkr.zip 19.04.23 12:07:17 INFO Client: загрузка файла ресурсов: /usr/lib/spark/python/lib/pyspark.zip -> hdfs: // ip-172-18-29-18 .ec2.internal: 8020 / user / livy / .sparkStaging / application_1556020828433_0008 / pyspark.zip 19.04.23 12:07:17 INFO Client: загрузка файла ресурсов: /usr/lib/spark/python/lib/py4j-0.10 .7-src.zip -> hdfs: //ip-172-18-29-18.ec2.internal: 8020 / user / livy / .sparkStaging / application_1556020828433_0008 / py4j-0.10.7-src.zip 19/04 / 23 12:07:17 INFO Client: загрузка файла ресурсов: / mnt / tmp / spark-9e521492-1bdf-4115-a0d1-d3c278f7058f / __ spark_conf__8433272661836653995.zip -> hdfs: //ip-172-18-29-18.ec2 .internal: 8020 / user / livy / .sparkStaging / application_1556020828433_0008 / __ spark_conf .zip 19/04/23 12:07:17 INFO SecurityManager: изменение ACL просмотра на: livy 23/04/23 12:07:17 ИНФОРМАЦИЯ SecurityManager: изменение списка контроля доступа кому: livy 19.04.23, 12:07:17 INFO SecurityManager: изменение просмотра групп ACL на: 19.04.23 12:07:17 INFO SecurityManager: изменение изменения групп ACL на: 19.04.23 12:07: 17 ИНФОРМАЦИЯ SecurityManager: SecurityManager: проверка подлинности отключена; ui acls отключен; пользователи с разрешениями на просмотр: Set (livy); группы с правами просмотра: Set (); пользователи с правами на изменение: Set (livy); группы с разрешениями на изменение: Set () 19/04/23 12:07:17 INFO Client: отправка приложения application_1556020828433_0008 в ResourceManager 19/04/23 12:07:17 INFO YarnClientImpl: отправленное приложение application_1556020828433_0008 23/04/23 12:07 : 17 INFO Client: отчет о приложении для application_1556020828433_0008 (состояние: ПРИНЯТО) 23.04.23 12:07:17 INFO Client: токен клиента: N / A диагностика: [Вт, 23 апр, 12:07:17 +0000 2019] Приложение Активировано, ожидает назначения ресурсов для AM. Детали: AM Partition =; Ресурс раздела =; Абсолютная емкость очереди = 100,0%; Абсолютная используемая емкость очереди = 93,24219%; Абсолютная максимальная емкость очереди = 100,0%; Хост ApplicationMaster: н / д ApplicationMaster Порт RPC: -1 очередь: время начала по умолчанию: 1556021237796 окончательный статус: НЕОПРЕДЕЛЕННЫЙ URL отслеживания: http://ip-172-18-29-18.ec2.internal:20888/proxy/application_1556020828433_0008/ пользователь: livy 19/04/23 12 : 07: 17 ИНФОРМАЦИЯ ShutdownHookManager: Вызов обработчика выключения 19.04.23 12:07:17 ИНФОРМАЦИЯ ShutdownHookManager: Удаление каталога / mnt / tmp / spark-a5a3a313-9040-4c1c-b2d2-f51fd429064b 23.04.23, 12:07: 17 INFO ShutdownHookManager: удаление каталога / mnt / tmp / spark-9e521492-1bdf-4115-a0d1-d3c278f7058f
# Enabled to check whether timeout Livy sessions should be stopped.
# livy.server.session.timeout-check = true
# Time in milliseconds on how long Livy will wait before timing out an idle session.
# livy.server.session.timeout = 1h
#
# How long a finished session state should be kept in LivyServer for query.
# livy.server.session.state-retain.sec = 600s
