как установить livy.server.session.timeout на ускорение кластера EMR?

Я создаю кластер EMR и использую jupyter notebook для запуска некоторых искровых задач. Мои задачи умирают примерно через 1 час выполнения, и ошибка:

An error was encountered:
Invalid status code '400' from https://xxx.xx.x.xxx:18888/sessions/0/statements/20 with error payload: "requirement failed: Session isn't active."

Я понимаю, что это связано с конфигурацией Livy livy.server.session.timeout, но я не знаю, как я могу установить ее в начальной загрузке кластера (мне нужно сделать это в начальной загрузке, потому что кластер создается без доступа ssh)

Заранее большое спасибо


configuration amazon-emr livy
person bill    schedule 16.01.2019    source источник

Ответы (3)


arrow_upward
22
arrow_downward

В EMR livy-conf - это классификация свойств livy.conf файла livy, поэтому при создании кластера EMR выберите advanced options с Livy в качестве приложения, выбранного для установки, передайте эту конфигурацию EMR в поле Enter Configuration.

[{'classification': 'livy-conf','Properties': {'livy.server.session.timeout':'5h'}}]
  • В EMR двоичный файл Livy расположен по адресу /etc/livy/, поэтому файл конфигурации находится по адресу /etc/livy/conf/livy.conf.

Чтобы убедиться в этом,

  • Создайте кластер EMR с известной конфигурацией ec2 key-pair, Livy и выше.
  • Используя ec2 key-pair, войдите в главный узел EC2, связанный с кластером ssh -i some-ec2-key-pair.pem [email protected]
  • Перейдите к /etc/livy/conf, vim livy.conf и посмотрите обновленное значение livy.server.session.timeout
person Naveen Cotha    schedule 17.01.2019
comment
Замените «классификацию» на «классификацию». - person jaycode; 04.02.2020
comment
как мы можем изменить свойство livy.rsc.launcher.port.range в livy-client.conf? невозможно сделать это, классификация livy-client или livy-client-conf не работает. - person learning; 04.03.2020
comment
Привет, @Naveen, вы можете добавить эту ссылку в свой ответ aws.amazon.com/premiumsupport/knowledge-center/ - person Benzi; 08.07.2021

arrow_upward
4
arrow_downward

Если вы вообще не хотите, чтобы сеанс Livy прерывался, установите для свойства livy.server.session.timeout-check значение false в /etc/livy/conf/livy.conf.

person amruth    schedule 25.09.2019
comment
Пытаюсь (надеюсь, это сработает). - person Merlin; 30.11.2020
comment
Используя страницу EMR консоли AWS для моего кластера, я могу редактировать таблицу и добавлять конфигурацию для всех групп экземпляров, используя livy-conf и livy.server.session.timeout-check, false. После этого мастер и ядро ​​переходят в режим «перенастройки». - person Merlin; 30.11.2020
comment
@Merlin, мой Мастер и Ядро на какое-то время перешли в состояние Реконфигурации, затем Мастер стал Приостановлен, а ядро ​​- Работает. Появляется предупреждение о главной группе экземпляров: сбой возврата конфигурации, арест группы экземпляров. Это то, что случилось с тобой? - person puifais; 06.07.2021

arrow_upward
3
arrow_downward

Другой способ сделать это, если вы не хотите воссоздавать кластер, - это перейти к /etc/livy/conf/livy.conf и установить для свойства livy.server.session.timeout желаемое значение. После этого запустите sudo restart livy-server, чтобы применить конфигурацию.

person Jeremy Kankai Zhang    schedule 09.07.2019
comment
Эта команда не работает для перезапуска. Лучше используйте это: sudo systemctl restart livy-server - person richar8086; 19.10.2020