У меня есть внешний настраиваемый jar-файл, который я хотел бы использовать с записными книжками Azure HDInsight Jupyter; ноутбуки Jupyter в HDI используют Spark Magic и Livy.
В первой ячейке записной книжки я пытаюсь использовать конфигурацию jars:
%%configure -f
{"jars": ["wasb://$container$@$account#.blob.core.windows.net/folder/my-custom-jar.jar"]}
Но я получаю следующее сообщение об ошибке:
Starting Spark application
The code failed because of a fatal error:
Status 'shutting_down' not supported by session..
Some things to try:
a) Make sure Spark has enough available resources for Jupyter to create a Spark context. For instructions on how to assign resources see http://go.microsoft.com/fwlink/?LinkId=717038
b) Contact your cluster administrator to make sure the Spark magics library is configured correctly.
Current session configs: {u'jars': [u'wasb://$container$@$account#.blob.core.windows.net/folder/my-custom-jar.jar'], u'kind': 'spark'}
An error was encountered:
Status 'shutting_down' not supported by session.
Мне интересно, не понимаю ли я, как Livy работает в этом случае, поскольку мне удалось успешно включить искровый пакет (GraphFrames) в тот же кластер:
%%configure -f
{ "conf": {"spark.jars.packages": "graphframes:graphframes:0.3.0-spark2.0-s_2.11" }}
Некоторые дополнительные ссылки, которые могут быть полезны (на случай, если я что-то пропустил):
h2oиpysparkling. - person Jake Smith schedule 29.03.2017