У меня есть работающая HDFS и работающая среда Spark на удаленном сервере. Я запускаю приложения SparkR и надеюсь также увидеть журналы завершенного пользовательского интерфейса. Я выполнил все инструкции здесь: Windows: конфигурация сервера истории Apache Spark и был в состоянии запустить сервер истории на сервере.
Однако только тогда, когда суперпользователь (человек, который запустил узел имени Hadoop) и который запустил процессы Spark, запускает приложение Spark удаленно, ведение журнала успешно происходит в пути HDFS, и мы можем просматривать веб-интерфейс истории Spark. также.
Когда я запускаю одно и то же приложение из своего идентификатора пользователя (удаленно), хотя оно показывает на порту 18080, что сервер истории запущен и работает, он не регистрирует ни одно из моих приложений.
Мне предоставлен доступ для чтения, записи и выполнения к папке в HDFS.
Файл spark-defaults.conf теперь выглядит так:
spark.eventLog.enabled true
spark.history.fs.logDirectory hdfs://XX.XX.XX.XX:19000/user/logs
spark.eventLog.dir hdfs://XX.XX.XX.XX:19000/user/logs
spark.history.ui.acls.enable false
spark.history.fs.cleaner.enabled true
spark.history.fs.cleaner.interval 1d
spark.history.fs.cleaner.maxAge 7d
Я где-то упустил некоторые разрешения или настройки конфигурации (Spark? HDFS)?
Любые указатели/советы, чтобы продолжить отсюда, будут оценены.
