Я установил предварительную сборку spark 2.0.2 для Hadoop 2.4 и более поздних версий отсюда: https://spark.apache.org/downloads.html . затем я создал свой кластер, состоящий из 1 мастера и 2 рабочих, также я установил Ganglia на 3 машины (gmetad, gmond на мастере и gmond только на рабочих). Мне нужно отслеживать использование искровым кластером ЦП, памяти и диска при запуске искрового приложения, чтобы получить производительность моего кластера. Мой вопрос: как интегрировать Ganglia со искрой, как увидеть показатели искры в веб-интерфейсе ганглиев? Я знаю, что мы должны настроить файл metric.properties в $ SPARK_HOME/conf для настройки приемников ганглиев. Я сделал это, но здесь я узнаю, что у нас должны быть пакеты LGPL, а этот не включен по умолчанию. Как установить его, пока у меня есть готовый spark. Должен ли я восстановить искру? Как это сделать? В двух приведенных ниже ссылках я обнаружил, что используемая искра построена с помощью mvn или sbt, но это не то же самое, что я использовал (предварительно построенная искра)
Мониторинг искр с помощью Ganglia и Как интегрировать Ganglia для показателей работы Spark 2.1, Spark игнорирует показатели Ganglia
Спасибо
