Я создал кластер Datastax Enterprise на AWS, используя 3 экземпляра m3.large, где все 3 узла являются аналитическими узлами, работающими под управлением Spark.
3 экземпляра амазонки m3.large имеют по 2 ядра, всего 6 ядер.
В веб-интерфейсе Spark Master я вижу всего 3 доступных ядра -> в веб-интерфейсе каждого из рабочих узлов я вижу только 1 доступное ядро.
Что случилось с 3 другими ядрами? Резервирует ли DSE 1 ядро на машину для Cassandra или других операций?
Спасибо
Количество ядер, доступных для Spark в DSE, по умолчанию равно (0,7 * общее_число_ядер). В вашем случае это приведет к 1,4, что округляется до одного ядра. Вы можете изменить свой процент, отредактировав
/etc/dse/dse.yaml
or
install_location/resources/dse/conf/dse.yaml
и корректировка
initial_spark_worker_resources: .7
В приведенной ниже документации также более подробно описано, как изменить настройки Spark. Однако важно отметить, что если все ядра вашей машины будут выделены для Spark, ваша система в конечном итоге переключится на переключение контекста и снизит производительность.
