По умолчанию dse spark использует local_dc? Как мне это изменить?

Для DSE 4.6 dse spark по умолчанию ограничивается Analytics центром обработки данных (spark.cassandra.connection.local_dc)? То же самое относится к dse shark?

И последнее, но не менее важное: могу ли я изменить центр обработки данных где-нибудь по умолчанию? Я перешел с SimpleDseSnitch на GossipingPropertyFileSnitch и хочу запускать задания Spark в центре обработки данных, отличном от Analytics.


datastax-enterprise
person Ztyx    schedule 12.05.2015    source источник

Ответы (1)


arrow_upward
2
arrow_downward

Для DSE 4.6 используется ли dse spark по умолчанию для ограничения центра обработки данных Analytics (spark.cassandra.connection.local_dc)? То же самое касается акулы dse?

Да, это то, что делает DSESimpleSnitch. Подробнее см. В документации: .datastax.com / en / datastax_enterprise / 4.6 / datastax_enterprise / deploy / deployConfigRep.html? scroll = configReplication__configRepDseSimpleSnitch.

И последнее, но не менее важное: могу ли я изменить центр обработки данных где-нибудь по умолчанию?

да

Я перешел с SimpleDseSnitch на GossipingPropertyFileSnitch и хотел бы запускать задания Spark в центре обработки данных, отличном от Analytics.

При использовании GossipingPropertyFileSnitch вы сообщаете каждому узлу, где он находится, в файле cassandra-rackdc.properties. См. Документы: . datastax.com/en/datastax_enterprise/4.6/datastax_enterprise/deploy/deployConfigRep.html?scroll=configReplication__GossipingPropertyFile-snitch

person phact    schedule 12.05.2015
comment
Спасибо, phact! Что касается последнего, но не менее важного, могу ли я изменить центр обработки данных, который они используют по умолчанию? вы не указали, как я могу установить центр обработки данных по умолчанию, используемый Spark. Нужно ли будет устанавливать spark.cassandra.connection.local_dc вручную каждый раз при загрузке dse shark? - person Ztyx; 13.05.2015
comment
Да, GossipingPropertyFileSnitch. - person Ztyx; 13.05.2015
comment
Я не понимаю, в чем ваш вопрос. Вы настраиваете центр обработки данных в файле cassandra-rackdc.properties при использовании GPFS. Вы делаете это для каждого узла DSE, включая работающие искры. - person phact; 13.05.2015
comment
Ах, прошу прощения. Мой вопрос касательно dse shark; Как я могу указать, какой local_dc он будет использовать при запуске? - person Ztyx; 16.05.2015
comment
Это должен быть локальный DC, если машина, на которую вы указываете. У вас есть несколько DC аналитики? - person phact; 16.05.2015
comment
Нет, но я хотел бы выполнить миграцию, чтобы запустить Spark на моем Cassandra DC, на котором включены vnodes. - person Ztyx; 18.05.2015