Riak - параллельная карта Erlang / сокращение рабочих мест

Я использую Erlang Map / Reduce jobs на Riak.

Когда раньше я использовал задания Javascript M / R, мне приходилось правильно настраивать параметры виртуальной машины JS. В то время я нашел этот разговор чрезвычайно полезным: http://riak-users.197444.n3.nabble.com/Follow-up-Riak-Map-Reduce-error-preflist-exhausted-td4024330.html

Теперь, поскольку я не разработчик Erlang, мне интересно, каковы основные последствия при выполнении параллельных заданий M / R на Riak и есть ли какие-либо настройки виртуальной машины (как я делал с JS M / R).

Спасибо


riak virtual-machine concurrency mapreduce erlang
person Mark    schedule 14.12.2012    source источник

Ответы (2)


arrow_upward
1
arrow_downward

В настоящее время мы обнаружили следующие подводные камни:

p.s. это про риак 1.2.1. Ребята Басё быстро решают многие вопросы, поэтому в ближайшем будущем это может быть изменено.

person danechkin    schedule 14.12.2012
comment
Спасибо. Меня больше беспокоят проблемы с производительностью при выполнении, например, 20 одновременных тяжелых заданий M / R в кластере. Я думаю, что пока у меня есть свободный процессор / память, у меня не будет проблем, верно? - person Mark; 14.12.2012
comment
Если вы уже пишете код на erlang, вы можете использовать каналы riak github.com/basho/riak_pipe (это движок mapreduce риака). Мы используем трубы riak напрямую, и это позволяет нам без таких проблем выполнять тяжелые работы по уменьшению карт. - person danechkin; 14.12.2012

arrow_upward
0
arrow_downward

В основном здесь происходит то, что все этапы запроса сопоставления / сокращения выполняются ErlangVM, а не Erlang + JS. Поскольку в ErlangVM задания изолированы в отдельных процессах, на операции это не влияет. Что касается хоста, у вас такая же вычислительная мощность, так что это тоже нормально. Что касается параметров ErlangVM, многие из них были изменены для улучшения работы Riak, и ваш запрос готов к работе.

person user425720    schedule 14.12.2012
comment
Это означает, что я могу выполнять 20 одновременных тяжелых заданий M / R в кластере и не беспокоиться об этом, если на моих машинах достаточно ЦП / памяти? - person Mark; 14.12.2012