Я использую resque gem для обработки моего фонового процесса.
Я установил три очереди с одним работником в каждой.
Может ли кто-нибудь объяснить, как расходуется память при увеличении и уменьшении числа рабочих в очереди.
Я слышал, что каждый рабочий процесс загружает отдельную среду Rails. Это правда?
Насколько я знаю, да, каждый воркер запускает отдельную среду Rails, поэтому, если у вас три воркера, у вас будет загружено три среды Rails. Наличие большего количества рабочих не приведет к увеличению вашей очереди, это будет количество заданий в очереди, что заставит ее расти.
В любом случае, если у вас нет серьезной причины иметь 3 отдельных воркера, я предлагаю вам иметь только одного воркера для всех очередей и разделять их по мере масштабирования вашего приложения со временем.
Это неправда. Как я объяснил в своем комментарии здесь, точная цель Resque состоит не в том, чтобы загрузить среду rails для каждого работника (см. https://github.com/blog/542-introduction-resque).
Из-за ограничения, вызванного зеленым trheading-решением ruby, вы должны запустить по крайней мере одного рабочего на ядро процессора, чтобы иметь возможность использовать весь ЦП. Вот почему Resque по умолчанию запускает каждый рабочий процесс в отдельном процессе. Это означает запуск N параллельных процессов одновременно, каждый из которых загружает полный набор драгоценных камней независимо. Это основная причина большого использования памяти для Resque и любого другого инструмента Ruby. Вы можете увидеть здесь, как можно улучшить ситуацию, используя родная многопоточность с JVM.
Поэтому, если вы хотите уменьшить использование памяти Resque, старайтесь, чтобы ваши рабочие зависимости были как можно меньше. И всегда очень важно использовать инструмент мониторинга, такой как God или Bluepill, чтобы следить за процессом.
