SolrCloud — Недостаточно памяти

Использовали SolrCloud 4.10.3 на платформе Cloudera с кластером solr из 3 узлов с 2 коллекциями по 3 сегмента в каждой. Коллекция 1: приблизительный размер: 15,3 ГБ Коллекция 2: размер: 1,2 ГБ

Размер нашей кучи составляет 8 ГБ, а вне кучи — 15 ГБ. У нас есть поток в solr в реальном времени для одной из наших коллекций (другая довольно статична). Мы постоянно получаем ошибку нехватки памяти.

Может ли кто-нибудь помочь нам в причине? Должны ли мы иметь дополнительные осколки для распределения нагрузки? Или нам нужно продолжать выделять больше памяти из кучи? Все графики кучи Cloudera показывают, что мы находим место для кучи (мы редко превышаем 6,5 ГБ), и паузы GC не являются проблемой.

Спасибо


solr solrcloud
person Josh    schedule 19.10.2016    source источник
comment
Может быть, ваша ошибка anjava.lang.OutOfMemoryError: невозможно создать новый собственный поток? Если да, то проблема не в памяти, а в количестве max пользовательских процессов (если вы используете Linux). В этом случае просто увеличьте лимит.   -  person Toke Eskildsen    schedule 21.10.2016

Ответы (1)


arrow_upward
1
arrow_downward

Лучше всего обновить облако solr до версии 6.2.1.

это также зависит от архитектуры узла, если узел имеет 32-битную архитектуру. тогда размер кучи более 2 ГБ не будет работать, если узел имеет 64-битную архитектуру, вы можете выделить больший размер кучи, но может генерировать ошибку служебных данных gc.

поэтому лучше обновить solr и добавить больше осколков и реплик, чтобы избежать ошибки.

person PradhanKamal    schedule 19.10.2016