Индексы Elasticsearch занимают слишком много места

Я использую Elasticsearch 7.5.2 в Ubuntu. Недавно я начал использовать Elasticsearch для отображения релевантных результатов поиска при каждой загрузке страницы. Это увеличило объем, но я также обнаружил, что он создал большие индексные файлы. Обратите внимание, что я использую «поиск приложений» для обработки своих запросов.

Вот примеры файлов индекса, которые занимают слишком много места:

.app-search-analytics-logs-loco_togo_production-7.1.0-2020.01.26 => 52 GB
.app-search-analytics-logs-loco_togo_production-7.1.0-2020.01.27 => 53 GB

Я попытался удалить их с помощью CURL, но они появляются снова и занимают меньше места (~ 5 ГБ каждый).

Я хочу знать, есть ли способ контролировать эти индексы. Я не уверен, какую цель решают эти индексы и есть ли способ предотвратить их?


diskspace elasticsearch app-search
person TheBigK    schedule 27.01.2020    source источник

Ответы (1)


arrow_upward
2
arrow_downward

Я попытался удалить их с помощью CURL, но они появляются снова и занимают меньше места (~ 5 ГБ каждый).

Очевидно, ваше действие удаления было выполнено. Похоже, что индексы еще записываются. Если документы все еще попадают в elasticsearch, индекс создается заново.

Так например:

В индексе от 27.01.2020 до удаления 53 ГБ. После его удаления данные исчезнут, как и сам индекс. Но как только новые документы того же дня (2020.01.27) будут проиндексированы, индекс будет воссоздан заново, содержащий документы после удаления, которые, вероятно, составляют 5 ГБ.

Если это не то, что вы хотите, вам нужно проверить, есть ли какие-то источники, которые все еще отправляют данные.

Надеюсь это поможет.

РЕДАКТИРОВАТЬ:

В: Однако есть ли способ управлять этими показателями? Я не хочу, чтобы они занимали слишком много места.

Да! Управление жизненным циклом индекса (ILM) - это то, что вы ищете. Он направлен на автоматизацию обслуживания / управления индексами. Так, например, вы можете определить перенос на новый индекс каждые 30 ГБ, чтобы они оставались небольшими. Другой пример - удаление индекса через X дней. Взгляните на все этапы и действиями.

person apt-get_install_skill    schedule 27.01.2020
comment
Я только что узнал, что смотрю на индекс с очень похожим названием. Таким образом, удаленные индексы больше не появляются. Однако есть ли способ управлять этими показателями? Я не хочу, чтобы они занимали слишком много места. - person TheBigK; 27.01.2020
comment
Я спросил на официальных форумах Elastic, и они говорят, что ILM не является решением для этого. Они будут работать над решением; но нет ETA. - person TheBigK; 07.03.2020