Лучшая практика удержания с использованием Graphite

Я счастливо пользуюсь Graphite+Grafana уже несколько месяцев и пропагандирую его в своей фирме.

Мой подход заключался в измерении интересующих данных, их сборе в 1-минутные или 5-минутные сегменты и отправке этой информации в Graphite. Недавно со мной связалась группа, которая обрабатывает котировки (миллиарды в день!), и их подход заключался в создании строки журнала каждый раз, когда их приложения обрабатывают 1 миллион котировок. Проблема в том, что интервал между двумя строками журнала может быть очень неустойчивым от 1 секунды до нескольких часов.

Тогда возникает дилемма: должен ли я установить свою политику хранения на 1-секундное ведро, чтобы я мог видеть все измерения, связанные с пиками, или я должен использовать, скажем, 1-минутное ведро, чтобы количество точек данных, которые нужно сохранить, а затем запрошен гораздо более управляемым. К вашему сведению, когда я установил его на 1 секунду, показывая данные для 8 или 10 графиков, в течение нескольких дней система (или, по крайней мере, мой браузер) сканировала из-за количества точек данных (в основном NULL). перешел от Graphite к Grafana

Вот моя политика хранения: 1 с: 10 д, 1 мин: 36 д, 5 мин: 180 д

В качестве альтернативы, есть ли способ настроить Grafana + Graphite для получения только точек данных, отличных от NULL?

Что ты порекомендуешь?


person Jerome Provensal    schedule 09.02.2015    source источник


Ответы (1)


Вы всегда можете указать более низкий период хранения для метрик 1s, поэтому, когда вы показываете более длинный диапазон, Graphite будет отправлять вам только более грубый уровень.

Например, вы можете указать: 1s:2d, 1m:7d, 5m:180d.

Таким образом, если вы покажете диапазон более чем за 2 дня в прошлом, вы получите разрешение 1 м (и т. д.), что не заставит ваш браузер сканировать изображение, в то время как вы все равно сможете проверять всплески за последние 2 дня.

person dukebody    schedule 10.02.2015
comment
Спасибо Дюкбоди! Моя настройка сохранения 10d при детализации 1s - это то, что убивало производительность. - person Jerome Provensal; 15.02.2015