Couchbase или VoltDB для хранения и анализа миллиардов данных мониторинга?

У меня есть распределенная система мониторинга, которая собирает и собирает данные мониторинга, такие как загрузка ЦП, метрики производительности базы данных, производительность сети, в серверное хранилище. Другие приложения должны использовать эти данные, например, для расчета в реальном времени (для планировщика ресурсов), для мониторинга системы (для системного администратора с помощью панели мониторинга), для исторической аналитики (для работы и программы анализатора для моделирования ресурса с использованием шаблона для будущего планирования мощности. и анализ активности бизнес-системы).

Размер набора данных составляет около 1,2 миллиарда записей в хранилище данных за 9 месяцев. (все в формате OpenTSDB)

Раньше я использовал кластер Elasticsearch в качестве решения для внутреннего хранилища данных и решил найти лучший.

Я смотрю на кластер Couchbase или VoltDB, но все еще на стадии расследования, поэтому мне нужны отзывы здесь, у кого есть аналогичный опыт.

Основные вопросы приведены ниже:

  1. Какое решение для внутреннего хранилища подходит для моего сценария? (Couchbase или VoltDB)?

  2. Мне нужно переписать код агрегатора данных (который находится в голанге). Couchbase предоставляет хороший клиент SDK golang, но драйвер Go VoltDB находится только на уровне сообщества с ограниченными функциями. Так есть ли лучшая реализация для связи с voltdb в голанге?

  3. Любые предложения или лучшие практики по этому поводу?


person nntp    schedule 03.09.2015    source источник
comment
Не могли бы вы дать дополнительную информацию о том, как часто будут использоваться данные? Couchbase определенно может поспевать за записями в этом сценарии. Для чтения это будет зависеть от моделирования данных и того, какое из 3 средств доступа к данным вам нужно, и какие характеристики производительности вам нужны из этой БД.   -  person Kirk    schedule 04.09.2015
comment
Спасибо, Кирк. Интервал сбора данных с целевого узла и служб, работающих на нем, составляет от 30 секунд (минимум) до 5 минут (максимум). Интервал мониторинга нашего агента монитора настраивается во время работы.   -  person nntp    schedule 07.09.2015
comment
Мы используем модель данных OpenTSDB и добавили в нее некоторые наши собственные специфические метрики. (скажем, настроенная модель OpenTSDB). Функция просмотра Couchbase, безусловно, привлекла меня, так что я могу создавать разные представления о собранных данных и анализировать их по-разному. Все, что меня беспокоит, - это использовать кластер Couchbase, поскольку бэкэнд системы мониторинга является правильным или нет. Вы знаете какие-нибудь варианты использования диванов, которые действительно имели место таким образом? Спасибо.   -  person nntp    schedule 07.09.2015
comment
В технологиях нет правильного пути. Во всяком случае, да, определенно есть люди, которые делают такие вещи с Couchbase. Я посмотрел на модель OpenTSDB, и это не JSON, но это должно быть достаточно легко поместить в JSON, чтобы перейти в Couchbase и использовать представления. При использовании представлений Couchbase следует помнить, что в конечном итоге они становятся согласованными, и в большей степени вид карты сокращается. Размер вашего кластера будет иметь решающее значение. В зависимости от характера вашего запроса, возможно, стоит взглянуть на новые возможности запросов Couchbase 4.0. Также прочтите это. bit.ly/1Hx3a74   -  person Kirk    schedule 08.09.2015


Ответы (2)


Здесь не так уж много шаблонов использования, но похоже, что это приложение, для которого люди используют VoltDB.

Что касается клиента Golang, мы хотели бы получить отзывы о том, как сделать его более подходящим, если в нем конкретно отсутствует то, что вам нужно. Вы также можете использовать интерфейс запросов HTTP / JSON на любом языке, включая Golang. Подробнее об этом здесь: http://docs.voltdb.com/UsingVoltDB/ProgLangJson.php

person John Hugg    schedule 04.09.2015

Если вы хотите использовать существующую модель, взгляните на базу данных временных рядов Axibase. Он поддерживает как сеть tcollector, так и протоколы http. Встроены движок правил и визуализация.

Тот факт, что ATSD основан на HBase, может быть активом или пассивом в зависимости от вашего предыдущего опыта работы с ним :)

URL для интеграции tcollector: http://axibase.com/products/axibase-time-series-database/writing-data/tcollector/

Раскрытие информации: я работаю в компании, разрабатывающей ATSD.

person Sergei Rodionov    schedule 10.09.2015