Налагает ли HBase максимальный размер на строку?

Вопрос высокого уровня:

Налагает ли HBase максимальный размер строки, который является общим для всех дистрибутивов (и, следовательно, не является артефактом реализации), либо с точки зрения хранимых байтов, либо с точки зрения количества ячеек?

Если да:

  • Каков предел?

  • По какой причине существует ограничение?

  • Где зафиксирован лимит?

Если нет:

  • Доступна ли документация (или результаты теста), демонстрирующая способность HBase обрабатывать строки размером более 2 ГБ? 4ГБ?

  • Существует ли практический или «лучший практический» максимум, при котором пользователи HBase API должны сохранять размеры строк, чтобы избежать серьезного снижения производительности? Если да, то какое снижение производительности может произойти, если это руководство будет отброшено?

В любом случае:

  • Зависит ли ответ от рассматриваемой версии HBase?

Фон:


person sumitsu    schedule 15.06.2016    source источник


Ответы (1)


Одна строка должна соответствовать одному файлу региона, чтобы быть назначенным серверу региона и реплицированным. Размер файла региона настраивается с помощью «hbase.hregion.max.filesize».

на этой странице говорится, что по умолчанию/максимум будет 10 ГБ http://hortonworks.com/blog/apache-hbase-region-splitting-and-merging/

На этой странице написано, что его можно установить как 100 ГБ.

Чтобы отключить автоматическое разделение, задайте для hbase.hregion.max.filesize очень большое значение, например 100 ГБ. Не рекомендуется устанавливать для него максимальное значение Long.MAX_VALUE. http://hbase.apache.org/book.html#important_configurations

person halil    schedule 21.06.2016