Публикации по теме 'hbase'


Поддержание БД в синхронизации
Как узнать, синхронизированы ли таблицы? Это вопрос может быть легким, но имеет тенденцию быть трудным. На высоком уровне, когда целевая таблица синхронизируется с какой-либо исходной таблицей, вам необходимо прочитать данные (или журналы таблицы, что является формой данных), передать их через носитель и преобразовать/адаптировать к новая структура таблицы, которая может быть либо той же технологии, либо отдельной. Как правило, я видел 2 вида таблиц: таблицу журнала, в которую записи..

Настройка производительности Apache HBase и Phoenix с использованием сжатия, первичных ключей и вторичного индекса
Настройка производительности Apache HBase и Phoenix с использованием сжатия, первичных ключей и вторичного индекса 12 июля 2018 г. Сжатие таблиц HBase HBase поддерживает несколько различных алгоритмов сжатия, которые можно включить в семействе столбцов. Благодаря сжатию данные занимают меньше места на диске. Таким образом, процесс чтения данных происходит с меньшим и сжатым размером данных, что увеличивает производительность чтения. Напротив, сжатие также требует, чтобы данные..

Вопросы по теме 'hbase'

быстрый запрос на hbase
Я провожу здесь небольшой тест / poc. Мне нужно каждый день загружать в базу данных несколько миллионов строк. И это не данные файла журнала, у меня есть строки (столбцы), разделенные запятыми, которые точно подходят для реляционной базы данных....
4414 просмотров
schedule 27.11.2021

Разница между ориентированными на строки и столбцами базами данных при поиске информации
Недавно я начал работать над HBase (одной из колоночных баз данных). Пока я просматриваю исходный код, у меня в голове постоянно возникает один вопрос. Подумал об этом спросить. Мой вопрос в том, как именно база данных, ориентированная на строки,...
8478 просмотров
schedule 28.11.2021

Потеря данных HBase? Отсутствует поддержка добавления HDFS? запускаете HMaster без поддержки добавления HDFS?
Я использую HBase. Я установил и запустил распределенную среду. Однако на странице интерфейса HMaster отображается предупреждение: «В настоящее время вы используете HMaster без включенной поддержки добавления HDFS. Это может привести к потере...
1501 просмотров
schedule 14.09.2021

моделирование данных hbase для каналов активности / каналов новостей / шкалы времени
Я решил использовать HBase в проекте для хранения действий пользователей в социальной сети. Несмотря на то, что HBase имеет простой способ выражения данных (ориентированный на столбцы), я сталкиваюсь с некоторыми трудностями, пытаясь решить, как я...
1543 просмотров
schedule 06.10.2021

Фильтр REST HBase (SingleColumnValueFilter)
Я не могу понять, как использовать фильтры в интерфейсе HBase REST (HBase 0.90.4-cdh3u3). Документация просто дает мне определение схемы для «строки», но не показывает, как ее использовать. Итак, я могу это сделать: curl -v -H 'Content-Type:...
8259 просмотров
schedule 15.09.2021

Как я могу добавить новые узлы в живой кластер hbase / hadoop?
Я запускаю несколько пакетных заданий с постоянно меняющимися входными данными, и у меня возникают проблемы с выделением емкости. Я использую Whirl для начальной настройки, но как только я запускаю, например, 5 машин, я не знаю, как добавлять к ним...
9503 просмотров
schedule 24.11.2021

java.sql.SQLException: org.apache.thrift.transport.TTransportException в улье?
Я пытаюсь создать таблицу в улье с помощью java. я нашел java.sql.SQLException: org.apache.thrift.transport.TTransportException при выполнении моего кода. Вот мой код public void createTable(String tableName) { try{...
43719 просмотров
schedule 12.11.2021

Какой каталог использовать для файла hadoop.tmp.dir при запуске Hadoop в псевдораспределенном режиме?
По умолчанию Hadoop помещает файл hadoop.tmp.dir в вашу папку / tmp. Это проблема, потому что / tmp стирается Linux при перезагрузке, что приводит к этой прекрасной ошибке в JobTracker: 2012-10-05 07:41:13,618 INFO org.apache.hadoop.ipc.Client:...
3982 просмотров
schedule 06.09.2021

Как подключиться к localhost HBase с Java
Когда я запускаю HBase как встроенный, он работает отлично. Я использую Ubuntu 12.04, и я установил hbase 0.90.5, загрузив tar.gz и распаковав его в каталоге opt. HBase запущен правильно, в журнале нет сбоев или исключений, поэтому кажется, что...
4673 просмотров
schedule 06.10.2021

Пример пакетного запроса Hbase
Я читал в книге «Шаблон проектирования hadoop», «HBase поддерживает пакетные запросы, поэтому было бы идеально буферизовать все запросы, которые мы хотим выполнить, до некоторого заранее определенного размера. Эта константа зависит от того, сколько...
4043 просмотров
schedule 21.11.2021

Семейство столбцов HBase - объявить во время определения схемы - Почему?
HBase-documentation упоминает об объявлении семейств столбцов во время определения схемы. Я не понимаю почему? Я знаю, что семейства столбцов наследуют несколько столбцов (которые можно добавить во время выполнения), и они сопоставляются с файлами...
1785 просмотров
schedule 02.12.2021

Как включить hbase-site.xml в путь к классам
В настоящее время я пытаюсь заставить свой код HBase использовать настройки, указанные в моем hbase-site.xml. Похоже, что используются настройки по умолчанию вместо того, что указано в файле конфигурации hbase-site.xml. Я перезапустил кластер HBase...
14027 просмотров
schedule 07.11.2021

Hbase и Zookeeper EndOfStreamException
это исключение всегда появляется EndOfStreamException: Unable to read additional data from client sessionid 0x13da73a3622010a, likely client has closed socket at org.apache.zookeeper.server.NIOServerCnxn.doIO(NIOServerCnxn.java:220) at...
3917 просмотров
schedule 21.09.2021

Не удается запустить автономный режим HBase
Я просматриваю руководство HBase QuickStart ( http://hbase.apache.org/book/quickstart.html ), и я сталкиваюсь с множеством проблем на первом этапе. Я использую Mint Linux 13 под VirtualBox с Win7 в качестве хоста. Я загрузил hbase 0.94.6.1,...
11451 просмотров
schedule 29.09.2021

org.apache.hadoop.hbase.client.NoServerForRegionException
Я работаю над кластером с hbase. Пару дней назад сломался один узел. Я перезапустил кластер; с тех пор, несмотря на все мои усилия, корневая область находится в переходном состоянии. 70236052 -ROOT - ,, 0.70236052 state = CLOSING, ts = Wed...
919 просмотров
schedule 21.10.2021

Какое решение для больших данных лучше всего подходит для интерактивных запросов строк, содержащих до 200 столбцов?
У нас есть простая таблица, такая как: ------------------------------------------------------------------------ | Name | Attribute1 | Attribute2 | Attribute3 | ... | Attribute200 |...
751 просмотров
schedule 12.11.2021

Проблема с импортом sqoop из mysql в hbase
Я пытаюсь импортировать данные из mysql в hbase с помощью sqoop: sqoop import --connect jdbc:mysql://<hostname>:3306/test --username USERNAME -P --table testtable --direct --hbase-table testtable --column-family info --hbase-row-key id...
4043 просмотров
schedule 29.11.2021

импорт данных с сервера sql в hbase
Я знаю, что Sqoop позволяет нам импортировать данные из СУБД в HDFS. Мне было интересно, позволяет ли соединитель sql server в sqoop также импортировать его непосредственно в HBase? Я знаю, что мы можем сделать это с помощью mysql. Мне было...
3136 просмотров
schedule 28.09.2021

Невозможно подключиться к Hbase удаленно
Я настроил Hadoop и Hbase в псевдораспределенном режиме на машине A. Я запускаю свой клиент (программу Java) с машины B. (Машины A и B могут взаимодействовать друг с другом). Но я столкнулся с проблемой при этом. Мой клиентский код выглядит так:...
219 просмотров
schedule 04.10.2021

Как эффективно сканировать HBase, если длина ключа не фиксирована?
Ключ таблицы HBase имеет вид Префикс (4 байта) | Длинное значение временной метки (8 байтов) | несколько байтов (длина отличается) . Теперь я хочу просканировать таблицу, используя начальную и конечную клавиши. префикс фиксирован для...
379 просмотров
schedule 01.12.2021