Сбой хранилища метаданных Hive на Cloudera QuickStart VM 5.12 с Cloudera Manager

Cloudera утверждает, что использует подход «Быстрый старт». Это не работает для меня, я отмечаю.

Когда я вызываю искровую оболочку, я получаю:

... WARN metastore.ObjectStore: Version information not found in metastore. hive.metastore.schema.verification is not enabled so recording the schema version

Я нахожу это запутанным, ведь это быстрый старт, и это выглядит странно.

So:

  1. Я вижу, что mysql работает с базой данных metastore. Я могу получить доступ к этому штрафу.

  2. Нужно ли мне запускать хранилище метаданных улья при использовании mysql в качестве хранилища метаданных улья? Я так думаю, но...

  3. Нужен ли мне сейчас Hive Server 2 для локального запуска? Или я могу бегать без?

  4. Менеджер Cloudera на вкладке Hive сообщает мне, что я использую mysql, и я вижу автоматически сгенерированный файл hive-site.xml.

Короче говоря, я не уверен, как это исправить. В одном из журналов говорится о невозможности создать дерби, например. ...

Caused by: java.sql.SQLException: Failed to create database 'metastore_db', see the next exception for details.

Короче говоря, я ищу руководство о том, как это исправить.

Перед одним из многочисленных сбоев, которые у меня были, у меня была сборка sbt SPARK / SCALA, отлично работающая с доступом к удаленной базе данных MYSQL, поэтому мне интересно, правильно ли это, и что искровая оболочка и локальная виртуальная машина Cloudera все нестабильно.

Поиск руководства среди разочарования. Data Bricks работает как сон.

Заранее спасибо.


mysql apache-spark hadoop hive cloudera-quickstart-vm
person thebluephantom    schedule 27.03.2018    source источник
comment
Метахранилище Hive — это автономный процесс. Он должен работать поверх активного процесса mysql. HiveServer2 — это то, с чем вы могли бы использовать Hive JDBC для подключения, но Spark в этом не нуждается... Но metastore_db обычно является встроенной базой данных Derby, а не именем таблицы MySQL.   -  person OneCricketeer    schedule 27.03.2018
comment
Поймите, что в базе данных хранилища метаданных, но когда я смотрю в Cloudera Manager, в нем говорится, что я получаю доступ/намереваюсь получить доступ к mysql как хранилище метаданных куста,   -  person thebluephantom    schedule 27.03.2018
comment
С каждым релизом все работает хуже, чем раньше   -  person thebluephantom    schedule 27.03.2018
comment
Я бы порекомендовал спросить об этих проблемах на форумах Cloudera. Я не использовал быстрый запуск vm в течение многих лет   -  person OneCricketeer    schedule 27.03.2018
comment
Я потерял веру, так как они работали в прошлом, и я использовал CM для обновления, и ничего из этого не работает. Позор, спасибо. Я смотрю на эти форумы, но безрезультатно   -  person thebluephantom    schedule 28.03.2018
comment
Установил Cloudera QucikStart 5.13, таких проблем нет, кроме других. Совет ПРОПУСТИТЬ 5.12   -  person thebluephantom    schedule 28.03.2018
comment
Хорошо, спасибо. Как я уже сказал, у меня есть скрипт для фактической установки кластера CDH с нуля, поэтому я не использую раздутую виртуальную машину быстрого запуска.   -  person OneCricketeer    schedule 28.03.2018
comment
Это также много работы, я сделал это, но есть много соображений. Изменения CM просто не вступают в силу, и повторяется множество ошибок. Можете ли вы указать мне лучший учебник / книгу для установки?   -  person thebluephantom    schedule 28.03.2018

Ответы (1)


arrow_upward
0
arrow_downward

Установите 5.13, другие проблемы, но эти исчезнут. Заметил, однако, в чем причина.

Когда чистая установка выполнена и

sudo jps

выполняется, то все службы Hadoop в порядке и работают. Проверил это.

Затем отмечается, что консоль Cloudera Manager (CMS) никогда не отображается. Совет в Интернете - выполнить команду для вызова CM Express.

Как только вы это сделаете, CMS отобразится, но многие службы Hadoop необходимо будет (повторно) запустить. Дело в том, что spark-shell выходит из строя, и хранилище метаданных больше недоступно. В общем, жалкий беспорядок, для которого решение не так очевидно.

Ручная установка Hadoop вполне может быть лучшим вариантом, но необходима окончательная интегрированная спецификация. Тогда также есть проблемы с тем, что Spark 2.x не поддерживается, а KUDU отсутствует, посылка или посылка.

person thebluephantom    schedule 27.03.2018