Я хочу использовать h2 вместо Derby в качестве базы данных Hive Metastore для локальных модульных тестов, запускающих Apache Spark в локальном режиме.
Параметр hiveContext.set("javax.jdo.option.ConnectionURL", connectionUrl) не работает, потому что контекст куста инициализируется (а также база данных хранилища метаданных) раньше. Настройка на SparkConf также не работает. Не могли бы вы помочь мне?
Как изменить базу данных Hive Metastore для Apache Spark с помощью HiveContext в локальном режиме для модульного тестирования?
comment
Проверка через 3 года. Вы когда-нибудь находили решение этой проблемы (местная альтернатива дерби для хранилища метаданных улья)?
- person aaronsteers schedule 01.03.2020
Ответы (1)
Попробуйте установить это значение как --conf hadoop.hive.javax.jdo.option.ConnectionURL=..., и оно должно работать. Но, вероятно, это позволит вам только изменить место проведения дерби.
У меня была такая же проблема с подготовкой среды для модульных тестов, и я не смог использовать sqlite, поэтому я полагаю, что derby поддерживается только локальной БД.
person
Mariusz
schedule
11.11.2016
Проверка через 3 года. Вы когда-нибудь находили решение этой проблемы (местная альтернатива дерби для хранилища метаданных улья)?
- person aaronsteers; 01.03.2020
