hive на tez выдает java.lang.NoSuchMethodError

Я развернул tez и настроил hive для работы с tez.

Простой запрос не выполняется на этапе редуктора.

Это вызывает эту ошибку:

Статус: выполняется (выполняется в кластере YARN с идентификатором приложения application_1469020577348_0014)


СОСТОЯНИЕ ВЕРСИЙ ВСЕГО ЗАВЕРШЕНО В РАБОТЕ В ОЖИДАНИИ НЕ УДАЛОСЬ Убито

Карта 1 УСПЕШНО 0 0 0 0 0 0

Редуктор 2 ОТКАЗАН 1 0 0 1 4 0

ВЕРСИИ: 01/02 [>> --------------------------] 0% ПРОШЕДШЕЕ ВРЕМЕНИ: 12,15 с

Статус: Failed Vertex failed, vertexName = Reducer 2, vertexId = vertex_1469020577348_0014_1_01, diagnostics = [Задача не удалась, taskId = task_1469020577348_0014_1_01_000000, диагностика = [TaskAttempt 0 не удалось, = [Ошибка: Ошибка при выполнении задачи info_1480000.live_1480000.lt: попытка] .Exception: java.util.concurrent.ExecutionException: java.lang.NoSuchMethodError: org.apache.hadoop.mapred.TaskID: method (Ljava / lang / String; ILorg / apache / hadoop / mapreduce / TaskType; I) V не найдено по адресу org.apache.tez.runtime.LogicalIOProcessorRuntimeTask.initialize (LogicalIOProcessorRuntimeTask.java:267) в org.apache.tez.runtime.task.TaskRunner2Callable $ 1.run (TaskRunner2Callable.tegun.java.:69) task.TaskRunner2Callable $ 1.run (TaskRunner2Callable.java:61) в java.security.AccessController.doPrivileged (собственный метод) в javax.security.auth.Subject.doAs (Subject.java:415) в org.apache.hadoop.security .UserGroupInformation.doAs (UserGroupInformation.java:1628) на org.apache.tez.runtime.task.TaskRunner2Callable.callInternal (TaskRunner2Callable.java:61) на org.apache.tez.runtime.task.TaskRunner2Callable.callInternal (TaskRunner2Callable.java:37) на org.apache.java:37) .CallableWithNdc.call (CallableWithNdc.java:36) в java.util.concurrent.FutureTask.run (FutureTask.java:262) в java.util.concurrent.ThreadPoolExecutor.runWorker (ThreadPoolExecutil.java:11). concurrent.ThreadPoolExecutor $ Worker.run (ThreadPoolExecutor.java:615) в java.lang.Thread.run (Thread.java:745) Вызвано: java.util.concurrent.ExecutionException: java.lang.NoSuchMethodError. hadoop.mapred.TaskID: метод (Ljava / lang / String; ILorg / apache / hadoop / mapreduce / TaskType; I) V не найден


person Immanuel Fredrick    schedule 03.08.2016    source источник


Ответы (1)


Эта проблема связана с тем, что ваш улей скомпилирован с другой версией tez, которую вы используете.

https://issues.apache.org/jira/browse/HIVE-14356

person Bruno Sousa    schedule 05.09.2016