Я пишу сценарий оболочки, который выполняет команду улья, записывая журнал и выводящую информацию в два отдельных файла:
hive -S -f pdr_extrator.sql 2> pdr_extrator_log.txt | sed 's / [\ t] / | / g' 1> pdr_extrator_out.txt
Файл журнала в конце выполнения выглядит следующим образом:
log4j: WARN Нет такого свойства [maxBackupIndex] в org.apache.log4j.DailyRollingFileAppender. log4j: WARN Нет такого свойства [maxFileSize] в org.apache.log4j.DailyRollingFileAppender. SLF4J: путь к классу содержит несколько привязок SLF4J. SLF4J: обнаружена привязка в [jar: file: /usr/hdp/2.2.6.0-2800/hadoop/lib/slf4j-log4j12-1.7.5.jar! /Org/slf4j/impl/StaticLoggerBinder.class] SLF4J: обнаружена привязка в [jar: file: /usr/hdp/2.2.6.0-2800/hive/lib/hive-jdbc-0.14.0.2.2.6.0-2800- standalone.jar! / Org / slf4j / impl / StaticLoggerBinder.class] SLF4J: см. http://www.slf4j.org/codes.html#multiple_bindings, чтобы получить объяснение. SLF4J: фактическая привязка имеет тип [org.slf4j.impl.Log4jLoggerFactory]
Когда я запускаю через командную строку, можно получить applicationID моего конкретного запроса, как показано ниже:
ApplicationID - командная строка Hive
Интересно, есть ли способ получить идентификатор приложения через журнал.
Сегодня я использую команду yarn application -list -appTypes TEZ и отслеживаю процесс, который появляется в начале моего запроса, чтобы позже использовать команду yarn application -status application_XXXXX для отслеживания только моего выполнения.
Проблема в том, что этот метод ошибочен, поскольку, например, другой процесс может войти в очередь в аналогичное время.
Ваша помощь очень ценится.
