Где посмотреть код mapreduce, сгенерированный из операторов hadoop pig

Все мы знаем, что операторы hadoop pig преобразуются в код java mapreduce. Я хочу знать, есть ли способ увидеть код mapreduce, сгенерированный из операторов pig?


person user1471250    schedule 21.06.2012    source источник


Ответы (1)


Все мы знаем, что операторы hadoop pig преобразуются в код java mapreduce.

Это не тот случай. Операторы Hadoop Pig не переводятся в код Java MapReduce.

Лучше думать об этом, если код Pig «интерпретируется» в интерпретаторе Pig, который работает в Java MapReduce. Подумайте об этом так: Python и Perl не «генерируют» код C, они запускаются через программу C (интерпретатор), которая выполняет инструкции. По сути, Pig предоставляет основу для выполнения плана запроса. Код Pig интерпретируется, и его выполняет предварительно созданное задание интерпретатора MapReduce. По этой причине сделать это невозможно.

Если вы хотите лучше понять, что происходит, используйте EXPLAIN и ILLUSTRATE, чтобы получить представление о плане запроса, который Pig построил для выполнения вашего кода.

person Donald Miner    schedule 21.06.2012