Запуск jar Hadoop с использованием Luigi python

Мне нужно запустить задание jar Hadoop, используя Luigi из python. Я искал и нашел примеры написания картографа и редьюсера в Luigi, но ничего, чтобы напрямую запустить банку Hadoop.

Мне нужно запустить банку Hadoop, скомпилированную напрямую. Как мне это сделать?


python pipeline hadoop luigi
person RAJKUMAR PADILAM    schedule 22.04.2015    source источник

Ответы (1)


arrow_upward
3
arrow_downward

Вам необходимо использовать пакет luigi.contrib.hadoop_jar (код).

В частности, вам необходимо расширить HadoopJarJobTask. Например, так:

from luigi.contrib.hadoop_jar import HadoopJarJobTask
from luigi.contrib.hdfs.target import HdfsTarget

class TextExtractorTask(HadoopJarJobTask):
    def output(self):
        return HdfsTarget('data/processed/')

    def jar(self):
        return 'jobfile.jar'

    def main(self):
        return 'com.ololo.HadoopJob'

    def args(self):
        return ['--param1', '1', '--param2', '2']

Вы также можете включить создание jar-файла с помощью maven в рабочий процесс:

import luigi
from luigi.contrib.hadoop_jar import HadoopJarJobTask
from luigi.contrib.hdfs.target import HdfsTarget
from luigi.file import LocalTarget

import subprocess
import os

class BuildJobTask(luigi.Task):
    def output(self):
        return LocalTarget('target/jobfile.jar')

    def run(self):
        subprocess.call(['mvn', 'clean', 'package', '-DskipTests'])

class YourHadoopTask(HadoopJarJobTask):
    def output(self):
        return HdfsTarget('data/processed/')

    def jar(self):
        return self.input().fn

    def main(self):
        return 'com.ololo.HadoopJob'

    def args(self):
        return ['--param1', '1', '--param2', '2']

    def requires(self):
        return BuildJobTask()
person Alexey Grigorev    schedule 03.11.2015