Как интегрировать Scrapy Web Crawler с Luigi Data Pipeline?

Я никогда не использовал Луиджи. Но я использую скрап. Я предполагаю, что настоящий вопрос заключается в том, как разумным образом уведомить Луиджи о появлении новых данных, которые необходимо обработать?

Аналогичный вопрос вы можете узнать здесь:Когда новый файл поступает в S3, запускает задачу luigi Возможно, вы, ребята, работаете в одном месте :).

Я настоятельно рекомендую разместить вашего паука в scrapyd и использовать scrapyd-client для управления им. Есть ВСЕ ВИДЫ волосатых вещей, которые появляются, если вы пытаетесь запустить scrapy в других инструментах, использующих скрученную библиотеку (не уверен, что luigi делает). Я бы управлял пауком с помощью scrapyd-client и позволял вашему пауку отправлять сообщения по URL-адресу триггера, который говорит Луиджи как-то запустить задачу.

Опять же, поскольку я не использовал luigi, я не знаю подробностей... но вы не хотите быть занятыми проверкой/опросом, чтобы узнать, выполнена ли работа.

У меня есть веб-приложение django, и я запускаю паука, сохраняю jobid из scrapyd-client и получаю прикосновение json к плечу, когда это делается, затем я использую celery и solr для приема данных.

Изменить, чтобы включить код конвейера из комментариев ниже:

        for fentry in item['files']:

            # open and read the file
            pdf = open(rootdir+os.path.sep+fentry['path'],'rb').read()

            # just in case we need cookies
            cj     = CookieJar()
            opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))

            # set the content type
            headers = {
            'Content-Type': 'application/json'
            }

            #fill out the object
            json_body = json.dumps({
            'uid'   : 'indeed-'+item['indeed_uid'],
            'url'   : item['candidate_url'],
            'first_name' : fname,
            'last_name'  : lname,
            'pdf'     : base64.b64encode(pdf).decode(),
            'jobid': spider.jobid
            }).encode()
            #, ensure_ascii=False)

            # send the POST and read the result
            request = urllib.request.Request('http://localhost:8080/api/someapi/', json_body, headers)
            request.get_method = lambda: 'POST'
            response = opener.open(request)