Я использую Scrapy 1.0.5 и Gearman для создания распределенных пауков. Идея состоит в том, чтобы создать паука, вызвать его из сценария рабочего механизма Gearman и передать 20 URL-адресов за раз, чтобы сканировать из клиента Gearman рабочему, а...