Как сделать пулинг HTTP-соединения с скрученным?

Я решил проблему сам, с помощью IRC и другого вопроса в stackoverflow, Поставить в очередь удаленные вызовы перспективному брокеру Python Twisted?

Таким образом, поведение агента сильно отличается от поведения в Nodejs (у меня есть некоторый опыт работы с Nodejs). Как описано в документе Nodejs.

агент.запросы

Объект, содержащий очереди запросов, которые еще не были назначены сокетам.

агент.maxSockets

По умолчанию установлено значение 5. Определяет, сколько одновременных сокетов агент может открыть для каждого источника. Происхождение представляет собой комбинацию «хост:порт» или «хост:порт:локальный адрес».

Итак, вот разница.

• Скрученный:

  • There is no doubt that Agent could queue requests if construct with a HTTPConnectionPool instance.
  • Но если новый запрос выдается после того, как соединения в пуле закончились, агент все равно создаст новое соединение и выполнит запрос, а не поместит его в очередь.
  • На самом деле это приведет к удалению соединения в пуле и добавлению вновь сгенерированного соединения в пул, сохраняя количество соединений равным maxPersistentPerHost

• Узлы:

  • By default, agent will queue the requests with a implicit connection pool, which have a size of 5 connections.
  • Если после исчерпания соединений в пуле выдается новый запрос, агент помещает запросы в очередь в agent.requests переменную, ожидая доступного соединения.

Поведение агента в скрученном виде приводит к тому, что агент может ставить запросы в очередь, но на самом деле это не так.

Следуйте нашей интуиции: после назначения пула соединений агенту это соответствует интуиции, согласно которой агент будет использовать только соединения в пуле и ждать доступного соединения, если пул закончился. Это точно соответствует агенту в Nodejs.

Лично я считаю, что это ошибочное поведение в Twisted или, по крайней мере, его можно было бы улучшить, предоставив возможность установить поведение агента.

В соответствии с этим я должен использовать DeferredSemaphore для ручного планирования запросов.

Я поднимаю вопрос в проекте treq на github и получаю аналогичное решение. https://github.com/dreid/treq/issues/71

Вот мое решение.

#!/usr/bin/env python
from twisted.internet import epollreactor
epollreactor.install()
from twisted.internet import reactor
from twisted.web.client import Agent, HTTPConnectionPool, readBody
from twisted.internet.defer import DeferredSemaphore

baseUrl = 'http://acm.zju.edu.cn/onlinejudge/showProblem.do?problemCode='

start = 1001
end = 3500
count = end - start
concurrency = 10
pool = HTTPConnectionPool(reactor)
pool.maxPersistentPerHost = concurrency
agent = Agent(reactor, pool=pool)
sem = DeferredSemaphore(concurrency)
done = 0

def onHeader(response, i):
    deferred = readBody(response)
    deferred.addCallback(onBody, i)
    deferred.addErrback(errorHandler, i)
    return deferred

def onBody(body, i):
    sem.release()
    global done, count
    done += 1
    print('Received %s, Length %s, Done %s' % (i, len(body), done))
    if(done == count):
        print('All items fetched')
        reactor.stop()

def errorHandler(err, i):
    print('[%s] id %s: %s' % (reactor.seconds() - startTimeStamp, i, err))

def requestFactory(token, i):
    deferred = agent.request('GET', baseUrl + str(i))
    deferred.addCallback(onHeader, i)
    deferred.addErrback(errorHandler, i)
    print('Request send %s' % i)
    #this function it self is a callback emit by reactor, so needn't iterate manually
    #reactor.iterate(1)
    return deferred

def assign():
    for i in range (start, end):
        sem.acquire().addCallback(requestFactory, i)

startTimeStamp = reactor.seconds()
reactor.callWhenRunning(assign)
reactor.run()

Это правильно? Прошу указать на мою ошибку и улучшения.

Для нескольких запросов, например 100, он работает нормально. Но для массовых запросов это не удастся.

Это либо защита от поисковых роботов, либо защита сервера от DoS/DDoS, поскольку вы отправляете слишком много запросов с одного и того же IP-адреса за короткое время, поэтому брандмауэр или WSA заблокируют ваш будущий запрос. Просто измените свой скрипт, чтобы сделать запрос в пакетном режиме через некоторое время. вы можете использовать callLater() через некоторое время после каждого запроса X.