Scrapy — сканирование сайта с помощью javascript: __doPostBack Pagination

как Scrapy может переходить по ссылкам на веб-сайте с JavaScript «javascript: __doPostBack». У меня есть CrawlSpider, который отлично работает.

class MySpider(CrawlSpider):
    name = 'myspider'
    allowed_domains = ['website']
    start_urls = ['website/Category/']

    rules = (
        Rule(SgmlLinkExtractor(allow='/Products/Overview/'), follow=True),
        Rule(SgmlLinkExtractor(allow=('/Products/Details/', )), callback='parse_item'),
    )

Но пагинация такая:

<a id="MainContent_ProductsOverview1_rptPagesTop_btnPage_1" class="btnPage" href="javascript:__doPostBack('ctl00$MainContent$ProductsOverview1$rptPagesTop$ctl02$btnPage','')" >1</a>
<a id="MainContent_ProductsOverview1_rptPagesTop_btnPage_1" class="btnPage" href="javascript:__doPostBack('ctl00$MainContent$ProductsOverview1$rptPagesTop$ctl02$btnPage','')" >2</a>

и т. д. и т. д.

Я знаю примеры запросов formdata. Но я не знаю, как получить параметр URL. Помощь была бы прекрасной.

Спасибо :D


person anhocy    schedule 12.01.2015    source источник