как Scrapy может переходить по ссылкам на веб-сайте с JavaScript «javascript: __doPostBack». У меня есть CrawlSpider, который отлично работает.
class MySpider(CrawlSpider):
name = 'myspider'
allowed_domains = ['website']
start_urls = ['website/Category/']
rules = (
Rule(SgmlLinkExtractor(allow='/Products/Overview/'), follow=True),
Rule(SgmlLinkExtractor(allow=('/Products/Details/', )), callback='parse_item'),
)
Но пагинация такая:
<a id="MainContent_ProductsOverview1_rptPagesTop_btnPage_1" class="btnPage" href="javascript:__doPostBack('ctl00$MainContent$ProductsOverview1$rptPagesTop$ctl02$btnPage','')" >1</a>
<a id="MainContent_ProductsOverview1_rptPagesTop_btnPage_1" class="btnPage" href="javascript:__doPostBack('ctl00$MainContent$ProductsOverview1$rptPagesTop$ctl02$btnPage','')" >2</a>
и т. д. и т. д.
Я знаю примеры запросов formdata. Но я не знаю, как получить параметр URL. Помощь была бы прекрасной.
Спасибо :D