очистить Javascript:_dopostback()

Я пытаюсь автоматизировать веб-сайт, и у меня возникли проблемы с Javascript. После моего первого запроса '__EVENTTARGET' = 'ctl00$content$ctl01$btn'. Новое всплывающее окно href на той же странице, и теперь я хочу запросить эту новую ссылку javascript '__EVENTTARGET' = 'ctl00$content$ctl01$'. Я не знаю, как очистить Javascript:_dopostback() с помощью паука. Я пытался изучить эту проблему и ничего не нашел.

<a id="ctl00_content_" href="javascript:__doPostBack('ctl00$content$ctl01$,'')">SYED&nbsp; ALI&nbsp; </a>

мой код паука::

URL-адрес = 'xyz'

класс ExitRealtySpider (scrapy.Spider):

name = "campSpider"#name = "exit_realty"
allowed_domains = ["xyz"]
start_urls = [URL]


def parse(self, response):
    # submit a form (first page)
    self.data = {}
    
    soup = BeautifulSoup(urlopen(URL), 'html.parser')
    viewstate  = soup.find('input', {'id': '__VIEWSTATE'         })['value']
    generator  = soup.find('input', {'id': '__VIEWSTATEGENERATOR'})['value']
    validation = soup.find('input', {'id': '__EVENTVALIDATION'   })['value']

    self.data['__VIEWSTATE']= viewstate,
    self.data['__VIEWSTATEGENERATOR'] = generator,#'',
    self.data['__VIEWSTATEENCRYPTED'] = '',
    self.data['__EVENTVALIDATION'] = validation,
    self.data['typAirmenInquiry'] = '7',
    self.data['ctl00$content$ctl01$txtbxLastName'] = 'a',
    self.data['ctl00$content$ctl01$txtbxCertNo'] = '123',
    self.data['ctl00$content$ctl01$btnSearch'] = 'Search',
    self.data['__EVENTTARGET'] = 'ctl00$content$ctl01$'
    
    return FormRequest.from_response(response,
                   method='POST',
                   callback=self.parse_page,
                   formdata=self.data,
                   #encoding = 'utf-8',
                   #meta={'page': 1},
                   dont_filter=True
                   #headers=HEADERS
                  )
def parse_page (self,response):
    print("\n\n\n\n\n",response.body,"\n\n\n\n\n")

    self.data = {}
    
    soup = BeautifulSoup(urlopen(URL), 'html.parser')
    viewstate  = soup.find('input', {'id': '__VIEWSTATE'         })['value']
    generator  = soup.find('input', {'id': '__VIEWSTATEGENERATOR'})['value']
    validation = soup.find('input', {'id': '__EVENTVALIDATION'   })['value']

    self.data['__EVENTARGUMENT']= '',
    self.data['__LASTFOCUS']= '',
    self.data['__VIEWSTATE']= viewstate,
    self.data['__VIEWSTATEGENERATOR'] = generator,#'',
    self.data['__VIEWSTATEENCRYPTED'] = '',
    self.data['__EVENTVALIDATION'] = validation,
    self.data['typAirmenInquiry'] = '7',
    self.data['__EVENTTARGET'] = 'ctl00$content$ctl01$'
    ans = FormRequest.from_response(response,
                   method='POST',
                   callback=self.parse_page2,
                   formdata=self.data,
                   #encoding = 'utf-8',
                   #meta={'page': 1},
                   dont_filter=True
                   #headers=HEADERS
                  )
    return ans

def parse_page2 (self,response):
    print("\n\n\n\n\n"),response.body,"\n\n\n\n\n")

person Shehryar Ali    schedule 28.08.2020    source источник
comment
Привет, Шерьяр Али, добро пожаловать в Stack Overflow. Ожидается, что в ваших вопросах вы предоставите минимально воспроизводимый пример и объясните, что вы пытались решить свою проблему. Тем не менее, на вашу проблему МОЖЕТ БЫТЬ дан этот ответ.   -  person renatodvc    schedule 28.08.2020
comment
Извините, ответ выше не указывает на мою проблему.   -  person Shehryar Ali    schedule 31.08.2020