веб-парсинг для javascript __doPostBack содержит herf в td

Чтобы очистить веб-сайт https://www.unspsc.org/search-code/default.aspx?CSS=51%&Type=desc&SS%27= с помощью Selenium, вы можете использовать следующую стратегию локатора:

• Блок кода:

    from selenium import webdriver
    from selenium.webdriver.support.ui import WebDriverWait
    from selenium.webdriver.common.by import By
    from selenium.webdriver.support import expected_conditions as EC
  
    chrome_options = webdriver.ChromeOptions() 
    chrome_options.add_argument("start-maximized")
    driver = webdriver.Chrome(options=chrome_options, executable_path=r'C:\WebDrivers\chromedriver.exe')
    driver.get("https://www.unspsc.org/search-code/default.aspx?CSS=51%&Type=desc&SS%27=%27")
    while True:
        try:
            WebDriverWait(driver, 20).until(EC.element_to_be_clickable((By.XPATH, "//table[contains(@id, 'UNSPSCSearch_gvDetailsSearchView')]//tr[last()]//table//span//following::a[1]"))).click()
            print("Clicked for next page")
        except TimeoutException:
            print("No more pages")
            break
    driver.quit()
  

• Консольный вывод:

    Clicked for next page
    Clicked for next page
    Clicked for next page
    .
    .
    .
  

• Объяснение: если вы заметили HTML DOM, номера страниц находятся внутри <table> с динамическим атрибутом id, содержащим текст UNSPSCSearch_gvDetailsSearchView. Кроме того, номера страниц находятся в пределах последней <tr>, имеющей дочерний <table>. В дочерней таблице номер текущей страницы находится внутри <span>, который содержит ключ. Итак, чтобы click() на номере следующей страницы, вам просто нужно идентифицировать следующий тег <a> с индексом [1]. Наконец, поскольку элемент имеет javascript:__doPostBack(), вы должны вызвать WebDriverWait для желаемого element_to_be_clickable().

Вы можете найти подробное обсуждение в Как мне дождаться вызова JavaScript __doPostBack через Selenium и WebDriver

Чтобы найти / щелкнуть номера страниц, вы можете использовать:

for x in driver.find_elements_by_xpath("//a[contains(@href,'UNSPSCSearch$gvDetailsSearchView')]"):
    if x.text.isdigit():
        print(x.text)
        #x.click()
        #...

Выход:

2
3
4
...

Основываясь на вашем комментарии, вы можете использовать:

max_pages = 10
for page_number in range(2, max_pages+1):
    for x in driver.find_elements_by_xpath("//a[contains(@href,'UNSPSCSearch$gvDetailsSearchView')]"):
        if x.text.isdigit():
            if int(x.strip()) == page_number:
                x.click()
                #parse results here
                break