Пользовательские заголовки Selenium PhantomJS в Python

Я хочу добавить «пользовательские заголовки» в Selenium PhantomJS в python. Это заголовки, которые я хочу добавить.

headers = { 'Accept':'*/*',
            'Accept-Encoding':'gzip, deflate, sdch',
            'Accept-Language':'en-US,en;q=0.8',
            'Cache-Control':'max-age=0',
            'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 Safari/537.36'
          }

Это код, с которым я работаю:

from selenium import webdriver

service_args = [
    '--proxy=127.0.0.1:9999',
    '--proxy-type=socks5',
    ]
driver = webdriver.PhantomJS(service_args=service_args)


driver.set_window_size(1120, 550)
driver.get("https://duckduckgo.com/")
driver.find_element_by_id('search_form_input_homepage').send_keys("realpython")
driver.find_element_by_id("search_button_homepage").click()
print driver.current_url
driver.quit()

Как изменить код, включающий эти пользовательские заголовки?

Пожалуйста помоги.


python selenium phantomjs custom-headers
person Sumit Jha    schedule 27.02.2016    source источник
comment
Это должно помочь: stackoverflow.com/a/17862456/771848.   -  person alecxe    schedule 27.02.2016

Ответы (2)


arrow_upward
15
arrow_downward

Настройте заголовки следующим образом:

from selenium import webdriver


headers = { 'Accept':'*/*',
    'Accept-Encoding':'gzip, deflate, sdch',
    'Accept-Language':'en-US,en;q=0.8',
    'Cache-Control':'max-age=0',
    'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 Safari/537.36'
}

for key, value in enumerate(headers):
    capability_key = 'phantomjs.page.customHeaders.{}'.format(key)
    webdriver.DesiredCapabilities.PHANTOMJS[capability_key] = value

Затем начните работу с вашим драйвером:

service_args = [
    '--proxy=127.0.0.1:9999',
    '--proxy-type=socks5',
]
driver = webdriver.PhantomJS(service_args=service_args)
# ...............
person Andriy Ivaneyko    schedule 27.02.2016

arrow_upward
18
arrow_downward

Метод Андрея Иванейко у меня не работает (PhantomJS 2.1.1 и Selenium 2.48.0).

Я пишу полный пример, чтобы установить все заголовки, размер окна и прокси в Selenium PhantomJS:

from selenium import webdriver

def init_phantomjs_driver(*args, **kwargs):

    headers = { 'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
        'Accept-Language':'zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3',
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.2; WOW64; rv:47.0) Gecko/20100101 Firefox/47.0',
        'Connection': 'keep-alive'
    }

    for key, value in headers.iteritems():
        webdriver.DesiredCapabilities.PHANTOMJS['phantomjs.page.customHeaders.{}'.format(key)] = value

    webdriver.DesiredCapabilities.PHANTOMJS['phantomjs.page.settings.userAgent'] = 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 Safari/537.36'

    driver =  webdriver.PhantomJS(*args, **kwargs)
    driver.set_window_size(1400,1000)

    return driver


def main():
    service_args = [
        '--proxy=127.0.0.1:9999',
        '--proxy-type=http',
        '--ignore-ssl-errors=true'
        ]

    driver = init_phantomjs_driver(service_args=service_args)

    driver.get('http://cn.bing.com')

Примечание 1:

userAgent устанавливается в phantomjs.page.settings.userAgent вместо phantomjs.page.customHeaders

Заметка 2:

Андрей Иванейко использует enumerate для построения DesiredCapabilities.PHANTOMJS, ключом является индекс цикла, поэтому данные становятся такими:

{
 'browserName': 'phantomjs',
 'javascriptEnabled': True,
 'phantomjs.page.customHeaders.0': 'Accept-Language',
 'phantomjs.page.customHeaders.1': 'Accept-Encoding',
 'phantomjs.page.customHeaders.2': 'Accept',
 'phantomjs.page.customHeaders.3': 'User-Agent',
 'phantomjs.page.customHeaders.4': 'Connection',
 'phantomjs.page.customHeaders.5': 'Cache-Control',
 'platform': 'ANY',
 'version': ''
}

Ни один из атрибутов заголовка не установлен правильно.

person Mithril    schedule 14.10.2016
comment
Это больше не работает. Пробовал PhantomJS версии 1.9.8 и 2.1.1. - person Xonshiz; 09.01.2020
comment
У меня работал PhantomJS 2.1.1. - person l0n3_w01f; 28.07.2020