Мое приложение Python загружает веб-страницы с помощью Selenium Webdriver, в общей сложности более или менее 20000 страниц за несколько часов работы. Моя проблема в том, что «что-то» создает множество файлов tmp, заполняя весь мой жесткий диск. Например, сегодня утром приложение генерирует 70 ГБ файлов tmp за 6 часов работы :( после перезагрузки Ubuntu все эти файлы исчезли. Я думаю, что виноват Firefox.
Такая ситуация происходит как в Linux, так и в OS X.
def launchSelenium (url):
profile = webdriver.FirefoxProfile()
profile.set_preference("network.proxy.type", 1)
profile.set_preference("network.proxy.http", "127.0.0.1")
profile.set_preference("network.proxy.http_port", 8080)
profile.set_preference("webdriver.load.strategy", "fast")
profile.set_preference("permissions.default.stylesheet", 2)
profile.set_preference("permissions.default.images", 2)
profile.set_preference("dom.ipc.plugins.enabled.libflashplayer.so", "false")
profile.set_preference("browser.sessionstore.enabled", "false")
profile.set_preference("browser.cache.disk.enable", "false")
profile.update_preferences()
driver = webdriver.Firefox(firefox_profile=profile)
driver.get(url)
try:
element = driver.find_element_by_xpath("//button[@title='Statistics']").click()
except NoSuchElementException:
print "Not available"
driver.close()
return 0
driver.close()
return 1
Я добавил последние два параметра в профиль Firefox, пытаясь решить эту проблему, но ничего не изменилось.
Я делаю что-то неправильно? В Selenium есть ошибка? Спасибо