Как я могу отслеживать HTTP-трафик и получать список URL-адресов на C#?

По сути, то, что мы в компании делаем прямо сейчас, просто использует HttpFox в Firefox для ручного получения тегов и значений веб-трендов, которые добавляются в виде строки запроса к URL-адресу типа изображения/gif, который отображается всякий раз, когда мы набираем определенный URL-адрес в браузере. после запуска надстройки и перехода к определенному URL-адресу в списке URL-адресов HttpFox появляется список URL-адресов. один из URL-адресов содержит нужную нам строку запроса, и мы впоследствии копируем этот список в файл Excel. Итак, если нужно получить 2000 страниц, мы открываем эти 2000 страниц и копируем и вставляем одну за другой.

Это приводит к моей задаче автоматизации «сбора тегов» путем создания программы на C #, которая выполняет обнюхивание/мониторинг после ввода определенного URL-адреса. Я предоставлю список URL-адресов для чтения, а программа выполнит мониторинг и выборку данных, а также запись данных в базу данных.

Моя проблема заключается в том, как получить этот список URL-адресов с помощью С# после ввода определенного URL-адреса - что-то вроде fiddler и httpfox, но не должно зависеть от браузера.

Кстати, и Fiddler, и HttpFox выполняют ту работу, которая мне нужна, но я не думаю, что мы можем кормить Fiddler списком URL-адресов, которые можно обнюхать. HttpFox хорош, но он запускается только через firefox, а импорт объявлений выполняется вручную.

У HttpFox нет имени для этого «списка» URL-адресов, но в Fiddler он называется «Веб-сеансы». Надеюсь, это поможет вам лучше понять мою проблему.

Я уже просмотрел HttpListener и HttpWebRequest, но не могу получить результат, который ищу.

Любая помощь будет оценена по достоинству. :)


person bonbon.langes    schedule 06.10.2011    source источник


Ответы (1)


Вы можете внедрить Fiddler как библиотеку .NET и запустить его как часть своего приложения: http://fiddler.wikidot.com/fiddlercore

person Piskvor left the building    schedule 06.10.2011
comment
Привет Писквор! Спасибо! Похоже, FiddlerCore — это то, что мне было нужно. :) Проблема в том, что я не знаю, как «настроить» FiddlerCore в моем VS2010 для конкретного проекта. Заранее спасибо за помощь! :) - person bonbon.langes; 07.10.2011
comment
привет писквор! я уже сделал приложение, использующее FiddlerCore, я перекодировал демонстрационное консольное приложение и создал приложение WinForms, используя FiddlerCore. Вы когда-нибудь использовали FiddlerCore? потому что вы могли бы помочь мне с моей другой проблемой. Есть ли способ, которым FiddlerCore может определить, когда определенная веб-страница завершила загрузку? - чтобы после этого я мог открыть другую веб-страницу, очистить старый список сеансов, а затем отсканировать веб-сеанс на наличие файла, который мне нужен. - person bonbon.langes; 10.10.2011
comment
и чуть не забыл. Вы очень помогли с первой проблемой. огромное спасибо! я уже больше недели ломаю голову над этой проблемой, и это моя текущая задача в моей компании. большое спасибо. :) - person bonbon.langes; 10.10.2011
comment
@dev.bonski: Пожалуйста; вы можете опубликовать свою вторую проблему как отдельный вопрос; более вероятно, что люди увидят это. - person Piskvor left the building; 10.10.2011
comment
Доступен ли какой-либо некоммерческий продукт с лицензией на ОС? Ядро Fiddler будет стоить в производственной среде - person iamnicoj; 03.02.2016