Самый анонимный способ сканирования поисковой системы

Я пишу сценарий на Ruby, который выполняет поиск в поисковых системах, используя целый набор поисковых запросов. Я хочу, чтобы этот сценарий оставался анонимным при использовании пользователем. Пока сценарий меняет пользовательских агентов и использует случайный заголовок. Есть ли какой-то способ или определенная поисковая система, которую я должен использовать, чтобы оставаться анонимным?

Я видел, что DuckDuckGo - хорошее начало, у него также есть API, из-за которого он, по-видимому, не регистрирует данные и не использует Tor, но что, если бы я хотел использовать более одной поисковой системы? Например, использование нескольких потоков для сканирования нескольких поисковых систем и сохранения анонимности во всех системах.

Как я могу этого добиться?

Я знаю о функциях прокси Rubys, просто я не совсем уверен, как их использовать - еще одна проблема.


ruby anonymous search-engine
person 13aal    schedule 19.04.2016    source источник

Ответы (2)


arrow_upward
3
arrow_downward

Если вы хотите быть анонимным в Интернете, один из лучших вариантов - tor. Вы можете использовать его самостоятельно и получить доступ к любому веб-сайту

Сначала вам нужно подключиться к сети tor

tor --SOCKSPort 9050

Затем вы можете использовать этот драгоценный камень: https://github.com/astro/socksify-ruby

И заходите на любой сайт анонимно:

require 'socksify/http'
require 'net/http'
Net::HTTP.SOCKSProxy('127.0.0.1', 9050).start('some.website.com', 80) do |http|
  http.get('/')
end

Пожалуйста, прочтите документацию, если вам нужно быть анонимным по соображениям безопасности, она полная и важная, если вы хотите использовать ее правильно.

Целевой веб-сайт может легко узнать, что трафик идет из сети tor (но он не знает, откуда идет трафик), будьте разумны при сканировании, вы не хотите, чтобы веб-мастер блокировал tor ...

person Thomas    schedule 19.04.2016
comment
Я запутался в части tor --SOCKS, что она делает? Извините, я очень мало знаю о прокси и о том, как они работают - person 13aal; 19.04.2016
comment
Он сообщает, что нужно прослушивать порт 9050. Затем вы подключаетесь к этому порту с помощью Net :: HTTP.SOCKSProxy. Ваши HTTP-запросы будут отправляться через прокси - person Thomas; 19.04.2016
comment
Итак, в основном Tor - это мой локальный IP-адрес, подключенный через порт 9050? - person 13aal; 19.04.2016

arrow_upward
1
arrow_downward

Tor - хороший вариант, если вам нужно несколько запросов в день, но в большинстве поисковых систем исходящие IP-адреса Tor занесены в черный список, поэтому я думаю, вам не понравится хорошая поездка. Если вы можете заплатить немного денег за услугу, которая может сохранить анонимность вашего сканирования и избежать хлопот, связанных с прокси-серверами, я бы рекомендовал использовать ProxyCrawl API Прокси-сервер анонимного сканера.

API прост в использовании, его можно бесплатно попробовать и поддержать миллионы сайтов, цена оплачивается по мере использования.

person Mo Wad    schedule 31.03.2018