Очистка/анализ результатов поиска Google в Ruby

Это должно быть очень просто, взгляните на "Очистка экрана с помощью ScrAPI» сыграно Райаном Бейтсом. Вы по-прежнему можете обойтись без парсинга библиотек, просто придерживайтесь таких вещей, как Nokogiri.

Из документации Нокогири:

require 'nokogiri'
require 'open-uri'

# Get a Nokogiri::HTML:Document for the page we’re interested in...

doc = Nokogiri::HTML(open('http://www.google.com/search?q=tenderlove'))

# Do funky things with it using Nokogiri::XML::Node methods...

####
# Search for nodes by css
doc.css('h3.r a.l').each do |link|
  puts link.content
end

####
# Search for nodes by xpath
doc.xpath('//h3/a[@class="l"]').each do |link|
  puts link.content
end

####
# Or mix and match.
doc.search('h3.r a.l', '//h3/a[@class="l"]').each do |link|
  puts link.content
end

Мне непонятно, почему вы вообще хотите очищать экран. Возможно, поисковый API REST был бы более подходящим? Он вернет результаты в формате JSON, который будет намного проще анализировать и сэкономить на пропускной способности.

Например, если вы искали «foo bar», вы можете просто отправить запрос GET на http://ajax.googleapis.com/ajax/services/search/web?v=1.0&q=foo+bar и обработать ответ.

Дополнительную информацию см. в разделе "REST API поиска Google. " или страницу разработчика Google.

Я бы предложил HTTParty + поисковый API Google Ajax.

Я не знаю конкретного кода Ruby, но этот парсер Google может помочь тебе. Это демонстрация онлайн-инструмента, который очищает и анализирует результаты Google. Самое интересное, что там есть статья с объяснением процесса парсинга в PHP, но она применима и к Ruby, и к любому другому языку программирования.

Вы сможете легко достичь своей цели с помощью Mechanize.

Если у вас уже есть результаты, все, что вам нужно, это Hpricot или Nokogiri.

Удаление становится все труднее и труднее, так как Google постоянно меняется, расширяя структуру результатов (расширенные фрагменты, диаграмма знаний, прямой ответ и т. д.), мы создали службу, которая справляется с частью этой сложности, и у нас есть библиотека Ruby. Это довольно просто использовать:

query = GoogleSearchResults.new q: "coffee"

# Parsed Google results into a Ruby hash
hash_results = query.get_hash