BigQuery против пользовательского поиска для высокопроизводительного поиска Google (Scholar)?

Для списка примерно из 30 тысяч ключевых слов я пытаюсь выяснить, сколько поисковых запросов Google существует для каждого ключевого слова, аналогично этому веб-сайту, но в большем масштабе: http://azich.org/google/.

Я использую python для запросов и изначально планировал использовать pygoogle. К сожалению, у Google есть ограничение в ~ 100 поисковых запросов в день для бесплатной учетной записи. Я готов использовать платный сервис, но не уверен, какой сервис Google имеет больше смысла — BigQuery или Custom Search. Bigquery, похоже, предназначен для поиска по предоставленному набору данных, тогда как пользовательский поиск, по-видимому, представляет собой решения для поиска по веб-сайту для небольшого «кусочка» Интернета.

Может ли кто-нибудь направить меня в соответствующую службу, которая позволит мне выполнить вышеуказанную задачу? Это не обязательно должна быть бесплатная услуга — я готов платить.

Если возможно, еще две вещи: я бы хотел, чтобы поиск осуществлялся из Google Scholar, но это не обязательно. Во-вторых, я хотел бы сохранить текст с главной страницы, например, рекламные объявления из каждого результата поиска, чтобы анализировать текст результатов первой страницы.


person user3934303    schedule 12.08.2014    source источник


Ответы (1)


BigQuery не является инструментом для взаимодействия с поиском Google. BigQuery — это инструмент, с помощью которого вы можете передавать свои данные, а затем выполнять аналитические запросы по этим данным. Но вам нужно сначала принять данные.

person Javier Ramirez    schedule 13.08.2014