Для списка примерно из 30 тысяч ключевых слов я пытаюсь выяснить, сколько поисковых запросов Google существует для каждого ключевого слова, аналогично этому веб-сайту, но в большем масштабе: http://azich.org/google/.
Я использую python для запросов и изначально планировал использовать pygoogle. К сожалению, у Google есть ограничение в ~ 100 поисковых запросов в день для бесплатной учетной записи. Я готов использовать платный сервис, но не уверен, какой сервис Google имеет больше смысла — BigQuery или Custom Search. Bigquery, похоже, предназначен для поиска по предоставленному набору данных, тогда как пользовательский поиск, по-видимому, представляет собой решения для поиска по веб-сайту для небольшого «кусочка» Интернета.
Может ли кто-нибудь направить меня в соответствующую службу, которая позволит мне выполнить вышеуказанную задачу? Это не обязательно должна быть бесплатная услуга — я готов платить.
Если возможно, еще две вещи: я бы хотел, чтобы поиск осуществлялся из Google Scholar, но это не обязательно. Во-вторых, я хотел бы сохранить текст с главной страницы, например, рекламные объявления из каждого результата поиска, чтобы анализировать текст результатов первой страницы.