Я «работаю» над проектом интеллектуального анализа данных и решил анализировать результаты поиска Google. Теперь, прежде чем я начну, я хочу посоветоваться с вами - опытными людьми. Я провел небольшое исследование того, как Google выдает результаты, и проанализировал структуру страницы результатов. Все в порядке, я уже разобрался с регулярными выражениями и структурами данных, которые буду использовать.
В промежутках я столкнулся с их CAPTCHA, потому что искал слишком быстро; о, ирония. Я также обнаружил, что они на самом деле ограничивают результаты до 1000. Теперь, есть ли способ избежать этих перипетий, возможно, замедлив скорость выборки url для решения первой или сообщая при обнаружении CAPTCHA, чтобы он ждал моего ввода ; это могло бы сделать это, но как насчет другого? Предоставляет ли Google какой-то API, который я могу использовать для обходного пути? Я не смог найти его на их странице code.*.
