Как Google узнает, что вы маскируетесь?

Кажется, я не могу найти никакой информации о том, как Google определяет, являетесь ли вы маскировка вашего содержания. Как вы думаете, как они это определяют с технической точки зрения? Присылают ли они что-то, кроме робота Google, и сравнивают ли это с результатами робота Google? У них есть команда сравнивающих людей? Или они могут каким-то образом сказать, что вы проверили пользовательский агент и выполнили другой путь кода, потому что вы видели "googlebot" в имени?

Это связано с этим вопросом о законном сокрытии URL-адресов для SEO. Если текстовое содержимое точно такое же, но рендеринг отличается (html в стиле 1995 года, ajax или flash), действительно ли проблема с маскировкой?

Спасибо, что надела это.


person Lance Pollard    schedule 10.12.2009    source источник
comment
Голосование за закрытие как не по теме: переходите на Webmasters.SE!   -  person clickbait    schedule 19.08.2018


Ответы (7)


Насколько мне известно, то, как Google готовит результаты поисковой системы, является секретным и постоянно меняется. Спуфинг различных пользовательских агентов легко, поэтому они могут это сделать. Они также могут, в случае Javascript, фактически отображать частичные или целые страницы. "Есть ли у них команда сравнивающих людей?" Это сомнительно. О стратегиях сканирования Google написано много, в том числе this, но если задействованы люди, они вызываются только в особых случаях. Я даже сомневаюсь в этом: любая потраченная сила человека, вероятно, тратится на настройку движка ползания.

person Dan Rosenstark    schedule 10.12.2009

Google смотрит на ваш сайт, представляя пользователя-агента, отличного от googlebot.

person Anon.    schedule 10.12.2009
comment
Они делают? И этот другой пользовательский агент все еще идентифицирует себя как какой-то робот? Если нет, разве это не было бы очень коварным со стороны Google? - person Thilo; 10.12.2009
comment
Даже разные пользовательские агенты не могут помочь Google определить, использовал ли браузер z-index для наложения div, чтобы скрыть определенный контент от просмотра - квалифицируется ли это как маскировка? - person John K; 10.12.2009
comment
@jdk: Google создал браузер с механизмом рендеринга. Они очень хорошо могли сказать. - person whatsisname; 10.12.2009
comment
Хорошо, это то, что я опубликовал ниже в качестве решения - я не был уверен, действительно ли мое понимание соответствует определению маскировки, но похоже, что оно соответствует или достаточно близко. - person John K; 10.12.2009
comment
@ Тило: Подлый? Думаю, у разных людей разные взгляды, но я думаю, что это нормально, если они уважают robots.txt. - person Charles Stewart; 10.12.2009

См. страницу 11 комиксов Google Chrome, где он описывает (даже лучше, чем у неспециалистов термины) о том, как инструмент Google может создать схему веб-страницы. Они могли бы использовать эту или аналогичную технологию для индексации поиска Google и обнаружения маскировки - по крайней мере, это было бы еще одним хорошим применением для нее.

alt text

person John K    schedule 10.12.2009
comment
Не могли бы вы немного объяснить, как это (автоматическое тестирование движка рендеринга) связано с обнаружением маскировки? - person Thilo; 10.12.2009
comment
Я предполагаю, что технология может быть переупакована так, как браузер думает, что она отображает, и применена к тому, что на самом деле очищает Googlebot. Это не будет отличаться от TestSwarm для jQuery testswarm.com, но Google будет использовать для этого серверные фермы. Да, это где-то там, но в нем есть кусочки жизнеспособности. - person John K; 10.12.2009
comment
Мое объяснение, вероятно, не очень ясное, но в основном я говорю, что если Google (через Chrome) может создать технологию, демонстрирующую разницу между тем, что веб-браузер думает, что он видит, и тем, что на самом деле видно, тогда идея не является невероятной, что они также могут есть другие технологии, сравнивающие мышление и видение веб-мира. - person John K; 10.12.2009

Google действительно нанимает подрядчиков (косвенно, через стороннее агентство, за очень низкую оплату) для ручного просмотра документов, возвращаемых в качестве результатов поиска, и оценки их соответствия условиям поиска, качеству переводов и т. Д. Я очень сомневаюсь, что это их единственный инструмент для обнаружение маскировки, но это одна из них.

person Dave Sherohman    schedule 22.08.2011

На самом деле многие алгоритмы Google банально перевернуты и далеки от ракетостроения. В случае так называемого "обнаружения маскировки" все предыдущие предположения основаны на деньгах (за исключением, как ни странно, Джона К. лола). Если вы не верите, я создал несколько тестовых сайтов (входные данные), а некоторые - маскировка тестовых примеров '(дальнейшие входные данные), отправьте свои сайты дяде Google (обработка) и проверьте свои не-предположения с помощью псевдо-продвинутых человеческих когнитивных корреляционных квантовых восприятий (‹- кстати, я придумал это для развлечения (и теперь я вставляю круглые скобки, чтобы по-настоящему запутать ваш разум :)) AKA "проверка результатов Google, чтобы узнать, забанены ли вы еще" (выходы). Цикл до просветления == Истина (нуб!) Лол

person Jason Trawling    schedule 07.12.2010

Очень простой тест - сравнить размер файла веб-страницы, которую видел Googlbot, с размером файла страницы, отсканированной псевдонимом пользователя Google, который выглядит как обычный пользователь.

Это позволит выявить наиболее подозрительных кандидатов для более тщательного изучения.

person Lynn Grantham    schedule 13.05.2016

Они вызывают вашу страницу с помощью таких инструментов, как curl, и создают хэш на основе страницы без пользовательского агента, а затем создают другой хеш с пользовательским агентом googlebot. Оба хэша должны быть похожими, у них есть алгоритмы для проверки хешей и определения, является ли его маскировка или нет.

person user2592860    schedule 19.07.2017
comment
Технически ваш ответ правильный, но было бы лучше предоставить ссылки на предоставленную вами информацию, чтобы улучшить качество этого ответа. - person Imran Saeed; 21.07.2017