У меня большой сайт (более 40 000 страниц), и я хочу свести к минимуму количество страниц, индексируемых Google, т. е. я хочу проиндексировать только 500 страниц.
Мне кажется, что я могу найти только вариант не индексировать страницы, и для меня не будет индексировать 39 500 страниц, это не имеет смысла.
Пример моего файла Robots.txt.
User-agent: *
Noindex: /category/long-site-url-1/
Noindex: /
Noindex: /site-url-2/
Noindex: /site-url-3/
Sitemap: https://sitedomain/sitemap.xml
