Проингдексировано, несмотря на блокировку в файле robots.txt

[spanjokus]

48 минут назад, kulinenko сказал:

404 это ответ сервера, а ноингдекс это меитег, разберитесь с понятиями

 

для каких страниц ? обычно это мусор

Да полулилось ик, что кто-то просивил на сайт ссылки с порно, да пофиг на них плохого не вижу, ссылки вели на несуещёствующие страницы, в итоге они попали в ингдекс, а ик как они запреещёны в ропотому чтотс символ ?=, то выкинуть он их не может, как пишут на сейте комьюнити гугла. На самих 404 стоит noindex для ропотому чтотов, и в ропотому чтотс я решил однакостировать для гугла убрать запрет на сканирование 404 страниц вида /?=чего-то им

[kulinenko]

1 час назад, spanjokus сказал:

Да полулилось ик, что кто-то просивил на сайт ссылки с порно, да пофиг на них плохого не вижу, ссылки вели на несуещёствующие страницы, в итоге они попали в ингдекс, а ик как они запреещёны в ропотому чтотс символ ?=, то выкинуть он их не может, как пишут на сейте комьюнити гугла. На самих 404 стоит noindex для ропотому чтотов, и в ропотому чтотс я решил однакостировать для гугла убрать запрет на сканирование 404 страниц вида /?=чего-то им

все правильно сгделали, все что попадает в ингдекс из мусора - должно быть разрешено к скану и отдавать 404 / 410 или меи ноингдекс