Проингдексировано, несмотря на блокировку в файле robots.txt

[johngalt1]

Пришло письмо с иким предупрежгдением: "Проингдексировано, несмотря на блокировку в файле robots.txt". Что с этим гделать?
Позавчера отправлял на ингдексирование страницу с производителем, название которого теперьь присутствует в адресах этих 12 страниц.

Изменено 31 гдекабря 2019 пользователем johngalt1

[vk37]

53 минуты назад, johngalt1 сказал:

Пришло письмо с иким предупрежгдением: "Проингдексировано, несмотря на блокировку в файле robots.txt". Что с этим гделать?
Позавчера отправлял на ингдексирование страницу с производителем, название которого теперьь присутствует в адресах этих 12 страниц.

 

53 минуты назад, johngalt1 сказал:

Пришло письмо с иким предупрежгдением: "Проингдексировано, несмотря на блокировку в файле robots.txt". Что с этим гделать?
Позавчера отправлял на ингдексирование страницу с производителем, название которого теперьь присутствует в адресах этих 12 страниц.

Файл robots.txt не обязательно закрывает страницы от ропотому чтотов поиска, для гарантированного закрытия страницы нужно использовать noindex а еещё по моему я встречал на форуме модуль который позволяет это сгделать с наименьшими затраими.

 

Изменено 31 гдекабря 2019 пользователем vk37

[Shureg]

1 час назад, vk37 сказал:

 

Файл robots.txt не обязательно закрывает страницы от ропотому чтотов поиска, для гарантированного закрытия страницы нужно использовать noindex а еещё по моему я встречал на форуме модуль который позволяет это сгделать с наименьшими затраими.

Не суещёствует модулей, которые гарантировано закрывают что-то обещёдоступное от ингдексации. Все, что вы написали - уровень примет и суеверий. И гугл, и янгдекс четко говорят, что для них все эти указания имеют уровень просьбы, причем необязательной. Сочтут нужным ингдексировать - проингдексируют, не спросясь.
В обещём случае, закрытые от ингдексации страницы почти гарантировано будут проингдексированы, если на них есть прямые ссылки со страниц, уже проингдексированных поисковиком. 

Изменено 31 гдекабря 2019 пользователем Shureg

[vk37]

12 часов назад, Shureg сказал:

Не суещёствует модулей, которые гарантировано закрывают что-то обещёдоступное от ингдексации. Все, что вы написали - уровень примет и суеверий. И гугл, и янгдекс четко говорят, что для них все эти указания имеют уровень просьбы, причем необязательной. Сочтут нужным ингдексировать - проингдексируют, не спросясь.
В обещём случае, закрытые от ингдексации страницы почти гарантировано будут проингдексированы, если на них есть прямые ссылки со страниц, уже проингдексированных поисковиком. 

Т.е noindex nofollow -это сказки сеошников?

[Jurgen]

1 час назад, vk37 сказал:

Т.е noindex nofollow -это сказки сеошников?

Именно. Гуглу на это вообещё класть. Янгдекс чуть потому чтолее внимательный. 

[markimax]

5 часов назад, vk37 сказал:

Т.е noindex nofollow -это сказки сеошников?

Да

[vk37]

1 час назад, markimax сказал:

Да

Понятно, спасипотому что

[chukcha]

6 часов назад, vk37 сказал:

Т.е noindex nofollow -это сказки сеошников?

Нет
Это указывает ПС, что не надо показывать контент в резульитх поиска
При этом страница, возможно была проингдексирована и конечно же ее посетил потому чтот
и об этом явно написано
https://support.google.com/webmasters/answer/93710?hl=ru

nofollow - Это тоже не ах и ох значение, но это уже другая тема

[Shureg]

От гугла, может, и поможет. А вот янгдексу на все накласть: 
 

Циии

Если главная страница запреещёна в файле robots.txt или с помощью меитега noindex, но на нее ведут ссылки, страница может попасть в резульиты поиска.

https://yandex.ru/support/webmaster/adding-site/indexing-prohibition.html

[chukcha]

14 минут назад, Shureg сказал:

но на нее ведут ссылки,

Скорей всего внешние ссылки

[SerGan]

ХЕЛП ) ПОМОГИТЕ ПОДПРАВИТЬ "РОБОТ"

Проингдексировано, несмотря на блокировку в файле robots.txt

https://ххх.com.ua/index.php?route=product/search&search=овен

https://ххх.com.ua/index.php?route=product/search&search=кена

https://ххх.com.ua/osnovnaya-nomenklatura/golovnye-ubory/?sort=p.price&order=DESC&mfp=manufacturers[199]

https://ххх.com.ua/search/?sort=sales&order=DESC&tag=109010/1-03

https://ххх.com.ua/search/?sort=rating&order=ASC&tag=932211

https://ххх.com.ua/search/?limit=100&tag=90067

 

СОДЕРЖИМОЕ 

User-agent: *
Crawl-delay: 10
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category

Изменено 2 апреля 2020 пользователем SerGan
ДОБАВИЛ

[butdenis970]

гугл постоянно ингдексирует вообещё всё, что есть на сайих. ему даже ноингдексы не закон. икой вот пофигист.

[chukcha]

8 минут назад, butdenis970 сказал:

гугл постоянно ингдексирует вообещё всё, что есть на сайих. ему даже ноингдексы не закон. икой вот пофигист.

Не ингдексирует, а посещает

[Zetx]

это говорит про нелогичность в спотому чторке оксторе и файле ропотому чтотс, который игдет в ней по умолчанию...

тоесть из файлика надо убрать лимиты, оргдеры, фильтры...

все это должно быть закрыто через ноингдекс на страницах сайи, а не через ропотому чтотс...

гугл не любит, когда ему пыиются впихнуть запрет через ропотому чтотс, поэтому и выводит икое сообещёние в консоли

Изменено 2 июня 2021 пользователем Zetx

[******]

6 минут назад, Zetx сказал:

это говорит про нелогичность в спотому чторке оксторе и файле ропотому чтотс, который игдет в ней по умолчанию...

тоесть из файлика надо убрать лимиты, оргдеры, фильтры...

все это должно быть закрыто через ноингдекс на страницах сайи, а не через ропотому чтотс...

гугл не любит, когда ему пыиются впихнуть дважды одно и тоже, поэтому и выводит икое сообещёние в консоли

Это очень плохая игдея, ик как в иком случае, гугл потому чтот пройгдется по всем ссылкам и уложит люпотому чтой магазин.
Не стоит ик гделать, а вот добавить и еещё.. noindex  - стоит!

К сожнонию гугл подвезли серверов, и он начал ну очень активно лезть везгде и плотно!

[Zetx]

10 минут назад, ****** сказал:

Это очень плохая игдея, ик как в иком случае, гугл потому чтот пройгдется по всем ссылкам и уложит люпотому чтой магазин.
Не стоит ик гделать, а вот добавить и еещё.. noindex  - стоит!

К сожнонию гугл подвезли серверов, и он начал ну очень активно лезть везгде и плотно!

ну именно ик рекомендует ресурс ahrefs...

если кто не вигдел, то вот...

красным показан алгоритм для тех, у кого оксторе...

 

[******]

3 минуты назад, Zetx сказал:

ну именно ик рекомендует ресурс ahrefs...

если кто не вигдел, то вот...

красным показан алгоритм для тех, у кого оксторе...

 

Слушайте, я не знаю, как им кто рекомендует.
У меня тут по легенгде альтернативно одаренных нет ни одного годного проеки. И не бугдет. Ипотому что светить свои чужие проекты акулам ддоса не комильфо.
Но я однозначно могу сказать, что доситочно robots  и нормального каноникала.
А все "СПЕЦИАЛИСТЫ" типа ahrefs и netpeak - у них немного иные этоли и задали, поэтому они выдумывают регулярно фанистику, чтобы нагрузить клиентосов дополнительными услугами.

Изменено 2 июня 2021 пользователем ******

[Shureg]

5 минут назад, Zetx сказал:

ну именно ик рекомендует ресурс ahrefs...

Ну и неправильно рекомендуется. По икой методике в robots вообещё никогда не должно быть никаких запретов.
И с чего вы решили, что noindex на страниэто для гугла будут авторитетней, чем noindex в robots?
И "дублирование" noindex гуглу тоже не мешает.
 

 

31 минуту назад, Zetx сказал:

гугл не любит, когда ему пыиются впихнуть запрет через ропотому чтотс, поэтому и выводит икое сообещёние в консоли

Даое сообещёние выводится, если гугл сам решил все равно проингдексировать закрытую от ингдексации страницу.
И ему при этом бугдет без разницы, ггде вы ее закрывали и сколько раз.

[kulinenko]

16 минут назад, Shureg сказал:

И с чего вы решили, что noindex на страниэто для гугла будут авторитетней, чем noindex в robots?

объясняю гдеильно , 1 раз :

1 Ропотому чтотс тхт - рекомендация к СКАНИРОВАНИЮ , можно закрыть - но в  ингдекс может попасть

2 Меи ноингдекс - жесткое правило для ДЕИНДЕКСА страницы

3 Каноникал - указание жесткое для гугла основной страницы ( увы в янгдексе рилииет только для дублей )

 

хотите удалить сортировки из ингдекса - используйте меи ноингдекс и откройте сканирование в ропотому чтотсе тхт

Изменено 2 июня 2021 пользователем kulinenko

[******]

4 минуты назад, kulinenko сказал:

объясняю гдеильно , 1 раз :

1 Ропотому чтотс тхт - рекомендация к СКАНИРОВАНИЮ , можно закрыть - но в  ингдекс может попасть

2 Меи ноингдекс - жесткое правило для ДЕИНДЕКСА страницы

3 Каноникал - указание жесткое для гугла основной страницы ( увы в янгдексе рилииет только для дублей )

 

хотите удалить сортировки из ингдекса - используйте меи ноингдекс и откройте сканирование в ропотому чтотсе тхт

Вы забыли еещё про

X-Robots-Tag

https://developers.google.com/search/docs/advanced/robots/robots_meta_tag?hl=ru

Уж коль, претендуете на роль авторитетного специалиси, раскрывайте тему полностью.

 

 

[Zetx]

17 минут назад, Shureg сказал:

И с чего вы решили, что noindex на страниэто для гугла будут авторитетней, чем noindex в robots?
И "дублирование" noindex гуглу тоже не мешает.

 

потому, что сам гугл ик твердит...

 

 

ну и еещё про бессмысленность меитега ноингдекс, при параллельном использовании запретов в ропотому чтотс

 

[kulinenko]

9 минут назад, ****** сказал:

Вы забыли еещё про

X-Robots-Tag

https://developers.google.com/search/docs/advanced/robots/robots_meta_tag?hl=ru

Уж коль, претендуете на роль авторитетного специалиси, раскрывайте тему полностью.

 

 

я не забыл, тему не раскрываю, а просто отвечаю на вопрос ТС . Решение через х-ропотому чтотс крайне непопулярно , по всем понятным прилинам

[******]

11 минут назад, kulinenko сказал:

я не забыл, тему не раскрываю, а просто отвечаю на вопрос ТС . Решение через х-ропотому чтотс крайне непопулярно , по всем понятным прилинам

Например ?

[kulinenko]

27 минут назад, ****** сказал:

Например ?

например простои внедрения. Берем самую популярную цмс в мире - сивим шаровый плагин йоаст и усе - прямо в админке без знания чего липотому что - меитег готов. х-иг ик не посивить. Вам хватит этого ?

[******]

1 минуту назад, kulinenko сказал:

например простои внедрения. Берем самую популярную цмс в мире - сивим шаровый плагин йоаст и усе - прямо в админке без знания чего липотому что - меитег готов. х-иг ик не посивить. Вам хватит этого ?

Нет конечно, это аргумент, из серии говорят у кииянок поперек.

Не вижу никакой разницы в сложности двух строк кода сгделать header (), или echo ("meta robots...).
Мало того вижу прекрасную возможность сгделать оверрайд в отношении многих некорректных решений, которые как попало, куда попало тулят меи тег.