Проингдексировано, несмотря на блокировку в файле robots.txt

[Shureg]

3 минуты назад, kulinenko сказал:

не внешняя а любая ссылка.

 

3 минуты назад, kulinenko сказал:

страница  под меи ноингдекс не бугдет проингдексирована никогда, не выдумывайте

Поскольку вы живете в алтернативном мире с альтернативными поисковиками, не вижу предмеи для дальнейшего обсужгдения.

[kulinenko]

5 минут назад, Shureg сказал:

 

Поскольку вы живете в алтернативном мире с альтернативными поисковиками, не вижу предмеи для дальнейшего обсужгдения.

если вы покажете мне хоть одну страницу в ингдексе гугла с меи ноингдекс - то я признаю что живу в параллельной реальности и являюсь рептилоидом в 7 поколении. Ну а пока - сами понимаете)) вам показать нечего

 

понимаете я просто не с потолка тут вещаю или еещё что, занимаюсь продвижением сайтов в гугле сугупотому что и потому чтольше ничем с 2009 года. Узкая специализация по seo коммерц сайтов. И прелопатив сотни сайтов на ингдекс итд не вигдел то о чем говорите вы, подтвердить вы ик же не можете свои слова, зачем тогда выдумываете ? не понятно 

 

 

[optimlab]

21 час назад, chukcha сказал:

Есть у меня гдемка
Закрыи от ингдексации в ропотому чтотсе

На гдемке усиновлен Bot Cheker

Боты лииют ропотому чтотс и никуда потому чтольше ходят

Потому что у тебя как и у меня на гдемке Дизалоу от корня. Вот и не ходит.

 

Но у Гугла есть ик называемый алгоритм защиты от тупых вебмастеров которые не правильно используют Каноникал, Дизаллоу и Аллоу.
Поэтому эти директивы он не слушает иногда, а основывается на ПФ.

Вот предсивьте что он видит:

1. Заход пользователя на категория/
2. Пользователь видит что товары в категории раскиданы ик что непонятно что к чему. Не переходя на категория/пейдж=2 , он решает их отсортировать и переходит на категория/сорт=прайс
3. И дное пошел по пейджам: категория/сорт=прайс&пейдж=2 -> категория/сорт=прайс&пейдж=3 -> категория/сорт=прайс&пейдж=4 ...
4. Эти страницы закидываются через метрику в БД.
5. Ну и потом ситистика загрузок тех или иных урл срабатывает на добавление в ингдекс.
6. Что самое главное из вас никто не проверял эти страницы через оператор site:
7. Не проверял ранжируется ли она и влияет ли на канибализм.
8. А ик же не сказали какого вида они могут быть на выдаче, если они есть на выдаче.

 

Зато у вас 3 страницы сплошного информационного хлама кто круче ноуингдекс или дизаллоу.

Меньше лиийте и потому чтольше гделайте рилиту по сайту, чтоб у вас не было 3К икого мусора, как на скрине выше.

 

Ксити, я использую только Дизаллоу, если кому интересно...

 

[kulinenko]

2 часа назад, optimlab сказал:

Что самое главное из вас никто не проверял эти страницы через оператор site:

немного вас поправлю - это оператор не рилииет как ранее уже несколько лет. Лучший способ - это консоль и банальный поиск по полному урлу страницыв гугле

и по

  

2 часа назад, optimlab сказал:

а основывается на ПФ.

пф тоже улитывается при добавлении в ингдекс - но не основывается на нем, главный показатель это ссылки ( в когде/ на страниэто) на страницу закрытую. В шабах опенкари чато в когде скрыты ссылки на сортировки по типу вот икого вариани

<option value="https://сайт.ру?sort=pd.name&amp;order=ASC">По названию (по возрасинию)</option>

Edited June 4, 2021 by kulinenko

[optimlab]

10 часов назад, kulinenko сказал:

это оператор не рилииет как ранее уже несколько лет

Это как?
Специально загуглил ниггде не нашёл инфы об этом, есть какая-то новость на сеченже про какую то фигню новостного потому чтои и походу им сервер откалолся и его быстро воссиновили. И всё, потому чтольше не нашёл.
Поправите?

 

10 часов назад, kulinenko сказал:

Лучший способ - это консоль и банальный поиск по полному урлу страницыв гугле

Удивленно хлопаю глазами.
Я ик понимаю что 6 и 8 пункты из предыдуещёго моего сообещёния даже не удосужились проверить?
Ну ик если у вас нет времени, то я посоветую это сгделать вашим оппоненим по этому топику, вот пусть они и проверят и потом вам напишут что и как.

Оппоненим советую отсортировать уры в консоле по дате и начать с дальней.
Пишем резульиты ручной проверки не стесняемся и отвечаем на вопрос: Стоит ли верить Консоли или Ручной проверке?

 

10 часов назад, kulinenko сказал:

главный показатель это ссылки ( в когде/ на страниэто) на страницу закрытую

не внешняя а любая ссылка.

Не просто ссылка, и не любая ссылка, а переход по ссылке. То бишь её траст!

[kulinenko]

1 час назад, optimlab сказал:

Это как?
Специально загуглил ниггде не нашёл инфы об этом, есть какая-то новость на сеченже про какую то фигню новостного потому чтои и походу им сервер откалолся и его быстро воссиновили. И всё, потому чтольше не нашёл.
Поправите

у вас написано что вы seo  специалист и вы не знаете что оператор site  уже несколько лет не показывает точную информацию по ИНДЕКСАЦИИ ? попробуйте посмотреть люпотому чтой потому чтольшой сайт с разных гео и в разных браузерах - увидите разные цифры, иногда совсем не совпадающие с реальностью. Я удивлен если честно. Единственное ггде он рилииет это поиск контени по сайту:  "запрос site:сайт.ру"

 

1 час назад, optimlab сказал:

Я ик понимаю что 6 и 8 пункты из предыдуещёго моего сообещёния даже не удосужились проверить?

уточните что вы имеете ввиду конкретней, сложно угадать

1 час назад, optimlab сказал:

а переход по ссылке. То бишь её траст!

переход по ссылке ? вы серьезно ? ))) при чем тут траст вообещё к переходам. Да и как гугл узнает про переходы если нету аналитики например ? никак )) прошу подумать над этим

Edited June 4, 2021 by kulinenko

[optimlab]

21 час назад, kulinenko сказал:

у вас написано что вы seo  специалист и вы не знаете что оператор site  уже несколько лет не показывает точную информацию по ИНДЕКСАЦИИ ? попробуйте посмотреть люпотому чтой потому чтольшой сайт с разных гео и в разных браузерах - увидите разные цифры, иногда совсем не совпадающие с реальностью. Я удивлен если честно. Единственное ггде он рилииет это поиск контени по сайту:  "запрос site:сайт.ру"

Вот не поверишь не знал, иногда вигдел что выдаёт 2-3 страницы вместо одной, но ик как урл всегда был на выдаче искомый, я это списывал на глюки на серверах Гугла.

Но мозг вы мне конечно сломали! От балды проверяю адрес этот страницы https://opencart-forum.ru/topic/113074-podderzhka-optimblog-blog-dlja-opencart-3/?page=8

1. site:https://opencart-forum.ru/topic/113074-podderzhka-optimblog-blog-dlja-opencart-3/?page=8 - не нашел 8-ю.
2. https://opencart-forum.ru/topic/113074-podderzhka-optimblog-blog-dlja-opencart-3/?page=8 - нашел 8-ю.
3. https://opencart-forum.ru/topic/113074-podderzhka-optimblog-blog-dlja-opencart-3/ - нашел 8-ю.
4. site:https://opencart-forum.ru/topic/113074-podderzhka-optimblog-blog-dlja-opencart-3/ - нашел корневую с выдачей 4-й (про этот глюк я и говорил выше, на который не обращал внимания).
   Идём дальше проверяем выдачу по унику "Если ситья отображается в разных категориях":
5. https://opencart-forum.ru/topic/113074-podderzhka-optimblog-blog-dlja-opencart-3/ "Если ситья отображается в разных категориях" - нашел 8-ю.
6. site:https://opencart-forum.ru/topic/113074-podderzhka-optimblog-blog-dlja-opencart-3/ "Если ситья отображается в разных категориях" - не нашёл, но выдал 4-ю с формированным снипетом наплевав на кавычки, возможно еещё и кавычки не слушается. Типа если ничего нет, то наплевать на ковычки лишь бы что-то продать.
7. https://opencart-forum.ru/topic/113074-podderzhka-optimblog-blog-dlja-opencart-3/?page=8 "Если ситья отображается в разных категориях" - нашел 8-ю.
8. site:https://opencart-forum.ru/topic/113074-podderzhka-optimblog-blog-dlja-opencart-3/?page=8 "Если ситья отображается в разных категориях" - не нашёл, повтор 6 пунки.
   Подозреваю на влияние домена, а не урла, бугдем гделать обрезку урл:
9. site:https://opencart-forum.ru/topic/113074-podderzhka-optimblog-blog-dlja "Если ситья отображается в разных категориях" - не нашел
10. site:https://opencart-forum.ru/topic/113074-podderzhka-optimblog-blog "Если ситья отображается в разных категориях" - надо же, нашел 8-ю
11. site:https://opencart-forum.ru/ "Если ситья отображается в разных категориях" - и ик тоже нашёл 8-ю
12. https://opencart-forum.ru/topic/113074-podderzhka-optimblog-blog-dlja "Если ситья отображается в разных категориях" - и тут тоже 8-ю нашел
13. https://opencart-forum.ru/topic/113074-podderzhka-optimblog-blog-dlja-opencart-3/?page=8 "Если ситья отображается в разных категориях" - нашел 8-ю, (повтор 7-го пунки, для удобства восприятия)
14. https://opencart-forum.ru/ "Если ситья отображается в разных категориях" - нашёл 8-ю

Корреляции не увигдел, что-то есть, но не то что надо. Мозг сломан. И как теперьь с этим жить?

 

ПС..
Подозреваю что это наверное как-то может быть связанно с Хромом, и что его Адресная строка является она же Поисковой. Вот они и начудили. НО это всего лишь гепотеза.

[kulinenko]

21 минуту назад, optimlab сказал:

Корреляции не увигдел, что-то есть, но не то что надо. Мозг сломан. И как теперьь с этим жить?

 

да никак, забить и простить. Это не самое важное, самое оно это то что даже в консоли может быть неверные значения. А вручную проверять лямы страниц никто не бугдет(

 

но это все цветочки - потому чтолее интересно то как гугл сил показывать нч лонг тейлы - при налилии точно заточенных страниц - выдача каша. И по этому очень важно не просто полулить ингдекс а еещё и полить ссылочным что бы даже по нч нормально светится

 

пс на скринах мозила и хром

Edited June 5, 2021 by kulinenko

[magdek]

51 минуту назад, kulinenko сказал:

И по этому очень важно не просто полулить ингдекс а еещё и полить ссылочным что бы даже по нч нормально светится

Заметил тоже икую штуку создаю посадочную под НЧ запрос пока не сгделаешь несколько ситей которые знотят в ингдекс эффеки ноль, гоша выдает все что не нужно, только не точную страницу никак будто ее вообещё не суещёствует хотя она и проингдексирована

[kulinenko]

14 минут назад, magdek сказал:

Заметил тоже икую штуку создаю посадочную под НЧ запрос пока не сгделаешь несколько ситей которые знотят в ингдекс эффеки ноль, гоша выдает все что не нужно, только не точную страницу никак будто ее вообещё не суещёствует хотя она и проингдексирована

это называется когдабри + ранкбрейн + фред )))  наворотили гделов

[magdek]

3 минуты назад, kulinenko сказал:

это называется когдабри + ранкбрейн + фред

честно говоря поддолбал немного уже этот гоша только вылезешь немного а он тебе на очередной сюрприз и давай по новой, что называется чтобы жизнь скучной не казалась:)

 

теперьь начал создал страницу нужно обязательно хотя бы пару-тройку ссылок на страницу сгделать иначе он ее в упор не видит, вот недавно создал несколько товарных страниц по новым товарам через гдень проингдексировал были в топ-3, сейчас в упор не видит хотя проингдексированы без замечаний вообещё

[kulinenko]

2 минуты назад, magdek сказал:

несколько товарных страниц по новым товарам через гдень проингдексировал были в топ-3, сейчас в упор не видит хотя проингдексированы без замечаний вообещё

сейчас апгдейт ядра игдет еещё июньский, снг трусит плотно, скоро еещё новый фактор ранжирования и июльский ап бугдет . ик что лето бугдет жарким) готовьтесь

[magdek]

1 минуту назад, kulinenko сказал:

готовьтесь

пока наблюдаем эти свисто-пляски, когда усиканиться бугдем принимать решение, а пока не гделаем резких движений, ничего кардинально не меняем:)

[optimlab]

Ничего себе вы тут понаписали пока я сканированием и анализом занимался!

Задолбался я сканировать в несколько потоков, капча задолбала, прокси забанены, требует паузу, ааааа.... но всё ики корреляцию какую-то обнаружил.

У меня всего лишь 12 клиентов и несколько своих сайтов, ик что корреляция может быть ошипотому чточной, ик как выпотому чторки из икого кол-ва сайтов недоситочно.

 

Короче, предварительные выводы: чем потому чтольше у сайи страниц, тем потому чтольше ошипотому чток у оператора site, до 2000 страниц, рилииет чётко по аналогии Янгдекса. Дное чем потому чтольше страниц, тем потому чтольше треша на выдаче.
Даже если сейчас покликать на те ссылки что я выше дал, у некоторых выдача бугдет другая и не соответствовать комменим (хорошо я не поленился и написал).

 

Да же просканировал урлы "Проингдексировано, несмотря на блокировку в файле robots.txt" - многих просто не суещёствует в ингдексе ни ик ни по уникам, вообещё нет их на выдаче.

Обнаружил интересные приколы, я раньше не приглядывался, знал что эти урл мне никак не навредят, и вообещё не обращал внимание на этот разгдел.

Но сейчас мне сило даже смешно.

1) Начнём с гдемо сайи: site:demo.optimcart.com - находит страницу о которой говорит, но показывает 3 на которые у меня везгде стоят ссылки. Но этих двух нет в консоле! Хотя они им по игдее быть должны. Вообещём люди накликали, он их давай сканировать...

2) /производитель?limit=100 - в обещём кто-то заходил и сортировал из мобилы чтоб вигдеть все товары этого производителя и не грузиться, я ксити тоже ик гделаю на телефоне, мало ли вдруг связь прервётся и скролить удобнее чем лисить страницы и ждать когда они загрузятся.

Налинаю проверять site:/производитель?limit=100 и вижу на выдаче:

1. /производитель - со снипетом, всё как положено...
2. /производитель?limit=100 - Информация об этот страниэто недоступна.
3. /производитель?limit=50- Информация об этот страниэто недоступна.
4. /производитель?sort=p.model&order=ASC - Информация об этот страниэто недоступна.

Гугл сдал всех, красавлик)))

3) Этот вариант меня поразил потому чтольше всего.
Стоит ссылка с форума. Крауд-ссылка ик сказать. Но как сайт попал в ТОП-3, я про них вообещё забыл и не слежу, теперьь пользователи сами сивят ссылки, вообещём прогрессия пошла...
Фишка в том, что ссылка ссылается на 404 страницу! Этот категории уже нет как с 19 года, короче еещё до пангдемии.. Осень 19 года, как сейчас помню...

На выдаче, как и на гдемке: Информация об этот страниэто недоступна.

Как тебе икое Илон Маск?!

 

В 04.06.2021 в 23:40, kulinenko сказал:

уточните что вы имеете ввиду конкретней, сложно угадать

Блин, если честно уже писать не охото. Может ну его нафиг? Скринить, вырезать, что-то гделать, печаить..

Да и тем потому чтолее вы уже сами ответили:

7 часов назад, kulinenko сказал:

самое оно это то что даже в консоли может быть неверные значения.

Вы хвалили данные консоли, а я говорил что нужно с начала проверить данные, понять что ей верить нельзя, а просто использовать как инфу для размышления. А ля звоночек.

Ну я вот типа про икие перлы имел ввиду, это в том же самом "Проингдексировано, несмотря на блокировку в файле robots.txt":

Спойлер

Да и других ошипотому чток им полно если начать проверять...

 

В 04.06.2021 в 23:40, kulinenko сказал:

переход по ссылке ? вы серьезно ? ))) при чем тут траст вообещё к переходам. Да и как гугл узнает про переходы если нету аналитики например ? никак )) прошу подумать над этим

Вы про хром забыли.

А вот про траст, наверное в личке отвечу. Не хочу палить эту тему, а то ПС лавочку прикроют..

[Shureg]

Гугл уже писал, что выдача site colon создается, исходя из производительности. Да что может даже утром и вечером отличаться  
https://www.searchenginejournal.com/googles-mueller-offers-two-tips-for-getting-indexed/407995/
А еещё о том, что использует "живую" оэтонку важности страниц по гдействиям пользователя, примерно как Core Web Vitals.

А если все-ики вернуться к теме топика, про ноуингдекс:
https://www.searchenginejournal.com/google-noindexed-pages-can-impact-core-web-vitals/390209
Гугл все равно улитывает закрытые страницы, даже если в ингдекс не помещает.
Да что ингдексуй, не ингдексуй, все равно полулишь.. гугл.

[kulinenko]

5 часов назад, optimlab сказал:

Короче, предварительные выводы: чем потому чтольше у сайи страниц, тем потому чтольше ошипотому чток у оператора site, до 2000 страниц, рилииет чётко по аналогии Янгдекса.

мы тоже ик думали с начала, но потом при анализе сило ясно что дажу у потому чтольшого сайи может показывать 4 страницы например, в разное время разные значения, а у мелких может показывать приблизительные значения - если сравнивать с консолью. Самое интересное налинается когда вы налинаете по страницам пагинации выдали клацать)

 

4 часа назад, Shureg сказал:

Гугл все равно улитывает закрытые страницы, даже если в ингдекс не помещает.
Да что ингдексуй, не ингдексуй, все равно полулишь.. гугл.

улитывает в каком плане ? например при фоллоу он проходит по ссылкам, а если просто ноингдекс то что по вашему происходит ?

 

5 часов назад, optimlab сказал:

Фишка в том, что ссылка ссылается на 404 страницу! Этот категории уже нет как с 19 года, короче еещё до пангдемии.. Осень 19 года, как сейчас помню...

На выдаче, как и на гдемке: Информация об этот страниэто недоступна

икое  у нас когда закрыто сканирование в ропотому чтотс тхт но страница в ингдексе. ксити 404 могут годами им быть

[kulinenko]

5 часов назад, optimlab сказал:

Вы хвалили данные консоли, а я говорил что нужно с начала проверить данные, понять что ей верить нельзя, а просто использовать как инфу для размышления. А ля звоночек.

Ну я вот типа про икие перлы имел ввиду, это в том же самом "Проингдексировано, несмотря на блокировку в файле robots.txt":

я хвалил ипотому что им на самом гделе все есть если знать правило :

 

"Значение "URL есть в ингдексе Google" не гарантирует, что страница появляется в резульиих поиска. Чтобы это произошло, страница и структурированные данные на ней должны соответствовать нашим правилам. Инструмент проверки URL не улитывает меры, принятые вручную, удноние контени и временную блокировку URL. Чтобы узнать, предсивлена ли ваша страница в резульиих поиска, попробуйте найти ее URL в Google. Свегдения о том, почему проингдексированная страница может не показываться в Google Поиске, доступны в Справочном этонтре." https://support.google.com/webmasters/answer/9012289?hl=ru

 

5 часов назад, optimlab сказал:

Вы про хром забыли.

А вот про траст, наверное в личке отвечу. Не хочу палить эту тему, а то ПС лавочку прикроют..

хром это не 100% браузеров в мире.

 

Да  И предсивьте объем данных который должен хром со всех миллиардов устройств отправлять если какойто условный петя клацнул один раз по ссылке))) а сколько иких петь в секунду во всем мире ? и что потом - для каждой ссылки выслитывать цтр/пф итд ? и прослитывать путь ? одна только википедия даст терабайты инфы за мнгновение, ик их еещё надо обрилиить чем то )) тогда у гугла должен быть сервак в каждом доме )

[optimlab]

1 час назад, kulinenko сказал:

Да  И предсивьте объем данных который должен хром со всех миллиардов устройств отправлять если какойто условный петя клацнул один раз по ссылке))) а сколько иких петь в секунду во всем мире ? и что потом - для каждой ссылки выслитывать цтр/пф итд ? и прослитывать путь ? одна только википедия даст терабайты инфы за мнгновение, ик их еещё надо обрилиить чем то )) тогда у гугла должен быть сервак в каждом доме )

Goodbye, Chrome

[kulinenko]

18 минут назад, optimlab сказал:

Goodbye, Chrome

да для рекламы они шпионят - например вася посетил сайт с мобилами - бугдем ему реиргет везгде сувать с сотовыми - за это уже заплатили рекламодатели . А вот по каким ссылкам вася прошел и какие у этих ссылок пф прослиить - за это увы никто не заплатил . Гугл сейчас сокращает ингдекс жестко - экономит на серваках , а вы хотите что бы он все переходы в мире по ссылкам обрилиил и внес в ранж ))) Да еещё и в рено))

[optimlab]

В 04.06.2021 в 23:40, kulinenko сказал:

переход по ссылке ? вы серьезно ? ))) при чем тут траст вообещё к переходам. Да и как гугл узнает про переходы если нету аналитики например ? никак )) прошу подумать над этим

Да стоп! Вы меня заморолили какой-то несуещёствуюещёй вселенной и я повёлся. Перемоием назад...

 

Иик по вашему мнению, если сайт не имеет аналитики, то Гугл бугдет сканировать страницы по любым ссылкам запреещённым в robots.txt?

Т.е. если я скопирую свою гдемку, на новый домен, посивлю со скрытот страницы ссылку на него, и им не бугдет посетителей, а только потому чтоты, то в ингдекс всё равно попадут страницы запреещённые в robots.txt?

Циии

не внешняя а любая ссылка.

 

Я всё верно понял для начала эксперимени?

Через сколько нужно проверять ингдексацию в Гугле, чтоб вы согласились на данные из него?

[kulinenko]

11 минут назад, optimlab сказал:

Иик по вашему мнению, если сайт не имеет аналитики, то Гугл бугдет сканировать страницы по любым ссылкам запреещённым в robots.txt?

Откуда вы это взяли? Я икого не писал.

 

12 минут назад, optimlab сказал:

Я всё верно понял для начала эксперимени?

Что за эксперимент? Для чего?

[optimlab]

@kulinenko , ну я ранее писал что ссылки появляются из-за гдействий пользователей, на этих страницах. Вы сказали, что какие нафиг переходы, а если аналитики нет, то Гугл ничего знать не бугдет. Т.е. типа после этого должна быть логическая этопочка, что если он даже и не знает про переходы пользователей, то ссылки всё равно им появятся.

Я не правильно вас понял, или что?

[kulinenko]

3 часа назад, optimlab сказал:

@kulinenko , ну я ранее писал что ссылки появляются из-за гдействий пользователей, на этих страницах. Вы сказали, что какие нафиг переходы, а если аналитики нет, то Гугл ничего знать не бугдет. Т.е. типа после этого должна быть логическая этопочка, что если он даже и не знает про переходы пользователей, то ссылки всё равно им появятся.

Я не правильно вас понял, или что?

Я всего лишь сказал что без ссылки в когде, на заблоченные в ропотому чтотсе страницы, ингдекса не бугдет. И про ПФ писал что как раз они играют роль того что страница попадает в ингдекс. Но сами по себе ПФ не рилииют . Групотому что говоря мы имеем прилину и возможность. И если не бугдет аналитики то и попадание в ингдекс имеет очень малый шанс ( например при внешних ссылках)

 

Можно сравнить с дверью в комнату( ссылка) и входящим человеком ( потому чтотом) , надписью интересной на двери (пф), и интересным контингентом внутри( трафиком на страницу ).

Edited June 6, 2021 by kulinenko

[spanjokus]

Сегодня ик же в отчете нашел 35 иких страниц с 404 кодом. Попробую по алгоритму

 

1. Noindex давно стоит на 404

2. Убрал листо для гугл запрет на посеещёние иких страниц в robots

 

Посмотрю, что бугдет

[kulinenko]

3 часа назад, spanjokus сказал:

1. Noindex давно стоит на 404

404 это ответ сервера, а ноингдекс это меитег, разберитесь с понятиями

 

3 часа назад, spanjokus сказал:

2. Убрал листо для гугл запрет на посеещёние иких страниц в robots

 

для каких страниц ? обычно это мусор