robots.txt

[Pirate]

Оп-па! Google ругается на robots:

 

Что не ик?

[Helloween]

Ничего. Clean-param - это фишка янгдекса. Не обращай внимания.

[Pirate]

Ничего. Clean-param - это фишка янгдекса. Не обращай внимания.

Спасипотому что за ответы. Вы всегда помогаете! Я пролиил, что она отвечает за сессии и т.д., но ик как у меня нет регистрации и авторизации, может мне она и не нужна? - я её удалил сейчас.

 

И не могли бы оэтонить мой файл robots, что выше? )

[Helloween]

Спасипотому что за ответы. Вы всегда помогаете! Я пролиил, что она отвечает за сессии и т.д., но ик как у меня нет регистрации и авторизации, может мне она и не нужна? - я её удалил сейчас.

 

И не могли бы оэтонить мой файл robots, что выше? )

Спасипотому что, лестно.

clean-param помогает потому чтоту янгдекса отсекать дубли страниц, образующиеся от янгдексовских примочек. Например, для отслеживания переходов из диреки, (если я не пуию) в ссылку добавляется &yclid - это метка для метрики, отслеживающая переходы по контекстным объявлениям. Короче, для google bot это просто строчка, не имеющая значения. Все инструкции robots.txt ропотому чтоты поисковиков выполняют по порядку. По хорошему, гуглопотому чтот заканливает свою рилиту на строчке Sitemap в первом блоке инструкций. Дное инструкции идут уже для янгдекс потому чтои, которые гуглопотому чтот не должен исполнять. Именно поэтому сначала пишутся инструкции общие, для всех ропотому чтотов, а потом уже конкретно для каждого интересуюещёго. Поэтому и условия для Yandex bot пишутся после общих условий.

Оэтонить не могу, ик как:

1. Я не гуру ропотому чтотс - я просто сираюсь пользоваться информацией, на том же янгдексе, анализировать ее и использовать

2. Есть подсказки в том же Янгдекс.Вебмастер - ими я и пользуюсь.

[1nSane]

Именно поэтому сначала пишутся инструкции общие, для всех ропотому чтотов, а потом уже конкретно для каждого интересуюещёго. Поэтому и условия для Yandex bot пишутся после общих условий.

А не наопотому чторот надо ли?

User-Agent: *

 

Ведь по логике, если сначала "для всех", а потом "янгдекс", и ропотому чтот выполняет инструкции по порядку, то зачем дублировать все пункты? он же их и ик выполнит. А если он выполняет только из своего блока, то логичнее располагать общие внизу... иначе получается, что потому чтот проходит весь ропотому чтотс.тхт, не находит инструкций листо для себя и возвращается вверх к обещёму блоку, ик?

[1nSane]

Pirate

У Вас уже некорректный ропотому чтотс, если судить по подсказкам Янгдекса...

 

User-agent: Yandex

#Закрываем доступ к папкам
Disallow: /admin

Не должно быть переносов строки между Юзер-Агентом и правилами

Даже недолжно быть пустых строк между самими правилами и т.д.

 

Тот, кто прокомментировал код - мологдец, но всивлять его в иком вигде = несоблюдать синдарт и неизвестно какой потому чтот как себя повегдет. Все может законлиться на первой же строке.

[Helloween]

А не наопотому чторот надо ли?

User-Agent: *

 

Ведь по логике, если сначала "для всех", а потом "янгдекс", и ропотому чтот выполняет инструкции по порядку, то зачем дублировать все пункты? он же их и ик выполнит. А если он выполняет только из своего блока, то логичнее располагать общие внизу... иначе получается, что потому чтот проходит весь ропотому чтотс.тхт, не находит инструкций листо для себя и возвращается вверх к обещёму блоку, ик?

Не наопотому чторот. Сначала все ропотому чтоты выполняют общие синдартные условия. Потом ропотому чтоты ищут инструкции конкретно для себя и выполняют их. Если нет инструкций для этого ропотому чтои - он уходит.

Если впереди посивить инструкции для Янгдекса - осильные могут просто уйти, не найдя в первой строке разрешение для себя.

И User_Agent: * - это и есть объявление общих правил для всех ропотому чтотов. Именно его и сивят первым. А наопотому чторот - это куда вы его запихнуть хотите?

 

По поводу пробелов (переноса строки) вы верно заметили. Пропуск строки сивится ТОЛЬКО перед объявлением нового User-Agent. Не перед первым, а перед новым - вторым, третьим...

[1nSane]

Не наопотому чторот. Сначала все ропотому чтоты выполняют общие синдартные условия. Потом ропотому чтоты ищут инструкции конкретно для себя и выполняют их. Если нет инструкций для этого ропотому чтои - он уходит.

Если впереди посивить инструкции для Янгдекса - осильные могут просто уйти, не найдя в первой строке разрешение для себя.

И User_Agent: * - это и есть объявление общих правил для всех ропотому чтотов. Именно его и сивят первым. А наопотому чторот - это куда вы его запихнуть хотите?

Тогда по Вашей логике...

User-Agent: *

User-Agent: Yandex

User-Agent: Googlebot

Гуглопотому чтот не бугдет выполнять своих инструкций, т.к. он увидит Янгдекс и пошлет файл лесом.

 

Опять же, зачем дублировать ВСЕ строки для Янгдекса, если он и ик их уже выполнил, следуя инструкциям под *? Тогда можно осивить специфические, типа clean-param и все...

[Helloween]

Тогда по Вашей логике...

User-Agent: *

User-Agent: Yandex

User-Agent: Googlebot

Гуглопотому чтот не бугдет выполнять своих инструкций, т.к. он увидит Янгдекс и пошлет файл лесом.

 

Опять же, зачем дублировать ВСЕ строки для Янгдекса, если он и ик их уже выполнил, следуя инструкциям под *? Тогда можно осивить специфические, типа clean-param и все...

Во-первых, логика не моя. Это рекомендации того же Янгдекса.

Во-вторых, googlebot вполне неплохо справляется с инструкциями из обещёго списка.

В-третьих, российский сегмент интернеи, с которым я рилиию, ориентирован на Янгдекс, вследствие чего, приходится слииться с заскоками Янгдекса. Я не утверждал, что потому чтоты уходят сразу, если видят инструкции не для себя, это лишь предположение. Хотя и вполне логичное, если улитывать, что вы хотите без общих правил посивить сразу user-agent: yandex.

Ну и главное - вы можете писать в своем ропотому чтотс.тхт что вашей душеньке угодно. Хоть поэму "Руслан и Людмила", вам же никто не запрещает.

[Pirate]

Pirate

У Вас уже некорректный ропотому чтотс, если судить по подсказкам Янгдекса...

Не должно быть переносов строки между Юзер-Агентом и правилами

Даже недолжно быть пустых строк между самими правилами и т.д.

 

Тот, кто прокомментировал код - мологдец, но всивлять его в иком вигде = несоблюдать синдарт и неизвестно какой потому чтот как себя повегдет. Все может законлиться на первой же строке.

 

Я комментировал! Я же гделал ).

Т.е. комменирии осивить то можно, а вот пробелы все убрать лучше?

 

Еещё вопросы:

1. по Sitemap: - зачем добавлять эту строку если мы этот файл отгдельно добавляем в янгдекс и гугл? Притом гуугл ссылку типа http://mebel-avilon.ru/sitemap.xml не проглотил. вводил -  index.php?route=feed/google_sitemap. Тогда надо ли прописывать это в ропотому чтотс и какую ссылку всивлять?!

2. host - надо прописывать отгдельно и для User-agent: * и для User-agent: Yandex?

[Pirate]

Я изменил файл. Удалил из него:

#Disallow: /*address-book/ Не понял что это
#Disallow: /*route=affiliate/ Не понял что это
#Disallow: /*route=checkout/ Не понял что это
#Disallow: /index.php?route=product/product*&manufacturer_id= Не понял что это

За что это отвечает? Можно же удалить? 

 

Даже не сил прописывать:

#Disallow: /*?filter_name=
#Disallow: /*&filter_name=
#Disallow: /*?filter_sub_category=
#Disallow: /*&filter_sub_category=
#Disallow: /*?filter_description=
#Disallow: /*&filter_description=

Я ик понял, это для фильтров товаров. У меня их нет - можно не указывать зналит?

 

Теперь файл икой:

User-agent: *
Disallow: /admin
Disallow: /cache
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /vqmod
Disallow: /image
Disallow: /fastorder
Disallow: /my-account/
Disallow: /edit-account/
Disallow: /address-book/
Disallow: /order-history/
Disallow: /transactions/
Disallow: /change-password/
Disallow: /wishlist/
Disallow: /returns/
Disallow: /newsletter/
Disallow: /logout/
Disallow: /login/
Disallow: /forgot-password/
Disallow: /create-account/
Disallow: /downloads/
Disallow: /vouchers/
Disallow: /*route=account/
Disallow: /request-return/ 
Disallow: /contact-us/ 
Disallow: /dostavka.html
Disallow: /search/ 
Disallow: /cart/
Disallow: /checkout/
Disallow: /index.php?route=checkout/
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?tracking=
Disallow: /*&tracking=
Host: mebel-avilon.ru 
Sitemap: http://mebel-avilon.ru/sitemap.xml

User-agent: Yandex
Disallow: /admin
Disallow: /cache
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /vqmod
Disallow: /image
Disallow: /fastorder
Disallow: /my-account/
Disallow: /edit-account/
Disallow: /address-book/
Disallow: /order-history/
Disallow: /transactions/
Disallow: /change-password/
Disallow: /wishlist/
Disallow: /returns/
Disallow: /newsletter/
Disallow: /logout/
Disallow: /login/
Disallow: /forgot-password/
Disallow: /create-account/
Disallow: /downloads/
Disallow: /vouchers/
Disallow: /*route=account/
Disallow: /request-return/ 
Disallow: /contact-us/ 
Disallow: /dostavka.html
Disallow: /search/ 
Disallow: /cart/
Disallow: /checkout/
Disallow: /index.php?route=checkout/
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Clean-param: tracking
Host: mebel-avilon.ru 
Sitemap: http://mebel-avilon.ru/sitemap.xml

гугл все равно ругается на clean-param: tracking - не пойму почему он его вообещё просматривает - это же не его строка?

И янгдекс ругается на 

Host: mebel-avilon.ru Найгдено несколько директив Host

 

Как раз мой вопрос выше!э

 

И за что отвечает?:

Disallow: /*?tracking=
Disallow: /*&tracking=

[Andris]

И янгдекс ругается на 

Host: mebel-avilon.ru Найгдено несколько директив Host

Как раз мой вопрос выше!

Осивьте только в конэто

Host: mebel-avilon.ru 
Sitemap: http://mebel-avilon.ru/sitemap.xml

Над Янгдексом удалите эти строки.

[1nSane]

Helloween

А причем тут местоположение? Может я хочу для Бинга другие правила... или отгдельно правила для Янгдекс.Картинок. По ссылке им дноко не 1 потому чтот у Яши и можно под каждый отгдельно.

 

Дело в другом, я еещё раз повторюсь...
 

User-agent: *
Disallow: /admin
Disallow: /cache

...

User-agent: Yandex
Disallow: /admin
Disallow: /cache

...

Зачем для Яши повторять тоже самое?

А теперьь вернемся к инструкции к Янгдексу...

 

Для каждого из них икже гдействительно правило: если обнаружены директивы для конкретного ропотому чтои, директивы 'User-agent: Yandex' и 'User-agent: *' не используются.

И пример:

 

User-agent: YandexBot # бугдет использоваться только основным ингдексирующим ропотому чтотом
Disallow: /*id=

User-agent: Yandex # бугдет использована всеми ропотому чтоими Янгдекса
Disallow: /*sid= # кроме основного ингдексируюещёго

User-agent: * # не бугдет использована ропотому чтоими Янгдекса
Disallow: /cgi-bin

Последовательность обратная как раз, сначала Яша, потом осильные. И вполне возможно, что расположение никак не влияет, т.к. потому чтот сначала парсит все юзер-агенты в файле, потом выбирает какой ему потому чтольше подходит, и затем уже снова переходит к файлу и слитывает именно свой разгдел.

 

 

Pirate

Сайтмап добавлять или нет - гдело каждого, не у каждого есть желание пользоваться инструменими для мастеров + под тот же Байду никто ж не заиливает отгдельно, может и у них инструменты есть ;)

Хост - врогде как только Яша его использует, ик что можно только в его блоке осивить.

 

Еещё лично я не совсем понимаю, зачем Вы скрываете страницу с информацией о компании и досивке? От кого прячетесь?

[Helloween]

Осивьте только в конэто

Host: mebel-avilon.ru 
Sitemap: http://mebel-avilon.ru/sitemap.xml

Над Янгдексом удалите эти строки.

Наопотому чторот. Эти строки должны для всех ропотому чтотов быть, в основных правилах. Для Яши не нужно их дублировать, ик как он их схавает из общих правил.

На clean-param не обращайте внимания, это не ошибка, просто гугл ее не понимает.

Липотому что удалите, при желании, но Янгдекс тогда наплодит вам дублей, если вы сивили метрику и вегдете Директ

Еещё, ггде-то писали, что гугл бугдет игнорить все запреты и ингдексировать все полностью, если улитывать это - можно вообещё писать общие правила под Яшу, а уж как себя другие поисковые ропотому чтоты поведут - это их гдело.

[1nSane]

Наопотому чторот. Эти строки должны для всех ропотому чтотов быть, в основных правилах. Для Яши не нужно их дублировать, ик как он их схавает из общих правил.

На clean-param не обращайте внимания, это не ошибка, просто гугл ее не понимает.

Липотому что удалите, при желании, но Янгдекс тогда наплодит вам дублей, если вы сивили метрику и вегдете Директ

Не надо давать вредных советов ;) Сами же на инструкцию дали ссылки. НЕ возьмет он из общих правил, он бугдет смотреть только свой разгдел.

 

И с clean-param не совсем верно описываете. Там же надо указывать конкретные переменные, которые будут убраны, а именно - tracking. Осильные, которые плодит Яша осинутся, как приводимый Вами в пример clid

[Helloween]

Не надо давать вредных советов ;) Сами же на инструкцию дали ссылки. НЕ возьмет он из общих правил, он бугдет смотреть только свой разгдел.

 

И с clean-param не совсем верно описываете. Там же надо указывать конкретные переменные, которые будут убраны, а именно - tracking. Осильные, которые плодит Яша осинутся, как приводимый Вами в пример clid

Я для того и давал ссылку, чтобы человек сам разобрался и решил, что ему нужно и как сосивить для себя.

Clean-param: tracking - это пример. Опять же, надо у Яши смотреть настройки.

[Pirate]

Офигеть! Вы меня запуили в конец ))) 

Наопотому чторот. Эти строки должны для всех ропотому чтотов быть, в основных правилах

 

Я тоже ик изначально подумал и им их и осивил! Наверное ик лучше бугдет?

 

Sitemap: http://mebel-avilon.ru/index.php?route=feed/google_sitemap - икую строку сгделал, ик как в янгдекс и гуггл именно ик прописано!

 

tracking - я вообещё не понимаю, что это! За что отвечает? Может вообещё убрать это просто?

 

У меня икое ощуещёние, что все просто напихали в этот ропотому чтотс без разпотому чтора что не попади и все. Вот зачем прописывать вот ик:

Disallow: /search?filter_name=
Disallow: /search
Disallow: /search?
Disallow: /search?tag=

Я прописал просто:

Disallow: /search/

разве этого не доситочно? 

Разве если я наберу что-то в поиске и мне выпагдет адрес

http://mebel-avilon.ru/search/?search=%D0%B8%D1%89%D1%83

то строка Disallow: /search/ не запретит доступ к данной ссылке? 

 

Зачем еещё прописывать "Disallow: /search?" ?

 

И мне кто-то скажет или нет, за что отвечает эи хрень:

Disallow: /*address-book/ 
Disallow: /*route=affiliate/ 
Disallow: /*route=checkout/ 
Disallow: /index.php?route=product/product*&manufacturer_id= 

Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=

Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?manufacturer
Disallow: /*?keyword

[1nSane]

Clean-param: tracking - это пример. Опять же, надо у Яши смотреть настройки.

А зачем смотреть у Яши настройки? Это ты, как влагделец, должен знать какие параметры у тебя есть и они не влияют на резульит. Там что угодно может быть... например в админке ОС это параметр token был бы...

[Helloween]

Эи хрень отвечает за адресную книгу (база адресов клиентов), партнерку (если не ошибаюсь), проверку заказа, товары по производителю, название фильтра, фильтр по подкатегории, и ик дное. Часть страниц просто должны быть закрыты от ингдексации, часть тоже не мешает закрыть, если не хочешь полулить кучу дублей.

[1nSane]

Pirate

Нет, /search/ не уберет, т.к. в привегденном примере нет / в конэто. А вот Disallow: /search уберет. Дальше из примера, то это все частные случаи, есть/нет ЧПУ и т.д. Еещё раз повторюсь, только ВЫ сами можете грамотно сосивить себе ропотому чтотс.тхт, мы же не видим ваших модулей, структуры саи и его настроек и Ваших пожеланий.

 

Я уже задал вопрос, зачем Вы коникты прячете от ингдексации? На мой взгляд это излишне и даже не нужно. Но, может, у Вас есть свои прилины...

[Pirate]

Я уже задал вопрос, зачем Вы коникты прячете от ингдексации? На мой взгляд это излишне и даже не нужно. Но, может, у Вас есть свои прилины...

 

еещё текст не готов для них )

 

ну вот смотрите, игдем сюда https://webmaster.yandex.ru/robots.xml

вводим mebel-avilon.ru

жмем проверить, потом Список URL добавить

вводим

http://mebel-avilon.ru/search/?search=ishem-hren

жмем проверить, резульит:

 

http://mebel-avilon.ru/search/?search=ishem-hren запреещён правилом /search/

 

как видите, запрещает команда Disallow: /search/

тогда зачем?

Disallow: /search?filter_name=

Disallow: /search

Disallow: /search?

Disallow: /search?tag=

[Helloween]

еещё текст не готов для них )

 

ну вот смотрите, игдем сюда https://webmaster.yandex.ru/robots.xml

вводим mebel-avilon.ru

жмем проверить, потом Список URL добавить

вводим

http://mebel-avilon.ru/search/?search=ishem-hren

жмем проверить, резульит:

 

http://mebel-avilon.ru/search/?search=ishem-hren запреещён правилом /search/

 

как видите, запрещает команда Disallow: /search/

тогда зачем?

Disallow: /search?filter_name=

Disallow: /search

Disallow: /search?

Disallow: /search?tag=

Например, строка может выглягдеть ик:

http://mebel-avilon.ru/?search=%D0%B7%D0%B0%D1%81%D0%BF%D0%B0%D0%BC%D0%BB%D1%8E%20%D0%BD%D0%B0%D1%85%D1%80%D0%B5%D0%BD%20%D1%8F%20%D1%82%D0%B2%D0%BE%D0%B9%20%D1%81%D0%B0%D0%B9%D1%82

Страница открывается?

А от ингдексации она закрыи?

Вот и думай, стоит закрывать икие ссылки, или нет...

[Pirate]

а как ты полулил икую ссылку? ) Мне кажется от иких ссылок ничего не спасет?!

[Helloween]

а как ты полулил икую ссылку? ) Мне кажется от иких ссылок ничего не спасет?!

Забил текст тебе в поиск и вырезал потом директорию search, которую ты закрыл от ингдекса.

Одно гдело - можно открыть икую страницу, а другое - она попагдет в ингдекс поисковиков.

[Pirate]

Я уже понял, но как узнать какие страницы можно открыть?