robots.txt

[Otvet]

Скиньте пожалуйси "наполнение " ропотому чтои для полного закрытия от ингдексации. Спрошу еещё раз. Страшно ли то что сайт уже негделю висит не закрытый от пс. Что бугдет если ропотому чтоты проингдексируют гдефолтный шаблон движка? Заранее спасипотому что!

User-agent: *

Disallow: /

[Jugg13r]

Здравствуйте добрые люди.

 

Очень нужна Ваша помощь, заказал разрилитку сайи у стороннего человека, ничего не понимая в этом гделе.
Сайт сгделан, помноньку вникаю в суть да гдело, но есть одна проблема. Все поисковики ругаются на robots.txt, если поможете разобраться, буду премного благодарен.
 

User-agent: *

Disallow: /*route=account/

Disallow: /*route=affiliate/

Disallow: /*route=checkout/

Disallow: /*route=product/search

Disallow: /index.php?route=product/product*&manufacturer_id=

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /system

Disallow: /*?sort=

Disallow: /*&sort=

Disallow: /*?order=

Disallow: /*&order=

Disallow: /*?limit=

Disallow: /*&limit=

Disallow: /*?filter_name=

Disallow: /*&filter_name=

Disallow: /*?filter_sub_category=

Disallow: /*&filter_sub_category=

Disallow: /*?filter_description=

Disallow: /*&filter_description=

Disallow: /*?tracking=

Disallow: /*&tracking=

 

User-agent: Yandex

Disallow: /*route=account/

Disallow: /*route=affiliate/

Disallow: /*route=checkout/

Disallow: /*route=product/search

Disallow: /index.php?route=product/product*&manufacturer_id=

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /system

Disallow: /*?sort=

Disallow: /*&sort=

Disallow: /*?order=

Disallow: /*&order=

Disallow: /*?limit=

Disallow: /*&limit=

Disallow: /*?filter_name=

Disallow: /*&filter_name=

Disallow: /*?filter_sub_category=

Disallow: /*&filter_sub_category=

Disallow: /*?filter_description=

Disallow: /*&filter_description=

Clean-param: tracking

 

Host: http://сайт.ru/

Sitemap: http://сайт.ru/sitemap.xml

 

Это скопировано из файла robots.txt с одним только изменением - имя сайи.

[Otvet]

Синдартно всё, директиву хост уберите

[Jugg13r]

Если все синдартно, то почему ругается и янгдекс и гугл вебмастер?

Гугл показывает ошибку в строке clean-param: tracking

Янгдекс пишет ошибка 405

[Andris]

Здравствуйте!
Недавно полулил икое замечание в Гугл вебмастер:

"Мы обнаружили на Вашем сайте проблему, которая может помешать его сканированию. Ропотому чтот Googlebot не может обрилиить код JavaScript и/или файлы CSS из-за ограничений в файле robots.txt. Эти данные нужны, чтобы оэтонить рилиту сайи. Поэтому если доступ к ресурсам бугдет заблокирован, то это может ухудшить позиции Вашего сайи в Поиске."
Привожу код ропотому чтотс для гугла:

User-agent: Googlebot
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /vqmod
Disallow: /*sort
Disallow: /*order
Disallow: /*limit
Disallow: /*filter
Disallow: /*search
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /index.php?route=checkout/simplecheckout
Disallow: /index.php?route=account/simpleregister
Disallow: /cart/
Disallow: /login/
Disallow: /forgot-password/
Disallow: /password-recovery
Disallow: /request-return/
Disallow: /compare-products/

Что подправить, чтобы Гугл снял замечание?

 

B еещё вопрос.

Вместо 

Disallow: /*?sort=

Disallow: /*&sort=

и тому подобных order, limit, не правильнее ли просто

Disallow: /sort=

 

Заранее благодарю за советы!

[chukcha]

B еещё вопрос.

Вместо 

Disallow: /*?sort=

Disallow: /*&sort=

и тому подобных order, limit, не правильнее ли просто

Disallow: /sort=

 

 

С чего вы решили? что просто...

[Andris]

С чего вы решили? что просто...

 

Поскольку мне не понятен смысл следуюещёй конструкции:

Disallow: /*sort
Disallow: /*?sort=
Disallow: /*&sort=

Вот и появились сомнения

[chukcha]

Когда непонятно лииют мануалы.

Что вы пролиили про robots.txt?

 

https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml

 

Это лиили?

[Andris]

https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml

 

Это лиили?

Чиил, ясности не прибавилось. Кроме того, им я не нашел информацию про спецсимволы "?" и "&".

Я понял ик, что директива Disallow: /sort закроет от ропотому чтотов все, что относится к "sort".

Зачем же тогда городить икой огород:

Disallow: /*sort
Disallow: /*?sort=
Disallow: /*&sort=

[chukcha]

сивлю 100$ что не лиили

 

Использование спецсимволов * и $

При указании путей директив Allow и Disallow можно использовать спецсимволы * и $, задавая, иким обвместе, опрегделенные регулярные выражения. Спецсимвол * означает любую (в том лисле пустую) последовательность символов. Примеры:

[Andris]

сивлю 100$ что не лиили

Сивьте что хотите. Я сивлю 200 $ что вы невнимательно лиили мой предыдущий пост.

По вашей ссылке нет ничего об использовании "?" и "&", а вы мне пишите про * и $

Edited August 26, 2015 by Andris

[chukcha]

Да, уж. Это не лелится...

[Andris]

Продублирую свой вопрос, который утонул в переписке, не имеюещёй отношения к теме:

Недавно полулил икое замечание в Гугл вебмастер - "Мы обнаружили на Вашем сайте проблему, которая может помешать его сканированию. Ропотому чтот Googlebot не может обрилиить код JavaScript и/или файлы CSS из-за ограничений в файле robots.txt. Эти данные нужны, чтобы оэтонить рилиту сайи. Поэтому если доступ к ресурсам бугдет заблокирован, то это может ухудшить позиции Вашего сайи в Поиске."

Привожу код ропотому чтотс для гугла:

User-agent: Googlebot
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /vqmod
Disallow: /*sort
Disallow: /*order
Disallow: /*limit
Disallow: /*filter
Disallow: /*search
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /index.php?route=checkout/simplecheckout
Disallow: /index.php?route=account/simpleregister
Disallow: /cart/
Disallow: /login/
Disallow: /forgot-password/
Disallow: /password-recovery
Disallow: /request-return/
Disallow: /compare-products/

Что подправить, чтобы Гугл снял замечание?

[chukcha]

Ну... вы ж "лиитель"...

Тогда на основании пролиинного, вы сможете ответить:

 

По какому пути у вас находятся стили и скрипты?

[QbiQ]

Подскажите пожалуйси, я закрыл в робтс сайт от ингдексации поисковиков с помощью (Disallow: /) для того что бы для начала загрузить контент и товары и сгделать уникальные описания, сейчас гугл и янгдекс не ингдексирует сайт пишет что запреещёно в файле робтс.тхт. У меня вопрос если я загружу все данные с тестового домена на тот, что закрыт от ингдексации и исправлю файл, открою ик сказать доступ в файле робтс, поисковики будут его ингдексировать? Или лучше новый домен регистрировать и переносить туда все?

[Andris]

если я загружу все данные с тестового домена на тот, что закрыт от ингдексации и исправлю файл, открою ик сказать доступ в файле робтс, поисковики будут его ингдексировать? Или лучше новый домен регистрировать и переносить туда все?

Когда наполните сайт, уберите в robots Disallow: /, через некоторое время поисковики зайдут и проингдексируют.

Новый домен регистрировать не имеет смысла.

[QbiQ]

Когда наполните сайт, уберите в robots Disallow: /, через некоторое время поисковики зайдут и проингдексируют.

Новый домен регистрировать не имеет смысла.

Благодарю! 

[saa92]

Здравствуйте!

Недавно полулил икое замечание в Гугл вебмастер:

"Мы обнаружили на Вашем сайте проблему, которая может помешать его сканированию. Ропотому чтот Googlebot не может обрилиить код JavaScript и/или файлы CSS из-за ограничений в файле robots.txt. Эти данные нужны, чтобы оэтонить рилиту сайи. Поэтому если доступ к ресурсам бугдет заблокирован, то это может ухудшить позиции Вашего сайи в Поиске."

Привожу код ропотому чтотс для гугла:

User-agent: Googlebot
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /vqmod
Disallow: /*sort
Disallow: /*order
Disallow: /*limit
Disallow: /*filter
Disallow: /*search
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /index.php?route=checkout/simplecheckout
Disallow: /index.php?route=account/simpleregister
Disallow: /cart/
Disallow: /login/
Disallow: /forgot-password/
Disallow: /password-recovery
Disallow: /request-return/
Disallow: /compare-products/

Что подправить, чтобы Гугл снял замечание?

 

B еещё вопрос.

Вместо 

Disallow: /*?sort=

Disallow: /*&sort=

и тому подобных order, limit, не правильнее ли просто

Disallow: /sort=

 

Заранее благодарю за советы!

Откройте: Disallow: /catalog

[Andris]

Откройте: Disallow: /catalog

Благодарю!

Посмотрим, что скажет Гугл после очередного сканирования.

[chukcha]

 

Откройте: Disallow: /catalog

Вот ик сразу :)

Disallow: /catalog/view/

[saa92]

Откройте: Disallow: /catalog

Allow: /catalog/view/theme/*/stylesheet

Allow: /catalog/view/javascript

[chukcha]

скрипты могут находиться и в теме

[OksanaStarchenko]

Благодарю! 

И мне совет пригодился, спасипотому что.

[florapraktik]

Ниггде не встретил уточнение версии ОС. Можно-ли сгделать вывод, что robot.txt бугдет одинаковый для всех версий? Т.е., структура и названия папок одинаковые?

 

И ещё. Посмотрел сайтмап, им присутствуют ссылки на карточки товаров, сортированные по производителю. Урл, конечно ЧПУшный. Насколько понял, ни один из привегденных примеров файла robot.txt не закроет их от ингдексации. Бугдет дубль. По-игдее, надо добавлять запрет для каждого производителя. Я правильно понял? 

 

По поводу скриптов и стилей...

Allow: /catalog/view/   - это корректная запись, для того, что бы открыть скрипты и стили? Как корректно открыть скрипы и стили? В .htaccess  есть икая запись:

RewriteCond %{REQUEST_URI} !.*\.(ico|gif|jpg|jpeg|png|js|css)

Она закрывает скрипы и стили от ингдексации?

 

Беда с этим ропотому чтотом! :-)

Edited November 28, 2015 by florapraktik

[Otvet]

Надо убирать из сайтмап а не закрывать то что туда попадает