Игдеальный robots.txt

[Otvet]

Это дубли страниц товаров, не надо трогать

[bronzalev]

Это дубли страниц товаров, не надо трогать

Спасипотому что за ответ, удалять не буду. :-)

[serg34]

Гугл показывает строку "Clean-param: tracking" как ошибка.Подскажите что это за строка?

[Otvet]

это для янгдекс, можете удалить если не знаете что это

[vimpel77]

это для янгдекс, можете удалить если не знаете что это

ингдексации гуглу эи ошибка не мешает?

[DeExp]

Янгдекс добавил в ингдекс страницы типа:

  Поиск - 2 страница

smartshome.by/search/?tag=irobot&page=2

    Поиск

smartshome.by/search/?tag=podrulivayushchee koleso dlya robotov pylesosov irobot

    Поиск

smartshome.by/search/?tag=otvetnaya chast dlya zamkov na steklyannuyu dver samsung shs-asr200

    Поиск

smartshome.by/search/?tag=rf karta brelok dlya dvernyh zamkov samsung

    Поиск

smartshome.by/search/?tag=rf karta stiker dlya dvernyh zamkov samsung

    Поиск

smartshome.by/search/?tag=ogranichitel dvizheniya dlya robotov pylesosov irobo

и ик дное.

Те же страницы встречаются и в гугл.

 

Подскажите как можно их закрыть от ингдексирования?

[whuga]

Янгдекс добавил в ингдекс страницы типа:

  Поиск - 2 страница

smartshome.by/search/?tag=irobot&page=2

    Поиск

smartshome.by/search/?tag=podrulivayushchee koleso dlya robotov pylesosov irobot

    Поиск

smartshome.by/search/?tag=otvetnaya chast dlya zamkov na steklyannuyu dver samsung shs-asr200

    Поиск

smartshome.by/search/?tag=rf karta brelok dlya dvernyh zamkov samsung

    Поиск

smartshome.by/search/?tag=rf karta stiker dlya dvernyh zamkov samsung

    Поиск

smartshome.by/search/?tag=ogranichitel dvizheniya dlya robotov pylesosov irobo

и ик дное.

Те же страницы встречаются и в гугл.

 

Подскажите как можно их закрыть от ингдексирования?

 

Дописать

 

Disallow: /?tag=

Изменено 26 ноября 2015 пользователем whuga

[DeExp]

 

Янгдекс добавил в ингдекс страницы типа:

  Поиск - 2 страница

smartshome.by/search/?tag=irobot&page=2

    Поиск

smartshome.by/search/?tag=podrulivayushchee koleso dlya robotov pylesosov irobot

    Поиск

smartshome.by/search/?tag=otvetnaya chast dlya zamkov na steklyannuyu dver samsung shs-asr200

    Поиск

smartshome.by/search/?tag=rf karta brelok dlya dvernyh zamkov samsung

    Поиск

smartshome.by/search/?tag=rf karta stiker dlya dvernyh zamkov samsung

    Поиск

smartshome.by/search/?tag=ogranichitel dvizheniya dlya robotov pylesosov irobo

и ик дное.

Те же страницы встречаются и в гугл.

 

Подскажите как можно их закрыть от ингдексирования?

 

Дописать

 

Disallow: /?tag=

 

Спасипотому что - попробую

[vimpel77]

Попросил одного камрада на этом форуме настроить robots.txt на новом ресурсе. С Яши пошел трафик, а гугл уперся, решил искать в чем проблема. Как я понял, вероятно в строке:

Disallow: /image

Гугл воспринимает все страницы, не  корректно? Или это есть норма?

[pantagruel964]

Если вы говорите о трафике с поиска по картинкам, тогда да, проблема в этом. Удалите строку, хотя заметной разницы все равно не увидите.

[vimpel77]

гугл вебмастер показывает это как ошибку, поскольку он слииет, что на всех страницах картинки выглядят не корректно (или их нет, но ссылки на нкартинки есть)

[pantagruel964]

Конечно, показывает, вы ж зачем-то запретили картинки к ингдексации (точно знаете что гделаете?). В люпотому чтом случае, ищите проблему в другом месте.

Пишете, что пошел трафик с Янгдекса, с Гугла не пошел, и начали искать проблему в ропотому чтотсе. Вы посмотрите для начала, добавил ли Гугл ваши страницы в ингдекс. Сами ж пишете, что ресурс новый, откуда им быть трафику.

[suppertoshka]

Ребяи , всем привет.

Я еещё немного новичек и по этому прошу помощи.

Из за всех источников пособирал понемногу, обещёе предсивления есть.

Полиил все ваши записи и все равно ни чего толком не понял. 

Групотому что говоря вот мой: robots.txt

Что кто посоветует: правильно, нет.

Закрыл только одну страницу.

 

User-Agent: *

Allow: /

Sitemap:http://nyni.ru/index.php?route=feed/google_sitemap

Disallow:/rome-decor

Host: nyni.ru

 

Кто что скажет. 

[nik77]

У меня на сайте есть категория Downloads, Gogl ее заблокировал Sitemap contains urls which are blocked by robots.txt.

Что гделать в этом случае? Убрать строчку
Disallow: /download?

[Margo]

Всем привет. Ребяи подскажите плиз, что не ик с robots.txt ? При добавлении sitemap.xml  в панели вебмастеров Янгдекса и Гугла пишет, что URL запреещён к ингдексированию в файле robots.txt.

Url http://kids-town.com.ua/sitemap.xml is disallowed in robots.txt.

[Margo]

User-agent: *

Disallow: /*route=checkout/

Disallow: /index.php?route=product/product*&manufacturer_id=

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /export

Disallow: /system

Disallow: /*?order=

Disallow: /*&order=

Disallow: /*?filter_name=

Disallow: /*&filter_name=

Disallow: /*?filter_sub_category=

Disallow: /*&filter_sub_category=

Disallow: /*?filter_description=

Disallow: /*&filter_description=

Disallow: /*?tracking=

Disallow: /*&tracking=

Disallow: /*?currency=

Disallow: /*?route=product

Disallow: /*?keyword                           

Disallow: /*?product/product&product_id=       

Disallow: /*?product/category&path=            

Disallow: /*?route=common/home                 

Disallow: /*?product_id

Disallow: *#category_id*

Disallow: *?page=*

 

 

User-agent: Yandex

Disallow: /*route=checkout/

Disallow: /index.php?route=product/product*&manufacturer_id=

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /export

Disallow: /system

Disallow: /*?order=

Disallow: /*&order=

Disallow: /*?filter_name=

Disallow: /*&filter_name=

Disallow: /*?filter_sub_category=

Disallow: /*&filter_sub_category=

Disallow: /*?filter_description=

Disallow: /*&filter_description=

Disallow: /*?currency=

Disallow: /*?route=product

Disallow: /*?keyword                           

Disallow: /*?product/product&product_id=       

Disallow: /*?product/category&path=            

Disallow: /*?route=common/home                 

Disallow: /*?product_id

Clean-param: tracking

 

Disallow: *#category_id*

Disallow: *?page=*

Disallow: /cgi-bin

 

Host: kids-town.com.ua

Sitemap: http://kids-town.com.ua/sitemap.xml

[Margo]

Вопрос снят. Проблему решила добавлением Allow: / в robots.txt

[jjoni]

Нужно ли закрывать папку cache от ингдексации? А то янгдекс кучу фото их кэша проингдексировал, кэш полистился и теперьь 404 ошибки в вебмастере...

[farkopcar]

Вот икой ропотому чтотс стоит сейчас на сайте.

Сегодня заметил что гугл ругается и говорит о запрете пока что двух ссылок с сайи

http://farkopcar.ru/farkop-ford-ranger-2011-limited-wildtrack-xlt-xl.html

http://farkopcar.ru/farkop-na-ford-ranger-2011-limited-wildtrask-so-stupenkoy.html

Там же в гугле он показывает строчку и отмечает ее красным Disallow: /*limit

Что это зналит  и как можно исравить, ик как я не запрещал ингдексацию данных урлов((.

User-agent: *
Allow: /*manufacturer_id
Disallow: /index.php
Disallow: /*route
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*sort
Disallow: /*order
Disallow: /*limit
Disallow: /*filter
Disallow: /*tracking
Disallow: /*kabinet
Disallow: /*compare
Disallow: /*cart
Disallow: /*password
Disallow: /*page-1
Disallow: /*search
Host: farkopcar.ru
Sitemap: http://farkopcar.ru/sitemap.xml

[Credo88]

Добрый гдень

 

/index.php?route=product/product*&manufacturer_id=

 

 

 

ЭТО что? тоесть ропотому чтотс запрещает гугла или янгдексам переходить на товар????

[biznesmenDN]

Здравствуйте, подскажите пожалуйси, правильный ли у меня вариант ?

 

User-agent: *

Disallow: /*route=account/

Disallow: /*route=affiliate/

Disallow: /*route=checkout/

Disallow: /*route=product/search

Disallow: /index.php?route=product/product*&manufacturer_id=

Disallow: /admin

Disallow: /catalog

Disallow: /system

Disallow: /*?sort=

Disallow: /*&sort=

Disallow: /*?order=

Disallow: /*&order=

Disallow: /*?limit=

Disallow: /*&limit=

Disallow: /*?filter_name=

Disallow: /*&filter_name=

Disallow: /*?filter_sub_category=

Disallow: /*&filter_sub_category=

Disallow: /*?filter_description=

Disallow: /*&filter_description=

Disallow: /*?tracking=

Disallow: /*&tracking=

Disallow: /*compare-products

Disallow: /*search

Disallow: /*cart

Disallow: /*checkout

Disallow: /*login

Disallow: /*logout

Disallow: /*vouchers

Disallow: /*wishlist

Disallow: /*my-account

Disallow: /*order-history

Disallow: /*newsletter

Disallow: /*return-add

Disallow: /*forgot-password

Disallow: /*downloads

Disallow: /*returns

Disallow: /*transactions

Disallow: /*create-account

Disallow: /*recurring

Disallow: /*address-book

Disallow: /*reward-points

Disallow: /*affiliate-forgot-password

Disallow: /*create-affiliate-account

Disallow: /*affiliate-login

Disallow: /*affiliates

Allow: /catalog/view/javascript/

Allow: /catalog/view/theme/*/

 

 

User-agent: Yandex

Disallow: /*route=account/

Disallow: /*route=affiliate/

Disallow: /*route=checkout/

Disallow: /*route=product/search

Disallow: /index.php?route=product/product*&manufacturer_id=

Disallow: /admin

Disallow: /catalog

Disallow: /system

Disallow: /*?sort=

Disallow: /*&sort=

Disallow: /*?order=

Disallow: /*&order=

Disallow: /*?limit=

Disallow: /*&limit=

Disallow: /*?filter_name=

Disallow: /*&filter_name=

Disallow: /*?filter_sub_category=

Disallow: /*&filter_sub_category=

Disallow: /*?filter_description=

Disallow: /*&filter_description=

Disallow: /*compare-products

Disallow: /*search

Disallow: /*cart

Disallow: /*checkout

Disallow: /*login

Disallow: /*logout

Disallow: /*vouchers

Disallow: /*wishlist

Disallow: /*my-account

Disallow: /*order-history

Disallow: /*newsletter

Disallow: /*return-add

Disallow: /*forgot-password

Disallow: /*downloads

Disallow: /*returns

Disallow: /*transactions

Disallow: /*create-account

Disallow: /*recurring

Disallow: /*address-book

Disallow: /*reward-points

Disallow: /*affiliate-forgot-password

Disallow: /*create-affiliate-account

Disallow: /*affiliate-login

Disallow: /*affiliates

Allow: /catalog/view/javascript/

Allow: /catalog/view/theme/*/

Clean-param: tracking

 

 

И  к сожнонию в вебмастере гугла выдает что именно robots.txt заблокировано.

http://prntscr.com/brbaty

[HyperLabTeam]

 

И  к сожнонию в вебмастере гугла выдает что именно robots.txt заблокировано.

http://prntscr.com/brbaty

 

заблокировано что именно???

 

 

 

 

[termotorg]

Посоветуйте, нужно ли закрывать поисковикам доступ к страницам тегов ?tag= ? И вообещё что дают эти теги? Только удобство для пользователя или для поисковиков это тоже нужно?

Изменено 15 октября 2016 пользователем termotorg

[Leooonov]

Прошу провести аудит*)

Ребяи- не будьте равнодушны, пожалуйси)

User-agent: *

Disallow: /*route=account/

Disallow: /*route=affiliate/

Disallow: /*route=checkout/

Disallow: /*route=product/search

Disallow: /index.php?route=product/product*&manufacturer_id=

Disallow: /admin

Disallow: /catalog

Disallow: /system

Disallow: /*?sort=

Disallow: /*&sort=

Disallow: /*?order=

Disallow: /*&order=

Disallow: /*?limit=

Disallow: /*&limit=

Disallow: /*?filter=

Disallow: /*&filter=

Disallow: /*?filter_name=

Disallow: /*&filter_name=

Disallow: /*?filter_sub_category=

Disallow: /*&filter_sub_category=

Disallow: /*?filter_description=

Disallow: /*&filter_description=

Disallow: /*?tracking=

Disallow: /*&tracking=

 

User-agent: Yandex

Disallow: /*route=account/

Disallow: /*route=affiliate/

Disallow: /*route=checkout/

Disallow: /*route=product/search

Disallow: /index.php?route=product/product*&manufacturer_id=

Disallow: /admin

Disallow: /catalog

Disallow: /system

Disallow: /*?sort=

Disallow: /*&sort=

Disallow: /*?order=

Disallow: /*&order=

Disallow: /*?limit=

Disallow: /*&limit=

Disallow: /*?filter=

Disallow: /*&filter=

Disallow: /*?filter_name=

Disallow: /*&filter_name=

Disallow: /*?filter_sub_category=

Disallow: /*&filter_sub_category=

Disallow: /*?filter_description=

Disallow: /*&filter_description=

Host: basik-baby.ru

Clean-param: tracking

Изменено 24 ноября 2016 пользователем Leooonov

[Blow]

На сиром ресурсе после обновления опен кари и шаблона гугл начал матюкатся на заблокированные скрипты и ресурсы в /catalog. 
После инэтов с бубном осопотому что без резульитных снес robots что бы узреть в нем ли прилина. 
Прилина в нем. Заблокированные ресурсы начали разблокироваться но в ингдекс начали добавляться дубли страниц отсортированные по разному (А-Я), (Цена), (Название) 
Это я ик понимаю из за того что robots теперьь у меня нету.)

Вопрос: 
Какой параметр в этом загадочном файле отвечает за блокировку добавления в ингдекс одной категории несколько раз но по разном отсортированной?)
Я полагаю икие страницы не пойдут на пользу рейтингу сайи в выдаче