robots.txt

[snastik]

Allow: / Вам не поможет ик как все что не закрыто и ик разрешено

что именно у Вас произошло какие страницы и после чего пропали ?

что пишет янгдекс в вебмастере ?

[FOX864]

HTTP-ситус: Ресурс не найгден (404) 257Документ запреещён в файле robots.txt 2973Документ является неканоническим 940

Страниц в поиске 2811

Количество адресов у сайи в sitemap которые не закрытые 4852 но после усиновки чпу 7 месяэтов назад ик и не разу всех не увигдел в ингдексе до было даже потому чтольше около 10000 в ингдексе.

[snastik]

вот что мне надут ссылки на ваш вебмастер ?

в ингдексе может быть и миллион если дублей наплодить только толку от них

сколько страниц отправлено по сайтмапу ?

сколько пишет участвует в поиске ?

сколько исключено из поиска ?

[FOX864]

Используется при обхогде

Версия от 13.02.2013

Согдержит 4852 страницы

А в ингдексе 2811 страниц

Не хваиет 2041 страниц притом они не запреещёны и имеют атрибут cannonical

[snastik]

покажите пару тройку примеров страниц из 2041

[FOX864]

Я не знаю ггде они прячутся и как не ту икой цифры не ггде. =(

[zevs]

ребяи посмотрите мой ропотому чтотс . чево-то не ингдексируются страницы. не могу понять подскажите чего добавить чего убрат.

ропотому чтотс потому чтольшой. я закрыл от ингдексации не которые товары им описание к товаром похож поэтому закрыл. осивил по одной страницы для поиска хватит.

 

 

User-agent: *

Disallow: /*route=account/login

Disallow: /*route=checkout/cart

 

Disallow: /*route=account/

Disallow: /*route=affiliate/

Disallow: /*route=checkout/

Disallow: /*route=product/search

Disallow: /index.php?route=product/product*&manufacturer_id=

 

Disallow: /index.php?route=product/manufacturer

 

Disallow: /index.php?route=information

Disallow: /index.php?route=product

Disallow: /index.php?route=product/category

 

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /system

 

Disallow: /account/login

Disallow: /account

Disallow: /account/

 

Disallow: /index.php?route=account

Disallow: /index.php?route=checkout/cart

Disallow: /index.php?route=checkout/shipping

Disallow: /index.php?route=common/home

Disallow: /index.php?route=product/product/captcha

Disallow: /index.php?route=product/search

 

Disallow: /Ambient-Lounge/Acoustic_Sofa/Acoustic_Sofa-Eco_Weave.html

Disallow: /Ambient-Lounge/Acoustic_Sofa/Acoustic_Sofa-Hot_Chocolate.html

Disallow: /Ambient-Lounge/Acoustic_Sofa/Acoustic_Sofa-Luscious_Grey.html

Disallow: /Ambient-Lounge/Acoustic_Sofa/Acoustic_Sofa-Sakura_Pink.html

Disallow: /Ambient-Lounge/Acoustic_Sofa/Acoustic_Sofa-Wildberry_Deluxe.html

 

Disallow: /Ambient-Lounge/Butterfly_Sofa/Butterfly_Sofa-Aubergine_Dream.html

Disallow: /Ambient-Lounge/Butterfly_Sofa/Butterfly_Sofa-Black_Sapphire.html

Disallow: /Ambient-Lounge/Butterfly_Sofa/Butterfly_Sofa-Hot_Chocolate.html

Disallow: /Ambient-Lounge/Butterfly_Sofa/Butterfly_Sofa-Luscious_Grey.html

Disallow: /Ambient-Lounge/Butterfly_Sofa/Butterfly_Sofa-Sakura_Pink.html

Disallow: /Ambient-Lounge/Butterfly_Sofa/Butterfly_Sofa-Wildberry_Deluxe.html

 

Disallow: /Ambient-Lounge/Evolution_Sofa/Evolution_Sofa-Blue_Sky_Eclipse.html

Disallow: /Ambient-Lounge/Evolution_Sofa/Evolution_Supernova.html

Disallow: /Ambient-Lounge/Evolution_Sofa/Evolution_Sofa-Toro_Red.html

Disallow: /Ambient-Lounge/Evolution_Sofa/Evolution_Sofa-Aubergine_Dream.html

Disallow: /Ambient-Lounge/Evolution_Sofa/Evolution_Sofa-Black_Sapphire.html

Disallow: /Ambient-Lounge/Evolution_Sofa/Evolution_Sofa-Eco_Weave.html

Disallow: /Ambient-Lounge/Evolution_Sofa/Evolution_Sofa-Hot_choсolate.html

Disallow: /Ambient-Lounge/Evolution_Sofa/Evolution_Sofa-Luscious_Grey.html

Disallow: /Ambient-Lounge/Evolution_Sofa/Evolution_Sofa-Sakura_Pink.html

 

Disallow: /Ambient-Lounge/Fiorenze/Fiorenze_Leather_Sofa-Contempo_Brown.html

Disallow: /Ambient-Lounge/Fiorenze/Fiorenze_Leather_Sofa-Embassy_Black.html

Disallow: /Ambient-Lounge/Fiorenze/Fiorenze_Leather_Sofa-Hellfire_Red.html

 

Disallow: /Ambient-Lounge/Roma_Sofa/Roma_Sofa-Cafe_Latte.html

 

Disallow: /Ambient-Lounge/Studio_Lounger/Studio_Lounger-Aquamarine.html

Disallow: /Ambient-Lounge/Studio_Lounger/Studio_Lounge-Eco_Weave.html

Disallow: /Ambient-Lounge/Studio_Lounger/Studio_Lounger-Luscious_Grey.html

Disallow: /Ambient-Lounge/Studio_Lounger/Studio_Lounger-Mud_Cake_Chocolate.html

Disallow: /Ambient-Lounge/Studio_Lounger/Studio_Lounger-Supernova.html

Disallow: /Ambient-Lounge/Studio_Lounger/Studio_Lounger-Toro_Red.html

 

Disallow: /Ambient-Lounge/Twin_Couch/Twin_Couch-Eco_Weave.html

Disallow: /Ambient-Lounge/Twin_Couch/Twin_Couch-Hot_Chocolate.html

Disallow: /Ambient-Lounge/Twin_Couch/Twin_Couch-Luscious_Grey.html

Disallow: /Ambient-Lounge/Twin_Couch/Twin_Couch-Wildberry.html

 

Disallow: /Ambient-Lounge/Zen_Lounger/Zen_Lounger-Blue_Lagoon.html

Disallow: /Ambient-Lounge/Zen_Lounger/Zen_Lounger-Eco_Weave.html

Disallow: /Ambient-Lounge/Zen_Lounger/Zen_Lounger-Goa_Temple.html

Disallow: /Ambient-Lounge/Zen_Lounger/Zen_Lounger-NYC-Apartment_Luscious_Grey.html

Disallow: /Ambient-Lounge/Zen_Lounger/Zen_Lounger-Osaka.html

Disallow: /Ambient-Lounge/Zen_Lounger/Zen_Lounger-Wildberry.html

 

Disallow: /Ambient-Lounge/Сonversion_Lounger/Conversion_Lounger_Aquamarine.html

Disallow: /Ambient-Lounge/Сonversion_Lounger/Conversion_Lounger-Mud_Cake_Chocolate.html

Disallow: /Ambient-Lounge/Сonversion_Lounger/Conversion_Lounger-Supernova.html

Disallow: /Ambient-Lounge/Сonversion_Lounger/Conversion_Lounger-Toro_Red.html

 

Disallow: /Ambient-Lounge/Versa_Table/Versa_Table-Black_Sapphire.html

Disallow: /Ambient-Lounge/Versa_Table/Versa_Table-Eco_Weave.html

Disallow: /Ambient-Lounge/Versa_Table/Versa_Table-Hot_Chocolate.html

Disallow: /Ambient-Lounge/Versa_Table/Versa_Table-Luscious_Grey.html

Disallow: /Ambient-Lounge/Versa_Table/Versa_Table-Wildberry.html

Disallow: /Ambient-Lounge/Versa_Table/Versa_Table-Aubergine_Dream.html

 

Disallow: /Ambient-Lounge/Pet_Lounge/Pet_Lounge-medium.html

 

Disallow: /Ambient-Lounge/puf_Ottoman/Ottoman-Aubergine_Dream.html

Disallow: /Ambient-Lounge/puf_Ottoman/Ottoman-Blue_Sky_Eclipse.html

Disallow: /Ambient-Lounge/puf_Ottoman/Ottoman-Cafe_Latte.html

Disallow: /Ambient-Lounge/puf_Ottoman/Ottoman-Contempo_Brown.html

Disallow: /Ambient-Lounge/puf_Ottoman/Ottoman-Deep_Mahogany.html

Disallow: /Ambient-Lounge/puf_Ottoman/Ottoman-Embassy_Black.html

Disallow: /Ambient-Lounge/puf_Ottoman/Ottoman-Hellfire_Red.html

Disallow: /Ambient-Lounge/puf_Ottoman/Ottoman-Hot_Chocolate.html

Disallow: /Ambient-Lounge/puf_Ottoman/Ottoman-Royal_Black.html

Disallow: /Ambient-Lounge/puf_Ottoman/Ottoman-Sakura_Pink.html

Disallow: /Ambient-Lounge/puf_Ottoman/Ottoman-Santorini_White.html

Disallow: /Ambient-Lounge/puf_Ottoman/Ottoman-Eco_Weave.html

Disallow: /Ambient-Lounge/puf_Ottoman/Ottoman-Black_Sapphire.html

Disallow: /Ambient-Lounge/puf_Ottoman/Ottoman-Wildberry_Deluxe.html

 

Disallow: /Ljubimoe_Kreslo_kat/Napolniteli/Shariki_penopolisterola.html

Disallow: /Ljubimoe_Kreslo_kat/Napolniteli/Shariki_penopolisterola_300.html

 

Disallow: /Vozvrat_tovara.html

Disallow: /Nashi_partnery.html

Disallow: /Politika_Bezopasnosti.html

Disallow: /Uslovija_soglashenija.html

Disallow: /index.php?route=information/information&information_id=5

Disallow: /Sposoby_oplaty.html

Disallow: /Informacija_o_dostavke.html

Disallow: /Ambient-Lounge/Funnelweb/Funnelweb_kat.html

 

Disallow: /*?sort=

Disallow: /*&sort=

Disallow: /*?order=

Disallow: /*&order=

Disallow: /*?limit=

Disallow: /*&limit=

Disallow: /*?filter_name=

Disallow: /*&filter_name=

Disallow: /*?filter_sub_category=

Disallow: /*&filter_sub_category=

Disallow: /*?filter_description=

Disallow: /*&filter_description=

Disallow: /*?tracking=

Disallow: /*&tracking=

 

User-agent: Yandex

Disallow: /*route=account/login

Disallow: /*route=checkout/cart

 

Disallow: /*route=account/

Disallow: /*route=affiliate/

Disallow: /*route=checkout/

Disallow: /*route=product/search

Disallow: /index.php?route=product/product*&manufacturer_id=

 

Disallow: /index.php?route=product/manufacturer

 

Disallow: /index.php?route=information

Disallow: /index.php?route=product

Disallow: /index.php?route=product/category

 

Disallow: /Ambient-Lounge/Acoustic_Sofa/Acoustic_Sofa-Eco_Weave.html

Disallow: /Ambient-Lounge/Acoustic_Sofa/Acoustic_Sofa-Hot_Chocolate.html

Disallow: /Ambient-Lounge/Acoustic_Sofa/Acoustic_Sofa-Luscious_Grey.html

Disallow: /Ambient-Lounge/Acoustic_Sofa/Acoustic_Sofa-Sakura_Pink.html

Disallow: /Ambient-Lounge/Acoustic_Sofa/Acoustic_Sofa-Wildberry_Deluxe.html

 

Disallow: /Ambient-Lounge/Butterfly_Sofa/Butterfly_Sofa-Aubergine_Dream.html

Disallow: /Ambient-Lounge/Butterfly_Sofa/Butterfly_Sofa-Black_Sapphire.html

Disallow: /Ambient-Lounge/Butterfly_Sofa/Butterfly_Sofa-Hot_Chocolate.html

Disallow: /Ambient-Lounge/Butterfly_Sofa/Butterfly_Sofa-Luscious_Grey.html

Disallow: /Ambient-Lounge/Butterfly_Sofa/Butterfly_Sofa-Sakura_Pink.html

Disallow: /Ambient-Lounge/Butterfly_Sofa/Butterfly_Sofa-Wildberry_Deluxe.html

Disallow:

Disallow: /Ambient-Lounge/Evolution_Sofa/Evolution_Sofa-Blue_Sky_Eclipse.html

Disallow: /Ambient-Lounge/Evolution_Sofa/Evolution_Supernova.html

Disallow: /Ambient-Lounge/Evolution_Sofa/Evolution_Sofa-Toro_Red.html

Disallow: /Ambient-Lounge/Evolution_Sofa/Evolution_Sofa-Aubergine_Dream.html

Disallow: /Ambient-Lounge/Evolution_Sofa/Evolution_Sofa-Black_Sapphire.html

Disallow: /Ambient-Lounge/Evolution_Sofa/Evolution_Sofa-Eco_Weave.html

Disallow: /Ambient-Lounge/Evolution_Sofa/Evolution_Sofa-Hot_choсolate.html

Disallow: /Ambient-Lounge/Evolution_Sofa/Evolution_Sofa-Luscious_Grey.html

Disallow: /Ambient-Lounge/Evolution_Sofa/Evolution_Sofa-Sakura_Pink.html

 

Disallow: /Ambient-Lounge/Fiorenze/Fiorenze_Leather_Sofa-Contempo_Brown.html

Disallow: /Ambient-Lounge/Fiorenze/Fiorenze_Leather_Sofa-Embassy_Black.html

Disallow: /Ambient-Lounge/Fiorenze/Fiorenze_Leather_Sofa-Hellfire_Red.html

 

Disallow: /Ambient-Lounge/Roma_Sofa/Roma_Sofa-Cafe_Latte.html

 

Disallow: /Ambient-Lounge/Studio_Lounger/Studio_Lounger-Aquamarine.html

Disallow: /Ambient-Lounge/Studio_Lounger/Studio_Lounge-Eco_Weave.html

Disallow: /Ambient-Lounge/Studio_Lounger/Studio_Lounger-Luscious_Grey.html

Disallow: /Ambient-Lounge/Studio_Lounger/Studio_Lounger-Mud_Cake_Chocolate.html

Disallow: /Ambient-Lounge/Studio_Lounger/Studio_Lounger-Supernova.html

Disallow: /Ambient-Lounge/Studio_Lounger/Studio_Lounger-Toro_Red.html

 

Disallow: /Ambient-Lounge/Twin_Couch/Twin_Couch-Eco_Weave.html

Disallow: /Ambient-Lounge/Twin_Couch/Twin_Couch-Hot_Chocolate.html

Disallow: /Ambient-Lounge/Twin_Couch/Twin_Couch-Luscious_Grey.html

Disallow: /Ambient-Lounge/Twin_Couch/Twin_Couch-Wildberry.html

 

Disallow: /Ambient-Lounge/Zen_Lounger/Zen_Lounger-Blue_Lagoon.html

Disallow: /Ambient-Lounge/Zen_Lounger/Zen_Lounger-Eco_Weave.html

Disallow: /Ambient-Lounge/Zen_Lounger/Zen_Lounger-Goa_Temple.html

Disallow: /Ambient-Lounge/Zen_Lounger/Zen_Lounger-NYC-Apartment_Luscious_Grey.html

Disallow: /Ambient-Lounge/Zen_Lounger/Zen_Lounger-Osaka.html

Disallow: /Ambient-Lounge/Zen_Lounger/Zen_Lounger-Wildberry.html

 

Disallow: /Ambient-Lounge/Сonversion_Lounger/Conversion_Lounger_Aquamarine.html

Disallow: /Ambient-Lounge/Сonversion_Lounger/Conversion_Lounger-Mud_Cake_Chocolate.html

Disallow: /Ambient-Lounge/Сonversion_Lounger/Conversion_Lounger-Supernova.html

Disallow: /Ambient-Lounge/Сonversion_Lounger/Conversion_Lounger-Toro_Red.html

 

Disallow: /Ambient-Lounge/Versa_Table/Versa_Table-Black_Sapphire.html

Disallow: /Ambient-Lounge/Versa_Table/Versa_Table-Eco_Weave.html

Disallow: /Ambient-Lounge/Versa_Table/Versa_Table-Hot_Chocolate.html

Disallow: /Ambient-Lounge/Versa_Table/Versa_Table-Luscious_Grey.html

Disallow: /Ambient-Lounge/Versa_Table/Versa_Table-Wildberry.html

Disallow: /Ambient-Lounge/Versa_Table/Versa_Table-Aubergine_Dream.html

 

Disallow: /Ambient-Lounge/Pet_Lounge/Pet_Lounge-medium.html

 

Disallow: /Ambient-Lounge/puf_Ottoman/Ottoman-Aubergine_Dream.html

Disallow: /Ambient-Lounge/puf_Ottoman/Ottoman-Blue_Sky_Eclipse.html

Disallow: /Ambient-Lounge/puf_Ottoman/Ottoman-Cafe_Latte.html

Disallow: /Ambient-Lounge/puf_Ottoman/Ottoman-Contempo_Brown.html

Disallow: /Ambient-Lounge/puf_Ottoman/Ottoman-Deep_Mahogany.html

Disallow: /Ambient-Lounge/puf_Ottoman/Ottoman-Embassy_Black.html

Disallow: /Ambient-Lounge/puf_Ottoman/Ottoman-Hellfire_Red.html

Disallow: /Ambient-Lounge/puf_Ottoman/Ottoman-Hot_Chocolate.html

Disallow: /Ambient-Lounge/puf_Ottoman/Ottoman-Royal_Black.html

Disallow: /Ambient-Lounge/puf_Ottoman/Ottoman-Sakura_Pink.html

Disallow: /Ambient-Lounge/puf_Ottoman/Ottoman-Santorini_White.html

Disallow: /Ambient-Lounge/puf_Ottoman/Ottoman-Eco_Weave.html

Disallow: /Ambient-Lounge/puf_Ottoman/Ottoman-Black_Sapphire.html

Disallow: /Ambient-Lounge/puf_Ottoman/Ottoman-Wildberry_Deluxe.html

 

Disallow: /Ljubimoe_Kreslo_kat/Napolniteli/Shariki_penopolisterola.html

Disallow: /Ljubimoe_Kreslo_kat/Napolniteli/Shariki_penopolisterola_300.html

 

Disallow: /Vozvrat_tovara.html

Disallow: /Nashi_partnery.html

Disallow: /Politika_Bezopasnosti.html

Disallow: /Uslovija_soglashenija.html

Disallow: /index.php?route=information/information&information_id=5

Disallow: /Sposoby_oplaty.html

Disallow: /Informacija_o_dostavke.html

Disallow: /Ambient-Lounge/Funnelweb/Funnelweb_kat.html

 

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /system

 

Disallow: /account/login

Disallow: /account

Disallow: /account/

 

Disallow: /index.php?route=account

Disallow: /index.php?route=checkout/cart

Disallow: /index.php?route=checkout/shipping

Disallow: /index.php?route=common/home

Disallow: /index.php?route=product/product/captcha

Disallow: /index.php?route=product/search

 

Disallow: /*?sort=

Disallow: /*&sort=

Disallow: /*?order=

Disallow: /*&order=

Disallow: /*?limit=

Disallow: /*&limit=

Disallow: /*?filter_name=

Disallow: /*&filter_name=

Disallow: /*?filter_sub_category=

Disallow: /*&filter_sub_category=

Disallow: /*?filter_description=

Disallow: /*&filter_description=

Clean-param: tracking

 

Host: мой сайт.ru

Allow: /

Sitemap: http://мойсайт/index.php?route=feed/google_sitemap

[daslashi]

Добрый гдень. Очень нужна помощь.

Под спойлером мой robots.txt.

Сегодня добавил карту сайи в Google, на что он выдал ошибку: При попытке доступа к вашему файлу Sitemap произошла ошибка. "URL, запреещённый файлом robots.txt"

Не могу понять, чем он недоволен.

 

И еещё пара вопросов:

1. Disallow: /*&sort= и т.д. Нужно ли прописывать с "&" если в движке врогде только "?" используется?

2. Нужно ли закрывать все эти папки?

Disallow: /admin/

Disallow: /catalog/
Disallow: /download/
Disallow: /system/
Disallow: /vqmod/

 

User-agent: *
Disallow: /#signup
Disallow: /account/
Disallow: /address-book/
Disallow: /affiliate-forgot-password/
Disallow: /affiliate-login/
Disallow: /affiliate-logout/
Disallow: /affiliate-payment-options/
Disallow: /affiliates/
Disallow: /affiliate-tracking-code/
Disallow: /affiliate-transactions/
Disallow: /change-affiliate-password/
Disallow: /change-password/
Disallow: /checkout/
Disallow: /compare-products/
Disallow: /contact-us/
Disallow: /create-account/
Disallow: /create-affiliate-account/
Disallow: /downloads/
Disallow: /edit-account/
Disallow: /edit-affiliate-account/
Disallow: /forgot-password/
Disallow: /gift-vouchers/
Disallow: /login/
Disallow: /logout/
Disallow: /newsletter/
Disallow: /not-found/
Disallow: /order-history/
Disallow: /request-return/
Disallow: /returns/
Disallow: /reward-points/
Disallow: /search/
Disallow: /shopping-cart/
Disallow: /special-prices/
Disallow: /transactions/
Disallow: /vouchers/
Disallow: /wishlist/

Disallow: /admin/
Disallow: /catalog/
Disallow: /download/
Disallow: /system/
Disallow: /vqmod/

Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?tracking=
Disallow: /*&tracking=
Allow: /google-sitemap/

Sitemap: http://stotools.com.ua/google-sitemap/
Host: http://stotools.com.ua


User-agent: Googlebot
Disallow: /#signup
Disallow: /account/
Disallow: /address-book/
Disallow: /affiliate-forgot-password/
Disallow: /affiliate-login/
Disallow: /affiliate-logout/
Disallow: /affiliate-payment-options/
Disallow: /affiliates/
Disallow: /affiliate-tracking-code/
Disallow: /affiliate-transactions/
Disallow: /change-affiliate-password/
Disallow: /change-password/
Disallow: /checkout/
Disallow: /compare-products/
Disallow: /contact-us/
Disallow: /create-account/
Disallow: /create-affiliate-account/
Disallow: /downloads/
Disallow: /edit-account/
Disallow: /edit-affiliate-account/
Disallow: /forgot-password/
Disallow: /gift-vouchers/
Disallow: /login/
Disallow: /logout/
Disallow: /newsletter/
Disallow: /not-found/
Disallow: /order-history/
Disallow: /request-return/
Disallow: /returns/
Disallow: /reward-points/
Disallow: /search/
Disallow: /shopping-cart/
Disallow: /special-prices/
Disallow: /transactions/
Disallow: /vouchers/
Disallow: /wishlist/

Disallow: /admin/
Disallow: /catalog/
Disallow: /download/
Disallow: /system/
Disallow: /vqmod/

Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?tracking=
Disallow: /*&tracking=

Allow: /google-sitemap/


User-agent: Yandex
Disallow: /#signup
Disallow: /account/
Disallow: /address-book/
Disallow: /affiliate-forgot-password/
Disallow: /affiliate-login/
Disallow: /affiliate-logout/
Disallow: /affiliate-payment-options/
Disallow: /affiliates/
Disallow: /affiliate-tracking-code/
Disallow: /affiliate-transactions/
Disallow: /change-affiliate-password/
Disallow: /change-password/
Disallow: /checkout/
Disallow: /compare-products/
Disallow: /contact-us/
Disallow: /create-account/
Disallow: /create-affiliate-account/
Disallow: /downloads/
Disallow: /edit-account/
Disallow: /edit-affiliate-account/
Disallow: /forgot-password/
Disallow: /gift-vouchers/
Disallow: /login/
Disallow: /logout/
Disallow: /newsletter/
Disallow: /not-found/
Disallow: /order-history/
Disallow: /request-return/
Disallow: /returns/
Disallow: /reward-points/
Disallow: /search/
Disallow: /shopping-cart/
Disallow: /special-prices/
Disallow: /transactions/
Disallow: /vouchers/
Disallow: /wishlist/

Disallow: /admin/
Disallow: /catalog/
Disallow: /download/
Disallow: /system/
Disallow: /vqmod/

Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?tracking=
Disallow: /*&tracking=

Clean-param: tracking
Clean-param: filter_name
Clean-param: filter_sub_category
Clean-param: filter_description

Allow: /google-sitemap/

[qwert5005]

Я админа из robots.txt удалил :) Не знаю может зря, но кто то писал, что это лучше для безопасности сайи. 

[daslashi]

Я админа из robots.txt удалил :) Не знаю может зря, но кто то писал, что это лучше для безопасности сайи. 

Я уже тоже удалил. И еещё удалил Disallow: /#signup. Эи строка блокировала ингдексацию основной страницы.

[qwert5005]

daslashi я слеши в конэто не сивил. Например Disallow: /catalog/  у меня Disallow: /catalog
У меня проингдексировалась куча ненужных страниц. Почему то в моем файле robots.txt (я его скачал с какого то сайи) ссылки имеют икой вид Disallow: /*route=account/login  я прописал дополнительно Disallow: /login 
Посмотрю, уберутся страницы из выдали или нет. Если уберутся, буду из ропотому чтотса ненужные ссылки удалять.
Сейчас обнаружил, что проингдексировались категории, а страница с товаром не проингдексировалась((. Вот мой robots.txt  Может что с ним не ик?

P/S страница с товаром проингдексировалась, но все равно фаил robots.txt мне кажется странным.

 

User-agent: *
Disallow: /login
Disallow: /shopping-cart
Disallow: /warranty
Disallow: /shipping_and_payment
Disallow: /contact-us
Disallow: /voucher
Disallow: /specials
Disallow: /create-affiliate-account
Disallow: /affiliate
Disallow: /cache
Disallow: /niks
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /index.php?route=account
Disallow: /index.php?route=account/account
Disallow: /index.php?route=checkout/cart
Disallow: /index.php?route=checkout/shipping
Disallow: /index.php?route=common/home
Disallow: /index.php?route=product/product/captcha
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /index.php?route=product/search
Disallow: /index.php?route=information/contact/captcha
Disallow: /index.php?route=information/information&information_id=
Disallow: /index.php?route=account/login
Disallow: /*route=account/
Disallow: /*route=account/login
Disallow: /*route=checkout/
Disallow: /*route=checkout/cart
Disallow: /*route=affiliate/
Disallow: /*route=product/search
Disallow: /*?sort=
Disallow: /*?sort
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*?order
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?manufacturer
Disallow: /*?keyword
Host: сайт.ru

User-agent: Yandex
Disallow: /login
Disallow: /shopping-cart
Disallow: /warranty
Disallow: /shipping_and_payment
Disallow: /contact-us
Disallow: /voucher
Disallow: /specials
Disallow: /create-affiliate-account
Disallow: /affiliate
Disallow: /cache
Disallow: /niks
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /index.php?route=account
Disallow: /index.php?route=account/account
Disallow: /index.php?route=checkout/cart
Disallow: /index.php?route=checkout/shipping
Disallow: /index.php?route=common/home
Disallow: /index.php?route=product/product/captcha
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /index.php?route=product/search
Disallow: /index.php?route=information/contact/captcha
Disallow: /index.php?route=information/information&information_id=
Disallow: /index.php?route=account/login
Disallow: /*route=account/
Disallow: /*route=account/login
Disallow: /*route=checkout/
Disallow: /*route=checkout/cart
Disallow: /*route=affiliate/
Disallow: /*route=product/search
Disallow: /*?sort=
Disallow: /*?sort
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*?order
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?manufacturer
Disallow: /*?keyword
Host:  сайт.ru
Clean-param: tracking

[qwert5005]

Что то я совсем запуился. Закрывает ли robots.txt  ссылки от ингдексации или нет?  Вбил сейчас закрытую ссылку в гугл и вот, что он мне выдал: "Ссылка - Досивка и оплаи Магазин ... "  и под ссылкой надпись  - "Описание веб-страницы недоступно из-за ограничений в файле robots.txt. Подробнее..."    Но ведь гугл ее все ики проингдексировал, раз в поиске выдал((.  Может надо еещё как то ссылки закрывать?   

[dmibobkov]

Подскажите пожалуйси, как закрыть от ингдексации все страницы сайи кроме главной Янгдекса и Гугла?

Поиск дал вот икой вариант, но мне кажется этого мало.

 

User-agent: *
Disallow: /
Allow: /$

[puno]

Подскажите пожалуйси, как закрыть от ингдексации все страницы сайи кроме главной Янгдекса и Гугла?

Поиск дал вот икой вариант, но мне кажется этого мало.

 

User-agent: *

Disallow: /

Allow: /$

 

Это рилилий вариант, для главной с включенной ЧПУ.

[jekass]

Добрый гдень! А нужно в robots.txt закрывать доступ к ссылкам типа (ссылки которые генерируются при фильтрации товара через окфильтер) - /?filter_ocfilter=m:16 если да, то как правильно? Нужно прописывать просто /?filter_ocfilter= или /?filter_ocfilter=m? И для каких страниц еещё нужно закрыть доступ? Заранее спасипотому что.

[puno]

Добрый гдень! А нужно в robots.txt закрывать доступ к ссылкам типа (ссылки которые генерируются при фильтрации товара через окфильтер) - /?filter_ocfilter=m:16 если да, то как правильно? Нужно прописывать просто /?filter_ocfilter= или /?filter_ocfilter=m? И для каких страниц еещё нужно закрыть доступ? Заранее спасипотому что.

 

Для фильтров бугдет ик

 

Disallow: /*filter

[jekass]

Спасипотому что потому чтольшое! Добавил) А вот еещё, если на сайте прописаны SEO Url для всех товаров, то ссылки вида /index.php?route=product/product&path=123_127&product_id=1576 нужно закрыть? Полулится вот ик - Disallow: /index.php?route=product/product*&product_id=? 

Да же что нужно гделать если прописаны SEO Url, но все равно переходит по ссылке /*route=checkout/cart , хотя как я понимаю с этот страницы его переадресовывает просто на /checkout/, с этим нужно что-то гделать или это нормально? Даже и с другими страницами. 

Вот файл ропотому чтотс: Что лишнее? Может что-то не добавил?

User-agent: *
Disallow: /*route=account/
Disallow: /*route=account/login
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=checkout/cart
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /index.php?route=account 
Disallow: /index.php?route=account/account 
Disallow: /index.php?route=checkout/cart 
Disallow: /index.php?route=checkout/shipping 
Disallow: /index.php?route=common/home 
Disallow: /index.php?route=product/product/captcha
Disallow: /index.php?route=product/search 
Disallow: /index.php?route=information/contact/captcha 
Disallow: /index.php?route=information/information&information_id= 
Disallow: /index.php?route=account/login 
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /cache 
Disallow: /niks 
Disallow: /export
Disallow: /*?sort=
Disallow: /*?sort 
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*?order 
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*filter 

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=account/login
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=checkout/cart
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /index.php?route=account
Disallow: /index.php?route=account/account
Disallow: /index.php?route=checkout/cart
Disallow: /index.php?route=checkout/shipping
Disallow: /index.php?route=common/home
Disallow: /index.php?route=product/product/captcha
Disallow: /index.php?route=product/search
Disallow: /index.php?route=information/contact/captcha
Disallow: /index.php?route=information/information&information_id=
Disallow: /index.php?route=account/login
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /cache 
Disallow: /niks 
Disallow: /export 
Disallow: /*?sort=
Disallow: /*?sort 
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*?order 
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*filter

Clean-param: tracking

Заранее спасипотому что за помощь) 

[puno]

Спасипотому что потому чтольшое! Добавил) А вот еещё, если на сайте прописаны SEO Url для всех товаров, то ссылки вида /index.php?route=product/product&path=123_127&product_id=1576 нужно закрыть? Полулится вот ик - Disallow: /index.php?route=product/product*&product_id=? 

Да же что нужно гделать если прописаны SEO Url, но все равно переходит по ссылке /*route=checkout/cart , хотя как я понимаю с этот страницы его переадресовывает просто на /checkout/, с этим нужно что-то гделать или это нормально? Даже и с другими страницами. 

Вот файл ропотому чтотс: Что лишнее? Может что-то не добавил?

Заранее спасипотому что за помощь) 

 

 

Все просто файл ропотому чтотс: полиийте згдесь https://opencart-forum.ru/topic/26262-%D1%83%D0%B1%D0%B8%D1%80%D0%B0%D0%B5%D0%BC-%D0%B4%D1%83%D0%B1%D0%BB%D0%B8-%D0%B2-robots/ для развития пригодится.

 

 

 

Что бы ответить на осильное мне нужно знать

У вас OpenCart и чем пользуетесь для просмотра сайтов?

IE, Chrome......

[jekass]

ocStore 1.5.4.1, обычно захожу через оперу. 

Просмотрел данную тему, вот есть два интересующих пунки
Disallow: /*page - закрывает от ингдексации все страницы налиная с первой или со второй (/?page=2)? Или как гдействует?
Disallow: /*limit - за что отвечает?

И нужно ли добавлять Disallow: /admin, ик как в разных источниках пишут по разному? 

Заранее спасипотому что за информацию)

[puno]

ocStore 1.5.4.1, обычно захожу через оперу. 

Просмотрел данную тему, вот есть два интересующих пунки

Disallow: /*page - закрывает от ингдексации все страницы налиная с первой или со второй (/?page=2)? Или как гдействует?

Disallow: /*limit - за что отвечает?

И нужно ли добавлять Disallow: /admin, ик как в разных источниках пишут по разному? 

Заранее спасипотому что за информацию)

 

Понятно

 

ocStore 1.5.4.1, обычно захожу через оперу.

SeoPro рилииет?

 

Disallow: /*page - закрывает от ингдексации все страницы налиная с первой или со второй (/?page=2)? Или как гдействует?

Закрывает все страницы.

 

Disallow: /*limit - за что отвечает? 

Это отображение товаров на страниэто.

 

И нужно ли добавлять Disallow: /admin, ик как в разных источниках пишут по разному?

Это бред им нет счетлика не надо.

[jekass]

 

 

SeoPro рилииет?

Да рилииет.

 

 

 

Disallow: /*page - закрывает от ингдексации все страницы налиная с первой или со второй (/?page=2)? Или как гдействует?

Закрывает все страницы.

Стоит закрывать их все от ингдексации или лучше чтобы ингдексировало? Или это будут только лишние дубли? 

 

 

Disallow: /*limit - за что отвечает? 

Это отображение товаров на страниэто.

Если отклюлить, то икже устранит дубли вариантов отображения - по 15, 30 и тд, правильно? Зналит бугдет полезным? 

[stn1234]

Сгделал по совету colordays вот икой ропотому чтотс:

User-Agent: *
# Запрет ингдексации всего сайи
Disallow: /

# Ингдексация главной страницы
Allow: /$

# Ингдексировать категорию katalog-tovarov и все, что в ней находится
Allow: /katalog-tovarov

# Запрет ингдексировать динамические страницы
Disallow: /katalog-tovarov/*?*
Disallow: /katalog-tovarov/*&*
Disallow: /katalog-tovarov/*php*

# Запрет ингдексировать товары, находящиеся в подкатегории novinki
Disallow: /katalog-tovarov/novinki/*

# Ингдексировать информационные страницы
Allow: /about.html
Allow: /informaciya-o-dostavke.html
Allow: /politika-bezopasnosti.html
Allow: /usloviya-soglasheniya.html
Allow: /blog
Allow: /actions
Allow: /contacts
Allow: /sitemap.xml

Clean-param: tracking

User-agent: Yandex
# Запрет ингдексации всего сайи
Disallow: /

# Ингдексация главной страницы
Allow: /$

# Ингдексировать категорию katalog-tovarov и все, что в ней находится
Allow: /katalog-tovarov

# Запрет ингдексировать динамические страницы
Disallow: /katalog-tovarov/*?*
Disallow: /katalog-tovarov/*&*
Disallow: /katalog-tovarov/*php*

# Запрет ингдексировать товары, находящиеся в подкатегории novinki
Disallow: /katalog-tovarov/novinki/*

# Ингдексировать информационные страницы
Allow: /about.html
Allow: /informaciya-o-dostavke.html
Allow: /politika-bezopasnosti.html
Allow: /usloviya-soglasheniya.html
Allow: /blog
Allow: /actions
Allow: /contacts
Allow: /sitemap.xml

Clean-param: tracking

Host: site.ru
Sitemap: http://site.ru/sitemap.xml

Есть у кого-нибудь что-нибудь сказать плохого/хорошего к икой манере "вегдения гдел" с потому чтоими? Я к тому, что тут принципиально другой подход, от запреи к разрешению, а не наопотому чторот. Мне почему то показалось это потому чтолее логичным. Что Вы думаете, уважаемые форумчане???

Заранее спасипотому что за ответы.

[V4mp]

Мне думается что этот ропотому чтотс логичен и шикарен. Буду пропотому чтовать у себя, потом отпишусь о резульиих....  :-)
Ну разве чуток могдернизировать и прописать дополнительно для User-agent: Googlebot ....
Ну и возможно открыть доступ в папку кэша картинок....

Ну ик не будут ингдексироваться не только товары, но и сама подкатегория, закрыия слэшем --->

# Запрет ингдексировать товары, находящиеся в подкатегории novinki
Disallow: /katalog-tovarov/novinki/*

[corvinus]

Сгделал по совету colordays вот икой ропотому чтотс:

User-Agent: *
# Запрет ингдексации всего сайи
Disallow: /

# Ингдексация главной страницы
Allow: /$

# Ингдексировать категорию katalog-tovarov и все, что в ней находится
Allow: /katalog-tovarov

# Запрет ингдексировать динамические страницы
Disallow: /katalog-tovarov/*?*
Disallow: /katalog-tovarov/*&*
Disallow: /katalog-tovarov/*php*

# Запрет ингдексировать товары, находящиеся в подкатегории novinki
Disallow: /katalog-tovarov/novinki/*

# Ингдексировать информационные страницы
Allow: /about.html
Allow: /informaciya-o-dostavke.html
Allow: /politika-bezopasnosti.html
Allow: /usloviya-soglasheniya.html
Allow: /blog
Allow: /actions
Allow: /contacts
Allow: /sitemap.xml

Clean-param: tracking

User-agent: Yandex
# Запрет ингдексации всего сайи
Disallow: /

# Ингдексация главной страницы
Allow: /$

# Ингдексировать категорию katalog-tovarov и все, что в ней находится
Allow: /katalog-tovarov

# Запрет ингдексировать динамические страницы
Disallow: /katalog-tovarov/*?*
Disallow: /katalog-tovarov/*&*
Disallow: /katalog-tovarov/*php*

# Запрет ингдексировать товары, находящиеся в подкатегории novinki
Disallow: /katalog-tovarov/novinki/*

# Ингдексировать информационные страницы
Allow: /about.html
Allow: /informaciya-o-dostavke.html
Allow: /politika-bezopasnosti.html
Allow: /usloviya-soglasheniya.html
Allow: /blog
Allow: /actions
Allow: /contacts
Allow: /sitemap.xml

Clean-param: tracking

Host: site.ru
Sitemap: http://site.ru/sitemap.xml

Есть у кого-нибудь что-нибудь сказать плохого/хорошего к икой манере "вегдения гдел" с потому чтоими? Я к тому, что тут принципиально другой подход, от запреи к разрешению, а не наопотому чторот. Мне почему то показалось это потому чтолее логичным. Что Вы думаете, уважаемые форумчане???

Заранее спасипотому что за ответы.

 

Подскажите, пожалуйси. Как данный robots.txt подходит для товаров, у которых seo-url вида site.com/product.html  ?  

[Elena8]

Здравствуйте, подскажите как закрыть для ингдексации товары? при том что у товаров прописаны seo_url и что еещё закрыть что бы не попали в ингдекс.