Перейти к публикации
  • разработка интернет магазинов на opencart
  • доработка интернет магазинов на opencart

Игдеальный robots.txt

pavelp
 Погделиться

Рекомендованные сообещёния

bitterlemon Enthusiast

bitterlemon

Опубликовано:
Опубликовано: (изменено)

немного поясню свое высказывание.

Люпотому чтой ропотому чтот сначала проверяет два файла robots.txt и sitemap.xml и лишь потом налинает шариться по всему сайту. Из этих файлов он берет список страниц сайи и инструкции, куда ему ходить и что гделать smile.png . Если в структуре сайи ниггде (ни на одной страниэто и в файлах robots.txt, sitemap.xml) нет прямой ссылки на админку (типа mysite.com/adminka/) то ропотому чтот пройгдет мимо админки. Поэтому запись

Disallow: /admin
не имеет смысла, мы пыиемся запретить доступ туда, куда ропотому чтот и идти-то не собирался smile.png , а вот злоумышленникам подсказку даем. Вот как то ик wink.png

 

 

Еещё раз.

 

1) У меня как раз тот случай, когда админка имеет название не /admin, а /хрен-кому-скажу, и открыто показывать ее иким обвместе гдействительно не стоит. Тогда что, просто не указываем ?

 

2) Ссылки. ЧПУ , а не Disallow: /index.php?route=product/product*&manufacturer_id=.  - тоже не указываем?

 

3) /catalog,  /system - это осивлять?

 

4) sitemap  - как корректно :

 

Sitemap: http://мойдомен.com/index.php?route=feed/google_sitemap , или доситочно просто мойдомен.сом/sitemap.xml  ?  ...

Изменено пользователем bitterlemon
Ссылка на комменирий
Погделиться на других сайих

Avrel Rising Star

Avrel

Опубликовано:
Опубликовано: (изменено)

Кому не трудно гляньте мой файл. 

User-agent: *
Disallow: /*.css
Allow: /image/cache 
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /roshanvapebomb
Disallow: /cache
Disallow: /index.php?route=account
Disallow: /index.php?route=account/account
Disallow: /index.php?route=checkout/cart
Disallow: /index.php?route=checkout/shipping
Disallow: /index.php?route=common/home
Disallow: /index.php?route=product/product/captcha
Disallow: /*route=account/login
Disallow: /niks
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?manufacturer
Disallow: /*?keyword
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /index.php?route=product/search
Disallow: /index.php?route=information/contact/captcha
Disallow: /index.php?route=information/information&information_id=
Disallow: /index.php?route=account/login
Disallow: /*route=checkout/cart
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /uploads/products/3667/570e3e3e9b80e.jpg
Disallow: /uploads/products/2598/56444fb69297a.jpg
Disallow: /uploads/products/3497/56e7f3fb76881.jpg
Disallow: /model/818-genesis-bm-5x100-8-0x18-35-72-6
Disallow: /uploads/products/3498/56e7f407cca11.jpg
Disallow: /model/818-genesis-black-5x112-8-0x18-35-66-6
Disallow: /model/818-genesis-black-diamond-5x108-8-0x18-42-72-6
Disallow: /uploads/products/3499/56e7f425d4ce8.jpg
Disallow: /uploads/products/3501/56e7f43b95a2f.jpg
Disallow: /model/818-genesis-black-diamond-5x112-8-0x18-35-66-6
Disallow: /model/818-genesis-black-diamond-5x112-8-0x18-40-66-6
Disallow: /uploads/products/3500/56e7f41c58219.jpg
Disallow: /model/818-genesis-black-diamond-5x112-8-0x18-45-66-6
Disallow: /uploads/products/1765/54194663e8b53.jpg
Disallow: /model/818-genesis-gm-5x112-8-0x18-40-66-6
Disallow: /uploads/products/3666/570e3e2eb80a0.jpg
Disallow: /model/818-genesis-black-diamond-5x112-8-0x18-40-67-1
Disallow: /uploads/products/2728/56c322b2ac5f5.jpg
Disallow: /model/818-genesis-black-diamond-5x112-8-0x18-40-72-6
Disallow: /model/818-genesis-black-diamond-5x112-8-0x18-45-72-6
Disallow: /model/818-genesis-black-diamond-5x114-3-8-0x18-40-67-1
Disallow: /model/818-genesis-gm-5x114-3-8-0x18-40-67-1
Disallow: /uploads/products/1774/541959a33065c.jpg
Disallow: /model/818-genesis-gmd-5x114-3-8-0x18-40-67-1
Disallow: /uploads/products/2648/56444ff3a0e32.jpg
Disallow: /model/4043
Disallow: /model/818-genesis-black-diamond-5x120-8-0x18-40-72-6
Disallow: /model/818-genesis-bm-5x120-8-0x18-40-72-6
Disallow: /uploads/products/3926/580eeab4b02b9.jpg
Disallow: /model/818-genesis-gm-5x120-8-0x18-40-72-6
Disallow: /uploads/products/3927/580eeabeb0665.jpg
Disallow: /model/4044
Disallow: /uploads/products/3930/580eeadae0dad.jpg
Disallow: /model/2018-genesis-black-diamond-5x112-8-5x20-35-66-6
Disallow: /uploads/products/3932/580eeaf007d46.jpg
Disallow: /model/2018-genesis-black-diamond-5x112-8-5x20-42-66-6
Disallow: /model/2018-genesis-bm-5x112-8-5x20-42-66-6
Disallow: /uploads/products/3928/580eeac6de4c3.jpg
Disallow: /model/2018-genesis-bmd-5x112-8-5x20-35-66-6
Disallow: /uploads/products/3931/580eeae3c26c9.jpg
Disallow: /model/2018-genesis-gm-5x112-8-5x20-42-66-6
Disallow: /model/2018-genesis-black-diamond-5x112-8-5x20-45-72-6
Disallow: /model/2018-genesis-bm-5x112-8-5x20-45-72-6
Disallow: /uploads/products/3929/580eead044953.jpg
Disallow: /model/2018-genesis-gm-5x112-8-5x20-45-72-6
Disallow: /model/2018-genesis-gmd-5x112-8-5x20-45-72-6
Disallow: /model/2018-genesis-black-diamond-5x114-3-8-5x20-35-60-1
Disallow: /model/2018-genesis-gm-5x114-3-8-5x20-45-67-1
Disallow: /model/2018-genesis-silver-5x114-3-8-5x20-45-67-1
Disallow: /static/img/prv.png
Disallow: /model/2018-genesis-gmd-5x120-8-5x20-45-72-6
Disallow: /model/3966
Disallow: /uploads/products/3932/580eeaf007d46.jpg
Disallow: /uploads/products/3931/580eeae3c26c9.jpg
Disallow: /uploads/products/3930/580eeadae0dad.jpg
Disallow: /uploads/products/3929/580eead044953.jpg
Disallow: /uploads/products/3928/580eeac6de4c3.jpg
Disallow: /uploads/products/3927/580eeabeb0665.jpg
Disallow: /uploads/products/3926/580eeab4b02b9.jpg
Disallow: /uploads/products/3667/570e3e3e9b80e.jpg
Disallow: /uploads/products/3666/570e3e2eb80a0.jpg
Disallow: /uploads/products/3501/56e7f43b95a2f.jpg
Disallow: /uploads/products/3500/56e7f41c58219.jpg
Disallow: /uploads/products/3499/56e7f425d4ce8.jpg
Disallow: /uploads/products/3498/56e7f407cca11.jpg
Disallow: /uploads/products/3497/56e7f3fb76881.jpg
Disallow: /uploads/products/2728/56c322b2ac5f5.jpg
Disallow: /uploads/products/2648/56444ff3a0e32.jpg
Disallow: /uploads/products/2598/56444fb69297a.jpg
Disallow: /uploads/products/1774/541959a33065c.jpg
Disallow: /uploads/products/1765/54194663e8b53.jpg
Disallow: /model/818-genesis-gmd-5x114-3-8-0x18-40-67-1
Disallow: /model/818-genesis-gm-5x120-8-0x18-40-72-6
Disallow: /model/818-genesis-gm-5x114-3-8-0x18-40-67-1
Disallow: /model/818-genesis-gm-5x112-8-0x18-40-66-6
Disallow: /model/818-genesis-bm-5x120-8-0x18-40-72-6
Disallow: /model/818-genesis-bm-5x100-8-0x18-35-72-6
Disallow: /model/818-genesis-black-diamond-5x120-8-0x18-40-72-6
Disallow: /model/818-genesis-black-diamond-5x114-3-8-0x18-40-67-1
Disallow: /model/818-genesis-black-diamond-5x112-8-0x18-45-72-6
Disallow: /model/818-genesis-black-diamond-5x112-8-0x18-45-66-6
Disallow: /model/818-genesis-black-diamond-5x112-8-0x18-40-72-6
Disallow: /model/818-genesis-black-diamond-5x112-8-0x18-40-67-1
Disallow: /model/818-genesis-black-diamond-5x112-8-0x18-40-66-6
Disallow: /model/818-genesis-black-diamond-5x112-8-0x18-35-66-6
Disallow: /model/818-genesis-black-diamond-5x108-8-0x18-42-72-6
Disallow: /model/818-genesis-black-5x112-8-0x18-35-66-6
Disallow: /model/4044
Disallow: /model/4043
Disallow: /model/3966
Disallow: /model/2018-genesis-silver-5x114-3-8-5x20-45-67-1
Disallow: /model/2018-genesis-gmd-5x120-8-5x20-45-72-6
Disallow: /model/2018-genesis-gmd-5x112-8-5x20-45-72-6
Disallow: /model/2018-genesis-gm-5x114-3-8-5x20-45-67-1
Disallow: /model/2018-genesis-gm-5x112-8-5x20-45-72-6
Disallow: /model/2018-genesis-gm-5x112-8-5x20-42-66-6
Disallow: /model/2018-genesis-bmd-5x112-8-5x20-35-66-6
Disallow: /model/2018-genesis-bm-5x112-8-5x20-45-72-6
Disallow: /model/2018-genesis-bm-5x112-8-5x20-42-66-6
Disallow: /model/2018-genesis-black-diamond-5x114-3-8-5x20-35-60-1
Disallow: /model/2018-genesis-black-diamond-5x112-8-5x20-45-72-6
Disallow: /model/2018-genesis-black-diamond-5x112-8-5x20-42-66-6
Disallow: /model/2018-genesis-black-diamond-5x112-8-5x20-35-66-6
Disallow: /index.php?route=information/information/info&information_id=5
Disallow: /diski-na-avto/audi-1/?page=2
Disallow: /diski-na-avto/audi-1/?page=3
Disallow: /diski-na-avto/audi-1/?page=4
Disallow: /diski-na-avto/audi-1/?page=5
Disallow: /diski-na-avto/audi-1/?page=6
Disallow: /diski-na-avto/audi-1/?page=7
Disallow: /diski-na-avto/audi-1/?page=8
Disallow: /diski-na-avto/audi-1/?page=9
Disallow: /diski-na-avto/audi-1/?page=10
Disallow: /diski-na-avto/audi-1/?page=11
Disallow: /diski-na-avto/audi-1/?page=12
Disallow: /diski-na-avto/audi-1/?page=13
Disallow: /diski-na-avto/audi-1/?page=14
Disallow: /diski-na-avto/audi-1/?page=15
Disallow: /diski-na-avto/audi-1/?page=16
Disallow: /diski-na-avto/audi-1/?page=17
Disallow: /diski-na-avto/audi-1/?page=18
Disallow: /diski-na-avto/audi-1/?page=19
Disallow: /diski-na-avto/audi-1/?page=20
Disallow: /diski-na-avto/audi-1/?page=21
Disallow: /diski-na-avto/audi-1/?page=22
Disallow: /diski-na-avto/audi-1/?page=23
Disallow: /diski-na-avto/audi-1/?page=24
Disallow: /diski-na-avto/audi-1/?page=25
Disallow: /diski-na-avto/audi-1/?page=26
Disallow: /diski-na-avto/audi-1/?page=27
Disallow: /diski-na-avto/audi-1/?page=28
Disallow: /diski-na-avto/bmw-1/?page=2
Disallow: /diski-na-avto/bmw-1/?page=3
Disallow: /diski-na-avto/bmw-1/?page=4
Disallow: /diski-na-avto/bmw-1/?page=5
Disallow: /diski-na-avto/bmw-1/?page=6
Disallow: /diski-na-avto/bmw-1/?page=7
Disallow: /diski-na-avto/bmw-1/?page=8
Disallow: /diski-na-avto/bmw-1/?page=9
Disallow: /diski-na-avto/bmw-1/?page=10
Disallow: /diski-na-avto/bmw-1/?page=11
Disallow: /diski-na-avto/bmw-1/?page=12
Disallow: /diski-na-avto/bmw-1/?page=13
Disallow: /diski-na-avto/bmw-1/?page=14
Disallow: /diski-na-avto/bmw-1/?page=15
Disallow: /diski-na-avto/bmw-1/?page=16
Disallow: /diski-na-avto/bmw-1/?page=17
Disallow: /diski-na-avto/bmw-1/?page=18
Disallow: /diski-na-avto/bmw-1/?page=19
Disallow: /diski-na-avto/bmw-1/?page=20
Disallow: /diski-na-avto/bmw-1/?page=30
Disallow: /diski-na-avto/chevrolet-1/?page=2
Disallow: /diski-na-avto/chevrolet-1/?page=3
Disallow: /diski-na-avto/chevrolet-1/?page=4
Disallow: /diski-na-avto/citroen-1/?page=2
Disallow: /diski-na-avto/citroen-1/?page=3
Disallow: /diski-na-avto/citroen-1/?page=4
Disallow: /diski-na-avto/citroen-1/?page=5
Disallow: /diski-na-avto/ford-1/?page=2
Disallow: /diski-na-avto/ford-1/?page=3
Disallow: /diski-na-avto/ford-1/?page=4
Disallow: /diski-na-avto/ford-1/?page=5
Disallow: /diski-na-avto/honda-1/?page=2
Disallow: /diski-na-avto/honda-1/?page=3
Disallow: /diski-na-avto/hyundai-1/?page=2
Disallow: /diski-na-avto/hyundai-1/?page=3
Disallow: /diski-na-avto/hyundai-1/?page=4
Disallow: /diski-na-avto/infiniti-1/?page=2
Disallow: /diski-na-avto/jeep-1/?page=2
Disallow: /diski-na-avto/kia-1/?page=2
Disallow: /diski-na-avto/kia-1/?page=3
Disallow: /diski-na-avto/kia-1/?page=4
Disallow: /diski-na-avto/kia-1/?page=5
Disallow: /diski-na-avto/land-rover/?page=2
Disallow: /diski-na-avto/lexus-1/?page=2
Disallow: /diski-na-avto/lexus-1/?page=3
Disallow: /diski-na-avto/mazda-1/?page=2
Disallow: /diski-na-avto/mazda-1/?page=3
Disallow: /diski-na-avto/mazda-1/?page=4
Disallow: /diski-na-avto/mazda-1/?page=5
Disallow: /diski-na-avto/mitsubishi-1/?page=2
Disallow: /diski-na-avto/mitsubishi-1/?page=3
Disallow: /diski-na-avto/nissan-1/?page=2
Disallow: /diski-na-avto/nissan-1/?page=3
Disallow: /diski-na-avto/nissan-1/?page=4
Disallow: /diski-na-avto/opel-1/?page=2
Disallow: /diski-na-avto/opel-1/?page=3
Disallow: /diski-na-avto/opel-1/?page=4
Disallow: /diski-na-avto/opel-1/?page=5
Disallow: /diski-na-avto/opel-1/?page=6
Disallow: /diski-na-avto/opel-1/?page=7
Disallow: /diski-na-avto/opel-1/?page=8
Disallow: /diski-na-avto/peugeot-1/?page=2
Disallow: /diski-na-avto/peugeot-1/?page=3
Disallow: /diski-na-avto/peugeot-1/?page=4
Disallow: /diski-na-avto/porsche-1/?page=2
Disallow: /diski-na-avto/porsche-1/?page=3
Disallow: /diski-na-avto/porsche-1/?page=4
Disallow: /diski-na-avto/renault-1/?page=2
Disallow: /diski-na-avto/renault-1/?page=3
Disallow: /diski-na-avto/seat-1/?page=2
Disallow: /diski-na-avto/seat-1/?page=3
Disallow: /diski-na-avto/seat-1/?page=4
Disallow: /diski-na-avto/skoda-1/?page=2
Disallow: /diski-na-avto/skoda-1/?page=3
Disallow: /diski-na-avto/skoda-1/?page=4
Disallow: /diski-na-avto/skoda-1/?page=5
Disallow: /diski-na-avto/skoda-1/?page=6
Disallow: /diski-na-avto/skoda-1/?page=7
Disallow: /diski-na-avto/skoda-1/?page=8
Disallow: /diski-na-avto/skoda-1/?page=9
Disallow: /diski-na-avto/skoda-1/?page=10
Disallow: /diski-na-avto/skoda-1/?page=11
Disallow: /diski-na-avto/skoda-1/?page=12
Disallow: /diski-na-avto/skoda-1/?page=13
Disallow: /diski-na-avto/skoda-1/?page=14
Disallow: /diski-na-avto/skoda-1/?page=15
Disallow: /diski-na-avto/skoda-1/?page=16
Disallow: /diski-na-avto/skoda-1/?page=17
Disallow: /diski-na-avto/skoda-1/?page=18
Disallow: /diski-na-avto/skoda-1/?page=19
Disallow: /diski-na-avto/skoda-1/?page=20
Disallow: /diski-na-avto/skoda-1/?page=21
Disallow: /diski-na-avto/subaru-1/?page=2
Disallow: /diski-na-avto/toyota-1/?page=2
Disallow: /diski-na-avto/toyota-1/?page=3
Disallow: /diski-na-avto/toyota-1/?page=4
Disallow: /diski-na-avto/toyota-1/?page=5
Disallow: /diski-na-avto/toyota-1/?page=6
Disallow: /diski-na-avto/volkswagen-1/?page=2
Disallow: /diski-na-avto/volkswagen-1/?page=3
Disallow: /diski-na-avto/volkswagen-1/?page=4
Disallow: /diski-na-avto/volkswagen-1/?page=5
Disallow: /diski-na-avto/volkswagen-1/?page=6
Disallow: /diski-na-avto/volkswagen-1/?page=7
Disallow: /diski-na-avto/volkswagen-1/?page=8
Disallow: /diski-na-avto/volkswagen-1/?page=9
Disallow: /diski-na-avto/volkswagen-1/?page=10
Disallow: /diski-na-avto/volkswagen-1/?page=11
Disallow: /diski-na-avto/volkswagen-1/?page=12
Disallow: /diski-na-avto/volkswagen-1/?page=13
Disallow: /diski-na-avto/volkswagen-1/?page=14
Disallow: /diski-na-avto/volkswagen-1/?page=15
Disallow: /diski-na-avto/volkswagen-1/?page=16
Disallow: /diski-na-avto/volkswagen-1/?page=17
Disallow: /diski-na-avto/volkswagen-1/?page=18
Disallow: /diski-na-avto/volkswagen-1/?page=19
Disallow: /diski-na-avto/volkswagen-1/?page=20
Disallow: /diski-na-avto/volkswagen-1/?page=21
Disallow: /diski-na-avto/volkswagen-1/?page=22
Disallow: /diski-na-avto/volkswagen-1/?page=23
Disallow: /diski-na-avto/volkswagen-1/?page=24
Disallow: /diski-na-avto/volkswagen-1/?page=25
Disallow: /diski-na-avto/volkswagen-1/?page=26
Disallow: /diski-na-avto/volkswagen-1/?page=27
Disallow: /diski-na-avto/volkswagen-1/?page=28
Disallow: /diski-na-avto/volvo-1/?page=2
Disallow: /diski-na-avto/volvo-1/?page=3
Disallow: /diski-na-avto/volvo-1/?page=4
Disallow: /diski-na-avto/mercedes-1/?page=2
Disallow: /diski-na-avto/mercedes-1/?page=3
Disallow: /diski-na-avto/mercedes-1/?page=4
Disallow: /diski-na-avto/mercedes-1/?page=5
Disallow: /diski-na-avto/mercedes-1/?page=6
Disallow: /diski-na-avto/mercedes-1/?page=7
Disallow: /diski-na-avto/mercedes-1/?page=8
Disallow: /diski-na-avto/mercedes-1/?page=9
Disallow: /diski-na-avto/mercedes-1/?page=10
Disallow: /diski-na-avto/mercedes-1/?page=11
Disallow: /diski-na-avto/mercedes-1/?page=12
Disallow: /diski-na-avto/mercedes-1/?page=13
Disallow: /disla/?page=2
Disallow: /allante/?page=2
Disallow: /trw/?page=2
Disallow: /trw/?page=3
Disallow: /trw/?page=4
Disallow: /vossen-1/?page=2
Disallow: /vossen-1/?page=3
Disallow: /zw-2/?page=2
Disallow: /zw-2/?page=3
Disallow: /zw-2/?page=4
Disallow: /zw-2/?page=5
Disallow: /zw-2/?page=6
Disallow: /zw-2/?page=7
Disallow: /zw-2/?page=8
Disallow: /zw-2/?page=9
Disallow: /zw-2/?page=10
Disallow: /zw-2/?page=11
Disallow: /zw-2/?page=12
Disallow: /zw-2/?page=13
Disallow: /zw-2/?page=14
Disallow: /zw-2/?page=15
Disallow: /zw-2/?page=16
Disallow: /zw-2/?page=17
Disallow: /zw-2/?page=18
Disallow: /zw-2/?page=19
Disallow: /zw-2/?page=20
Disallow: /yokatta-rays/?page=2
Disallow: /stalnye-diski/?page=2
Disallow: /stalnye-diski/?page=3
Disallow: /diski-na-avto/acura-1/
Disallow: /diski-na-avto/cadillac-1/
Disallow: /diski-na-avto/chery-1/
Disallow: /diski-na-avto/dodge-1/
Disallow: /simplecheckout/
Disallow: /forgot-password/
Disallow: /tajvan.html
Disallow: /diski-na-avto/?page=23
Host: https://мой сайт.com.ua
Изменено пользователем Avrel
Ссылка на комменирий
Погделиться на других сайих

RubenS Enthusiast

RubenS

Опубликовано:
Опубликовано:

Мое мнение про пряиние админки в robots.txt.

 

Если она у вас синдартная (../admin/), то только налинающий хакер не знает ее урл в opencart и сгделать на запрет на нее для ропотому чтотов не страшно.

Но если она у вас другая и на нее (или из нее) нет ссылок на другие ресурсы со счетликами (а сейчас они стоят почти на всех сайих) то лучше ее не светить.

 

Для пуещёй безопасности, данную папку можно запаролить средствами веб-сервера (http://www.softtime.ru/info/apache.php?id_article=27)

 

И еещё, для opencart есть модуль Simple Login Security повышающий безопасность входа в админку.

 

Вот тут я немного сомневаюсь, ик ли это:

почти все суещёствующие браузеры перед входом на страницу в ввегденную в строке урл сначала бегут в усиновленный в нем поисковик, т.е. поисковик все равно знает о вашей секретной страниэто!

 

!!! Всегда усинавливайте сложные пароли и проверяйте логи админки !!!

Ссылка на комменирий
Погделиться на других сайих

bitterlemon Enthusiast

bitterlemon

Опубликовано:
Опубликовано:

 

Но если она у вас другая и на нее (или из нее) нет ссылок на другие ресурсы со счетликами (а сейчас они стоят почти на всех сайих) то лучше ее не светить.

 

Ну да, я тоже ик думаю. Люпотому чтой дурак откроет robots и сразу поймет , ггде админка. Оно нам надо? ...

Ссылка на комменирий
Погделиться на других сайих

Blow Explorer

Blow

Опубликовано:
Опубликовано: (изменено)

какой параметр в robots отвечает за ссылки в ингдексе отсортированные по разному?
В ингдекс залилась одна категория сайи с окончаниями вида:
 

/?limit=25&page=2
/?page=%7Bpage%7D
/?limit=21&page=3
/?limit=21&page=2
/?sort=rating&order=DESC&page=2
/?sort=rating&order=ASC&page=2
/?sort=rating&order=DESC&page=3
/?sort=rating&order=ASC&page=3
/?sort=pd.name&order=DESC&page=2
/?sort=p.price&order=ASC&page=2
/?sort=p.model&order=ASC&page=2
/?sort=p.price&order=ASC&page=3
/?sort=p.price&order=DESC&page=2
/?sort=p.model&order=DESC&page=2
/?sort=pd.name&order=DESC&page=3

Вредно ли это для категории?
По сути одна страница по разному отсортированная 

полагаю: Эти?
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
 
Что гделать с теми ссылками которые уже в ингдексе после того как отредактировал robots?
Ждать пока поисковики сами удалят или вручную просить удалить их у поисковиков?
Изменено пользователем Blow
Ссылка на комменирий
Погделиться на других сайих

florapraktik Mentor

florapraktik

Опубликовано:
Опубликовано:

 

 

Что гделать с теми ссылками которые уже в ингдексе после того как отредактировал robots?
Ждать пока поисковики сами удалят или вручную просить удалить их у поисковиков?

 

Ничего не гделать. Это не коскак. :-)

Ссылка на комменирий
Погделиться на других сайих

Blow Explorer

Blow

Опубликовано:
Опубликовано:

Ничего не гделать. Это не коскак. :-)

Спасипотому что) а то у меня из за  ропотому чтотса "/каилог" заблокировал кучу страниц и я паникую сейчас в ожидании разблокировки.

Ссылка на комменирий
Погделиться на других сайих

Blow Explorer

Blow

Опубликовано:
Опубликовано:

Гугл продолжает блокировать ресурсы. На заблокированных ресурсах подсвеливает зеленым параметр allow/catalog 
То есть по игдее не должен блокировать.
Проблема именно в catalog
Как только удаляю robots когдачество заблокированных страниц падает

Мой robots:
 

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Allow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
 
User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Allow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Clean-param: tracking


Host: 
Sitemap:
Ссылка на комменирий
Погделиться на других сайих

florapraktik Mentor

florapraktik

Опубликовано:
Опубликовано: (изменено)

 

Гугл продолжает блокировать ресурсы. 

...

Проблема именно в catalog

 

 

...

Disallow: /catalog

...

 

Потом, в конэто списка запретов идут разрешения (открытия):

 

Allow: /catalog/view/javascript

Allow: /catalog/view/image

Allow: /catalog/view/stylesheet

Allow: /catalog/view/*/javascript

Allow: /catalog/view/*/image

Allow: /catalog/view/*/stylesheet

 

Вот ик мне открыли скрипты, стили и картинки. А сам каилог, как видите, закрыт.

 

Что Вы называете "блокирует"? Он и должен блокировать всё лишнее. В этом смысл, как бы.

Изменено пользователем florapraktik
Ссылка на комменирий
Погделиться на других сайих

Blow Explorer

Blow

Опубликовано:
Опубликовано:

...

Disallow: /catalog

...

 

Потом, в конэто списка запретов идут разрешения (открытия):

 

Allow: /catalog/view/javascript

Allow: /catalog/view/image

Allow: /catalog/view/stylesheet

Allow: /catalog/view/*/javascript

Allow: /catalog/view/*/image

Allow: /catalog/view/*/stylesheet

 

Вот ик мне открыли скрипты, стили и картинки. А сам каилог, как видите, закрыт.

 

Что Вы называете "блокирует"? Он и должен блокировать всё лишнее. В этом смысл, как бы.

 

 

Заблокировано в файле robots.txt

Должен блокировать то что не нужно, а не страницы с товарами правильно ведь? В списке заблокированных именно страницы товаров, а не админки и прочего...

Спасипотому что за решение. Попробую.

 

Ссылка на комменирий
Погделиться на других сайих

florapraktik Mentor

florapraktik

Опубликовано:
Опубликовано: (изменено)

Кто нибудь ответьте пожалуйси почему нежелательно разрешать доступ к каилогу (Allow: /catalog) чем чревато?

Присоединяюсь к вопросу!

 

Как раз сигдел и думал. Попропотому чтовал зайти в каилог через строку браузера в ответ полулил:

You don't have permission to access /catalog/ on this server.

Т.е., меня туда не пустили. А ропотому чтотов пускают? И вообещё, как они туда попадают?

Были разговоры про админку, типа: "не надо, закрывать админку от ропотому чтотов, ипотому что ипотому что они о ней и ик не знают".

ОК, а про /catalog знают? Откуда?

 

ПыСы. Кажется, понял - из ссылок в хегде, вот откуда!

Выходит, надо закрывать, что бы потому чтот не заблудился во всех этих вкумодах и кешах?

С другой стороны, а про вкумоды и кеши он откуда знает?

 

Blow, а какие урлы у Ваших "заблокированных страниц".

Как Вы сгделали вывод, что закрыли ропотому чтоим полезные страницы?

Когда Вы гделаете "посмотреть как гуглепотому чтот", то что Вам отвечают?

Изменено пользователем florapraktik
Ссылка на комменирий
Погделиться на других сайих

Otvet Grand Master

Otvet

Опубликовано:
Опубликовано:

не везгде catalog отдает 403

иногда открывается гдерево категорий с файлами (Options Indexes)

 

а попадают туда часто по сирой ссылке (другая cms была, перешли на опенкарт)

  • +1 1
Ссылка на комменирий
Погделиться на других сайих
1

Blow Explorer

Blow

Опубликовано:
Опубликовано: (изменено)

 

Blow, а какие урлы у Ваших "заблокированных страниц".

Как Вы сгделали вывод, что закрыли ропотому чтоим полезные страницы?

Когда Вы гделаете "посмотреть как гуглепотому чтот", то что Вам отвечают?

 

опять зря паникую походу.

В расширенных данных (ситусы ингдексирования) показал что поползли вверх заблокированные.

Bezimeni2j_4920425_24804735.jpg

Днём позже. В "Заблокированных ресурсах" поползли вниз. 

Это просто с allow/catalog

Сейчас пробую с тем что Вы посоветовали только ещё надо было открыть им "Allow: /catalog/view/theme/"

 

Bezimeni1j_3609278_24804744.jpg

Когда смотрел как гуглепотому чтот c allow/catalog он (потому чтот) отображал нормально страницу ик как полагается и в нем не было заблокированных файлов и скриптов.

Просто удивился почему поползли вверх заблокированные. Сейчас думаю что без robots он добавил в ингдекс бесполезные страницы, и с robots и allow/catalog

начал блокировать бесполезные и у меня потому чтомбануло. Потому что в списке заблокированных пока что отображаются именно полезные страницы с товарами. 

Причем в блок попали и новые страницы которые были добавлены уже при allow/catalog

отсюда и смутился 

 

Изменено пользователем Blow
Ссылка на комменирий
Погделиться на других сайих

florapraktik Mentor

florapraktik

Опубликовано:
Опубликовано:

Верните на место свой ропотому чтотс.тхт с закрытым catalog, но добавьте в конэто списка то, что я написал - откроете скрипты, стили и картинки.

Потом скормите "посмотреть как гуглепотому чтот" урлы со страницы товара, со страницы категории и что Вы им ещё хотите ему показать. И полиийте, что скажет.

Всё нормально должно быть, по игдее.

То, что в резульите Ваших экспериментов были проингдексированы лишние дубли, то это не влияет на поисковый рейтинг сайи (если Вас это беспокоит).

 

На будуещёе: привыкайте аккуратней с эксперименими - не гделайте телодвижений, смысла которых не понимаете (зачем было сносить ропотому чтотс.тхт?).

Ссылка на комменирий
Погделиться на других сайих

Blow Explorer

Blow

Опубликовано:
Опубликовано:

Верните на место свой ропотому чтотс.тхт с закрытым catalog, но добавьте в конэто списка то, что я написал - откроете скрипты, стили и картинки.

Потом скормите "посмотреть как гуглепотому чтот" урлы со страницы товара, со страницы категории и что Вы им ещё хотите ему показать. И полиийте, что скажет.

Всё нормально должно быть, по игдее.

То, что в резульите Ваших экспериментов были проингдексированы лишние дубли, то это не влияет на поисковый рейтинг сайи (если Вас это беспокоит).

 

На будуещёе: привыкайте аккуратней с эксперименими - не гделайте телодвижений, смысла которых не понимаете (зачем было сносить ропотому чтотс.тхт?).

 Перенес сайт на новый OpenCart (с 1.5 на 2.3) и на другой сервер и шаблон новый. По умолчанию в новом open cart,  Robots небыло. Когда закинул не обратил внимание что она начал блокать всё подряд. Для этого и снёс. 

Да ик как Вы написали и сгделал. + добавил это  "Allow: /catalog/view/theme/"

Матюкался ропотому чтот на это

Ссылка на комменирий
Погделиться на других сайих

  • 5 негдель спустя...
Delight Rookie

Delight

Опубликовано:
Опубликовано:

Добрый гдень!

В проверке отвеи сервера, всех страниц категорий и товаров, выдает следуюещёе:

Данный URL запрещён к ингдексированию в файле robots.txt 

файл robots.txt синдартный, только добавлены host и sitemap.

Подскажите пожалуйси, в чем может быть проблема?

Ссылка на комменирий
Погделиться на других сайих

Delight Rookie

Delight

Опубликовано:
Опубликовано:
1 час назад, Delight сказал:

Добрый гдень!

В проверке отвеи сервера, всех страниц категорий и товаров, выдает следуюещёе:

Данный URL запрещён к ингдексированию в файле robots.txt 

файл robots.txt синдартный, только добавлены host и sitemap.

Подскажите пожалуйси, в чем может быть проблема?

Прошу проещёния, разобрался

Ссылка на комменирий
Погделиться на других сайих

  • 3 месяца спустя...
yaros888 Enthusiast

yaros888

Опубликовано:
Опубликовано:

Подскажите  в янгдексе 2000 страниц  и  гугле 3300 страниц при этом товара на сайи около 2000 товаров  это нормально или файл тхт не правильно сгделали. Подскажите т.к. в этом не осопотому что силен .файл ниже. Спасипотому что за ответ

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category
Host: galcom.com.ua

Ссылка на комменирий
Погделиться на других сайих

  • 1 месяц спустя...
AlfredS Explorer

AlfredS

Опубликовано:
Опубликовано: (изменено)

А зачем вот это все дублируется? 

Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=

Разве нельзя ик написать?

Disallow: /*sort

Disallow: /*order

Disallow: /*limit

и тд.

 

А эи строка Disallow: /index.php?route=product/product*&manufacturer_id=

равнозначна вот этот Disallow: /index.php?route=product/product

Да что может ик?

Disallow: /*manufacturer_id

Изменено пользователем AlfredS
  • +1 1
Ссылка на комменирий
Погделиться на других сайих

  • 1 месяц спустя...
storer Proficient

storer

Опубликовано:
Опубликовано: (изменено)

Всем привет.

Посмотрите мой robots.txt, кому не трудно. Может что-то поправить нужно.

 

Янгдекс.Вебмастер выдает икие резульиты:

Загруженные страницы - 1013
Страницы в поиске - 504
Исключённые страницы - 9

 

User-agent: *
Allow: /catalog/view/javascript/
Allow: /catalog/view/theme/*/
Disallow: /.well-known
Disallow: /smslog
Disallow: /cgi-bin/
Disallow: /admin
Disallow: /cache
Disallow: /niks
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /404
Disallow: /route=account/*
Disallow: /route=account/login*
Disallow: /route=checkout/*
Disallow: /route=checkout/cart*
Disallow: /route=affiliate/*
Disallow: /route=product/search*
Disallow: /route=uni_blog/search*
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /index.php?route=product*
Disallow: /index.php?route=caregory*
Disallow: /index.php?route=manufacturer*
Disallow: /?page=*
Disallow: /?sort=*
Disallow: /?sort*
Disallow: /&sort=*
Disallow: /?order=*
Disallow: /?order*
Disallow: /&order=*
Disallow: /?limit=*
Disallow: /&limit=*
Disallow: /?filter_name=*
Disallow: /&filter_name=*
Disallow: /?filter_sub_category=*
Disallow: /&filter_sub_category=*
Disallow: /?filter_description=*
Disallow: /&filter_description=*
Disallow: /?tracking=*
Disallow: /&tracking=*
Disallow: /?manufacturer*
Disallow: /?keyword*
Disallow: /?tag=
Clean-param: tracking
Clean-param: filter_name
Clean-param: filter_sub_category
Clean-param: filter_description
Sitemap: site.ru/sitemap.xml

 

User-agent: Yandex
Allow: /catalog/view/javascript/
Allow: /catalog/view/theme/*/
Disallow: /.well-known
Disallow: /smslog
Disallow: /cgi-bin/
Disallow: /admin
Disallow: /cache
Disallow: /niks
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /404
Disallow: /route=account/*
Disallow: /route=account/login*
Disallow: /route=checkout/*
Disallow: /route=checkout/cart*
Disallow: /route=affiliate/*
Disallow: /route=product/search*
Disallow: /route=uni_blog/search*
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /index.php?route=product*
Disallow: /index.php?route=caregory*
Disallow: /index.php?route=manufacturer*
Disallow: /?page=*
Disallow: /?sort=*
Disallow: /?sort*
Disallow: /&sort=*
Disallow: /?order=*
Disallow: /?order*
Disallow: /&order=*
Disallow: /?limit=*
Disallow: /&limit=*
Disallow: /?filter_name=*
Disallow: /&filter_name=*
Disallow: /?filter_sub_category=*
Disallow: /&filter_sub_category=*
Disallow: /?filter_description=*
Disallow: /&filter_description=*
Disallow: /?tracking=*
Disallow: /&tracking=*
Disallow: /?manufacturer*
Disallow: /?keyword*
Disallow: /?tag=
Clean-param: tracking
Clean-param: filter_name
Clean-param: filter_sub_category
Clean-param: filter_description
Host: site.ru
Sitemap: site.ru/yandex.xml

Изменено пользователем storer
Ссылка на комменирий
Погделиться на других сайих

Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы осивить комменирий

Создать аккаунт

Зарегистрируйтесь для получения аккауни. Это просто!

Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите згдесь.

Войти сейчас
 Погделиться
Перейти к списку тем

Покупателям

Разрилитликам

Полезная информация

Последние дополнения

×
×
  • Создать...

Важная информация

На нашем сайте используются файлы cookie и происходит обрилитка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфигденциальности.

  Я принимаю