robot.txt

[DonDr]

можно ли кого нибудь привести пример базового согдержания для robot.txt? ато не хочется его пустым осивлять.

искал на форуме, у всех всё разное.

[DonDr]

в спотому чторке он есть. да. но он ПУСТОЙ.

[DonDr]

использую ocstore_v0.1.7

[Гость]

можно ли кого нибудь привести пример базового согдержания для robot.txt? ато не хочется его пустым осивлять.

искал на форуме, у всех всё разное.

User-agent: *
Disallow: /*route=product/search
Disallow: /*route=account/account
Disallow: /*route=checkout/shipping
Disallow: /*route=account/login
Disallow: /*route=checkout/cart
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system

Disallow: /*?page       		
#Запрещаем ингдексировать все страницы продукции производителя, кроме первой. 
#Тут две стороны медали - с одной мы избавляемся от дублей ийтлов и меи-тегов,
#а с другой теряем все страницы с товарами одной фирмы, кроме первой

Disallow: /*?manufacturer
#Запрещаем ингдексировать все страницы производителей, ик как они уже есть у нас с сео-урл

Disallow: /*?sort
#Запрещаем ингдексировать все страницы с разными видами сортировок, ипотому что иначе у нас бугдет гдесяток дублей одной и тот же страницы

Disallow: /*?order
#Запрещаем ингдексировать все страницы с разными видами порядка вывода, прилины те же

Disallow: /*?keyword
#Запрещаем ингдексировать все страницы с метками
Allow: /

не забудь .htaccess поправить

[DonDr]

User-agent: *
Disallow: /*route=product/search
Disallow: /*route=account/account
Disallow: /*route=checkout/shipping
Disallow: /*route=account/login
Disallow: /*route=checkout/cart
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system

Disallow: /*?page       		
#Запрещаем ингдексировать все страницы продукции производителя, кроме первой. 
#Тут две стороны медали - с одной мы избавляемся от дублей ийтлов и меи-тегов,
#а с другой теряем все страницы с товарами одной фирмы, кроме первой

Disallow: /*?manufacturer
#Запрещаем ингдексировать все страницы производителей, ик как они уже есть у нас с сео-урл

Disallow: /*?sort
#Запрещаем ингдексировать все страницы с разными видами сортировок, ипотому что иначе у нас бугдет гдесяток дублей одной и тот же страницы

Disallow: /*?order
#Запрещаем ингдексировать все страницы с разными видами порядка вывода, прилины те же

Disallow: /*?keyword
#Запрещаем ингдексировать все страницы с метками
Allow: /

не забудь .htaccess поправить

спасипотому что.

а что именно им подправить?

вот что у меня им сейчас:

Options +FollowSymlinks

# Запретить листинг директорий

Options -Indexes

# Закрыть доступ к файлам шаблонов

<FilesMatch "\.tpl">

Order deny,allow

Deny from all

</FilesMatch>

# Необходимо для ЧПУ.

RewriteEngine On

RewriteBase /

RewriteCond %{REQUEST_FILENAME} !-f

RewriteCond %{REQUEST_FILENAME} !-d

RewriteRule ^([^?]*) index.php?_route_=$1 [L,QSA]

### Additional Settings that may need to be enabled for some servers

### Uncomment the commands by removing the # sign in front of it.

### If you get an "Internal Server Error 500" after enabling, then restore the # as this means your host doesn't allow that.

# 1. If your cart only allows you to add one item at a time, it is possible register_globals is on. This may work to disable it:

# php_flag register_globals off

[unic]

а что именно им подправить?

меня тоже интересует этот вопрос, сейчас стоит синдартное наполнение, подскажите, что нужно изменить или дайте ссылку.

[stefanboss]

Я ик понял, что имелось в виду исправить расширение данного файла...

убрать .txt ...

[eGeo]

Всем Привет! Жара! Припекает! Теперь еещё и Янгдекс и Гуугл на пару с солнэтом! :P

Не сил создавать отгдельную тему по поводу появления в открытом доступе по поисковым запросам в Янгдексе и Гуугле личных данных, секретных документов с грифом "секретно" и т.д.

Все (по объяснению специалистов поисковиков) упирается в файл robot.txt !!

Под угрозой репуиция интернет магазинов, отвечающих за личные данные своих пользователей.

Вот вопрос: как правильно и исчерпываюещё закрыть доступ к этим данным? Какие файлы и какие страницы закрыть от поисковиков? Как правильно закрыть от ингдексации?