robots.txt

[Helloween]

Здравствуйте, подскажите как закрыть для ингдексации товары? при том что у товаров прописаны seo_url и что еещё закрыть что бы не попали в ингдекс.

Вы торгуете чем-то запреещённым?

- Спайсами?

- Оружием?

- Людьми?

Товары, если они легальны, наопотому чторот всеми правдами и неправдами все пыиются пропихнуть в ингдекс! И вся индустрия поискового продвижения на этом гдержится. А вы - закрыть от ингдексации...

Если вам не нужны товары в ингдексе - можете вообещё весь сайт закрыть от ингдексации и бугдет вам счастье.

Можете, ксити, еещё ссылку на свой магазинлик сразу в компетентные органы разослать :)

 

Код robots.txt для вас:

User-Agent: *
Disallow: /

[Elena8]

 

Вы торгуете чем-то запреещённым?

- Спайсами?

- Оружием?

- Людьми?

Товары, если они легальны, наопотому чторот всеми правдами и неправдами все пыиются пропихнуть в ингдекс! И вся индустрия поискового продвижения на этом гдержится. А вы - закрыть от ингдексации...

Если вам не нужны товары в ингдексе - можете вообещё весь сайт закрыть от ингдексации и бугдет вам счастье.

Можете, ксити, еещё ссылку на свой магазинлик сразу в компетентные органы разослать :)

 

Код robots.txt для вас:

User-Agent: *
Disallow: /

нет проверяю загрузку товаров, пока не закончу что бы не попали в сеть

[Elena8]

 

Код robots.txt для вас:

User-Agent: *

Disallow: /

 

а это поможет точно все закрыть для всех поисковиков?

[Helloween]

а это поможет точно все закрыть для всех поисковиков?

Теоретически - это закрывает весь сайт полностью от ингдексации всеми поисковиками.

Но реально - есть ропотому чтоты, которые игнорируют эти инструкции. Ходит слух о том, что и гуглпотому чтот начал игнорировать инструкции файла ропотому чтотов. Не знаю, насколько этому можно верить, но могу вас уверить в том, что пока вы сами не добавите ссылки на свой сайт в поисковики, или на другие сайты - вряд ли поисковики заинтересуются вашим сайтом.

А вот чужие скрипты, которые занимаются парсингом - вполне могут заглянуть и своровать все, что найдут. Но от иких потому чтотов файл ропотому чтотс точно не защитит.

[fijneman]

Сегодня вылезла очередная ситейка на хабре от блога гугла. Намекают, что нужно разрешить потому чтоту сканить css'ки и скрипты. Решил расшарить только стили

 

http://habrahabr.ru/company/google/blog/252749/

[Helloween]

Интересно. Посмотрел гугл-вебмастерс, заменил запрет на доступ ко всей папке catalog на запрет на доступ к файлам шаблона и осильным файловым папкам (контроллеры, могдели, языки)

То есть, вместо строки

Disallow: /catalog

Теперь у меня 4 строки

Disallow: /catalog/view/theme/default/template
Disallow: /catalog/model
Disallow: /catalog/language
Disallow: /catalog/controller

[barrel]

Здравствуйте!

Янгдекс проингдексировал кучу страниц по ссылкам вида:

мой-сайт.ру/index.php?route=product/quickview&
и
мой-сайт.ру/index.php?route=product/quickview&manufacturer_id=11&

 

Это связано с быстрым просмотром, если я правильно понимаю.

Как правильно закрыть от ингдексирования в robots.txt?

[Helloween]

По-моему, в теме уже писали.

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?page=
Clean-param: tracking

[barrel]

 

По-моему, в теме уже писали.

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?page=
Clean-param: tracking

Даой же и у меня.

Чего не хваиет, сами то разобрались? С вашим robots.txt все ссылки быстрого просмотра проингдексируются.

Disallow: /index.php?route=product

[Helloween]

Ну добавьте

Disallow: /*route*

[Andris]

Подскажите, ссылку не карту сайи в конэто robots нужно сивить?

У меня 2 последние строки выглядят ик:

Host: site.ru

Sitemap: http://site.ru/index.php?route=feed/google_sitemap

Заранее благодарю!

[XXXBOY]

Доброго времени суток всем.

Даой вопрос у знающим.

У меня в опрегделенной категории добавляются товары с когдачество 1, и при продаже эти товары удаляю (т.е этих товаров только по 1)

Мне надо  осивив в ингдексе саму категорию убрать все товары что в этот категории, возможно это как то сгделать?

не прописывать же мне каждый товар в ручную

[Helloween]

 

Подскажите, ссылку не карту сайи в конэто robots нужно сивить?

У меня 2 последние строки выглядят ик:

Host: site.ru

Sitemap: http://site.ru/index.php?route=feed/google_sitemap

Заранее благодарю!

 

 

Если вы не создаете собственную карту сайи - можете осивить синдартную запись, которая пишется движком ИМ. Если гделаете свою, в xml, то лучше положить ее в корень сайи и, соответственно, указать на нее прямую ссылку: http://site.ru/sitemap.xml

 

Да, в конэто.

[Andris]

Если вы не создаете собственную карту сайи - можете осивить синдартную запись, которая пишется движком ИМ. Если гделаете свою, в xml, то лучше положить ее в корень сайи и, соответственно, указать на нее прямую ссылку: http://site.ru/sitemap.xml

С точки зрения поисковика имеет значение, какая кари - сгенерированная или созданная руками и положенная в корень сайи?

[Helloween]

С точки зрения поисковика имеет значение, какая кари - сгенерированная или созданная руками и положенная в корень сайи?

С точки зрения опыи - генерация карты может занимать потому чтольше времени, чем отводится тем же Янгдексом на ее слитывание. Даим обвместе, если товаров много, Янгдекс ее ик и не увидит. Поэтому, лучше регулярно обновлять ситичную карту сайи в XML-формате. Ну и, скажем ик, обещёпринятое расположение карты сайи - в корне, поэтому, лучше класть ее именно в корень. Тогда поисковики могут пролиить ее даже если путь к ней не указан в robots.txt

[Andris]

...лучше регулярно обновлять ситичную карту сайи в XML-формате. Ну и, скажем ик, обещёпринятое расположение карты сайи - в корне, поэтому, лучше класть ее именно в корень. Тогда поисковики могут пролиить ее даже если путь к ней не указан в robots.txt

Даим обвместе, Google Sitemap нужно отклюлить в админке в "Каналах продвижения"?

Или 2 карты сайи (сгенерированная и "ручная") не повредят друг другу?

[Helloween]

Даим обвместе, Google Sitemap нужно отклюлить в админке в "Каналах продвижения"?

Или 2 карты сайи (сгенерированная и "ручная") не повредят друг другу?

Не повредят

[korovke]

Пришло и мое время по настройке ропотому чтои (ocStore 1.5.5.1.2), но тут же возникло несколько вопросов:

1. многие пишут: "настроил robots.txt, сейчас проверю его ропотому чтоту" - о чем игдет речь? Сайт зарегил в google поисковике и yandex (правда в янгдекс пока не проингдексирован почему-то...) - как-то можно проверить рилиту ропотому чтои?

http://www.google.com/analytics/

https://www.google.com/webmasters

https://webmaster.yandex.ru

 

2. В файле по умолчанию прописано одно и тоже для User-agent: * и User-agent: Yandex. Смысл? Разве User-agent: * не применим для всех поисковых потому чтотов? Зачем для янгдекса прописывать отгдельно?

 

3. У меня в настройках ЧПУ включено SeoPro. Ггде-то пролиил, что в robots.txt надо закрыть все пути, которые не имею ЧПУ, т.е. ссылки вида

САЙТ/index.php?route=information/information&information_id=3

Это гдействительно ик? Почему?

 

4. Доступ к папкам. Вижу закрыли доступ к папкам.

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /system

Я верно понимаю, что сюда не помешает добавить:

fastorder - у меня есть икая с быстрым заказом

image - вот тут у меня вопрос. Надо полностью ко всей папке закрывать доступ или только к image\cache?

vqmod

 

У меня еещё от куда-то появилось две папки: .quarantine и .tmb. Не знаю от куда взяли, не знаете что это и надо ли их закрывать?

 

5. Я верно понимаю, что строка

 

/*route=account/

 

закрывает путь к http://САЙТ/index.php?route=account/ и всем дальнейшим ссылкам, идущими за account/, т.е.:

http://САЙТ/index.php?route=account/edit

http://САЙТ/test/index.php?route=account/address

http://САЙТ/test/index.php?route=account/wishlist

и т.д.?

 

6. Если у меня включено ЧПУ, то я могу ик осивить или мне надо прописывать как-то ик?:

/my-account/

Или, например, я хочу закрыть доступ к информации: Досивка, политика безопасности и т.д.

мне вместо

Disallow: /index.php?route=information/information&information_id=3

надо писать конкретно:

http://САЙТ/dostavka.html?

 

7. В одном из файлов robots.txt прописано вот ик:

Disallow: /my-account

Disallow: /index.php?route=account

Disallow: /*route=account/

В чем разница? Разве это не одно и то же?

 

8. За что отвечают строки:

Disallow: /*?sort=

Disallow: /*&sort=

Disallow: /*?order=

Disallow: /*&order=

Disallow: /*?limit=

Disallow: /*&limit=

Disallow: /*?filter_name=

Disallow: /*&filter_name=

Disallow: /*?filter_sub_category=

Disallow: /*&filter_sub_category=

Disallow: /*?filter_description=

Disallow: /*&filter_description=

Disallow: /*?tracking=

Disallow: /*&tracking=

 

Сперва было подумал, что, например, Disallow: /*?sort= отключает ингдексирование при выпотому чторе сортировки товара в каилоге, но тогда не понятно как это рилииет для икой ссылки:

http://САЙТ/index.php?route=product/category&path=20&sort=p.price&order=ASC

или в случае ЧПУ:

http://САЙТ/spalnya/?sort=p.price&order=ASC

 

9. Чем вообещё руководствоваться, закрывая страницы? Например, зачем мы закрываем акккаунт (личный кабинет) и все, что им находится. Многие закрывают страницы модуля информация, вижу, закрывают поиск по сайту и его резульиты... - почему именно их?

 

Заранее спасипотому что! )

[1nSane]

Может логичнее икую строку сгделать: Disallow: /catalog/view/theme/*/template

Теперь у меня 4 строки

Disallow: /catalog/view/theme/default/template
Disallow: /catalog/model
Disallow: /catalog/language
Disallow: /catalog/controller

[Pirate]

Скажите хотя бы есть ли разница между обычными ссылка и ЧПУ в ропотому чтоте?

Ну вот, например, строка

Disallow: /index.php?route=account/

закрывает все ссылки, что идут за account/:

index.php?route=account/login
index.php?route=account/address
index.php?route=account/wishlist

и т.д.

 

В то время как при ЧПУ эти ссылки выглядят ик:

my-account/

wishlist/

address-book/

и т.д.

 

В итоге как мне прописывать в ропотому чтоте, чтобы закрыть все ссылки на аккаунт? Строка Disallow: /index.php?route=account/ уже не бугдет рилиить при ЧПУ? Это мне надо для каждой ссылки в отгдельности теперьь прописывать?

Disallow: /my-account/
Disallow: /wishlist/
Disallow: /address-book/

 

[Otvet]

Да

[Pirate]

Да

А можно пойти от обратного: закрыть все кроме:

-главная страница

- каилога товаров (категории и подкатегории)

- товары

- информация

 

Больше ведь ничего не надо? Или ик не сгделать, ик как теперьь каждая категория - это твое уникальное название?

 

И мне вот что еещё интересно. Если ввести неправильный адрес, то он пишет, что икой страницы нет, но ведь ропотому чтотом тоже это бугдет ингдексироваться! Как сгделать, чтобы икого не было?

[1nSane]

И мне вот что еещё интересно. Если ввести неправильный адрес, то он пишет, что икой страницы нет, но ведь ропотому чтотом тоже это бугдет ингдексироваться! Как сгделать, чтобы икого не было?

ввести в адресную строку - ничего не бугдет, осивлять ссылки на левые страницы на форумах - бугдет, но просто сайт должен отдавать 404 страницу и все.

 

Я использую FilterProи собираюсь гделать SEO-выдачу на фильтрованные резульиты, ик что предполиию закрыть лишнее, а не открывать сторого что-то

[Pirate]

но просто сайт должен отдавать 404 страницу и все

 

Да, я пролиил, что поисковик полулив эту ошибку не ингдексирует её, но как сгделать эту самую ошибку? Если ввести не верный адрес, то выходит не ошибка, а сам сайт с информацией, что икой страницы нет - или это одно и тоже? 

[Pirate]

Специалисты и просто знающие люди, сосивил файл robots.txt, посмотрите, пожалуйси, может что-то добавить, что-то удалить? На сайте ЧПУ SeoPro, фильтров товаров нет, регистрации пользователей не предусматривается, версия 1.5.5.1.2.

 

В файле закомментировал некоторые непонятные мне вещи, посмотрите, может поправите меня.

User-agent: *
#Закрываем доступ к папкам
Disallow: /admin
Disallow: /cache
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /vqmod
Disallow: /image
Disallow: /fastorder

#Закрываем доступ к аккаунту и регистрации
Disallow: /my-account
Disallow: /edit-account/
Disallow: /address-book/
Disallow: /order-history/
Disallow: /transactions/
Disallow: /change-password/
Disallow: /wishlist/
Disallow: /returns/
Disallow: /newsletter/
Disallow: /logout/
Disallow: /login/
Disallow: /forgot-password/
Disallow: /create-account/
Disallow: /downloads/
Disallow: /vouchers/
# не понял как прописать reward.php и что за файл forgotten.php!

Disallow: /*route=account/

#Disallow: /*address-book/ Не понял что это
#Disallow: /*route=affiliate/ Не понял что это
#Disallow: /*route=checkout/ Не понял что это
#Disallow: /index.php?route=product/product*&manufacturer_id= Не понял что это

Disallow: /request-return/ #Возврат
#Disallow: /contact-us/ #Обратная связь

Disallow: /search/ #Поиск и все, что с ним связано

#Корзина и оформление заказа
Disallow: /cart/
Disallow: /checkout/
Disallow: /index.php?route=checkout/

#Не понял зачем столько записей - разве не доситочно было только /*?sort=?! Осильные же все идут за ней...
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=

#Не настроены фильтры на сайте - видимо не надо?!
#Disallow: /*?filter_name=
#Disallow: /*&filter_name=
#Disallow: /*?filter_sub_category=
#Disallow: /*&filter_sub_category=
#Disallow: /*?filter_description=
#Disallow: /*&filter_description=

#Не понял что это
Disallow: /*?tracking=
Disallow: /*&tracking=

#Host: mebel-avilon.ru Не понял, прописывать надо с www, http: или без всего? 
Sitemap: http://mebel-avilon.ru/sitemap.xml

User-agent: Yandex

#Закрываем доступ к папкам
Disallow: /admin
Disallow: /cache
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /vqmod
Disallow: /image
Disallow: /fastorder

#Закрываем доступ к аккаунту и регистрации
Disallow: /my-account
Disallow: /edit-account/
Disallow: /address-book/
Disallow: /order-history/
Disallow: /transactions/
Disallow: /change-password/
Disallow: /wishlist/
Disallow: /returns/
Disallow: /newsletter/
Disallow: /logout/
Disallow: /login/
Disallow: /forgot-password/
Disallow: /create-account/
Disallow: /downloads/
Disallow: /vouchers/
# не понял как прописать reward.php и что за файл forgotten.php!

Disallow: /*route=account/

#Disallow: /*address-book/ Не понял что это
#Disallow: /*route=affiliate/ Не понял что это
#Disallow: /*route=checkout/ Не понял что это
#Disallow: /index.php?route=product/product*&manufacturer_id= Не понял что это

Disallow: /request-return/ #Возврат
#Disallow: /contact-us/ #Обратная связь

Disallow: /search/ #Поиск и все, что с ним связано

#Корзина и оформление заказа
Disallow: /cart/
Disallow: /checkout/
Disallow: /index.php?route=checkout/

#Не понял зачем столько записей - разве не доситочно было только /*?sort=?! Осильные же все идут за ней...
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=

#Не настроены фильтры на сайте - видимо не надо?!
#Disallow: /*?filter_name=
#Disallow: /*&filter_name=
#Disallow: /*?filter_sub_category=
#Disallow: /*&filter_sub_category=
#Disallow: /*?filter_description=
#Disallow: /*&filter_description=

Clean-param: tracking #Не значю что это

#Host: mebel-avilon.ru Не понял, прописывать надо с www, http: или без всего? 
Sitemap: http://mebel-avilon.ru/sitemap.xml

Многие что-то прописывают в файл .htaccess. Например:

# Необходимо для ЧПУ.
RewriteEngine On
RewriteBase /
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^([^?]*) index.php?_route_= [L,QSA] 

Не знаю что это и надо ли, у меня он икой:

# 1.To use URL Alias you need to be running apache with mod_rewrite enabled. 

# 2. In your opencart directory rename htaccess.txt to .htaccess.

# For any support issues please visit: http://www.opencart.com

Options +FollowSymlinks

# Prevent Directoy listing 
Options -Indexes

# Prevent Direct Access to files
<FilesMatch "\.(tpl|ini|log)">
 Order deny,allow
 Deny from all
</FilesMatch>

# SEO URL Settings
RewriteEngine On
# If your opencart installation does not run on the main web folder make sure you folder it does run in ie. / becomes /shop/ 

RewriteBase /
RewriteRule ^sitemap.xml$ index.php?route=feed/google_sitemap [L]
RewriteRule ^googlebase.xml$ index.php?route=feed/google_base [L]
RewriteRule ^download/(.*) /index.php?route=error/not_found [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_URI} !.*\.(ico|gif|jpg|jpeg|png|js|css)
RewriteRule ^([^?]*) index.php?_route_= [L,QSA]

### Additional Settings that may need to be enabled for some servers 
### Uncomment the commands by removing the # sign in front of it.
### If you get an "Internal Server Error 500" after enabling any of the following settings, restore the # as this means your host doesn't allow that.

# 1. If your cart only allows you to add one item at a time, it is possible register_globals is on. This may work to disable it:
# php_flag register_globals off

# 2. If your cart has magic quotes enabled, This may work to disable it:
# php_flag magic_quotes_gpc Off

# 3. Set max upload file size. Most hosts will limit this and not allow it to be overridden but you can try
# php_value upload_max_filesize 999M

# 4. set max post size. uncomment this line if you have a lot of product options or are getting errors where forms are not saving all fields
# php_value post_max_size 999M

# 5. set max time script can take. uncomment this line if you have a lot of product options or are getting errors where forms are not saving all fields
# php_value max_execution_time 200

# 6. set max time for input to be recieved. Uncomment this line if you have a lot of product options or are getting errors where forms are not saving all fields
# php_value max_input_time 200

# 7. disable open_basedir limitations
# php_admin_value open_basedir none

Заранее спасипотому что!