robots.txt

[boxbaster]

Доброго времени суток.

Друзья, решил занятся дублем контени у своего сайи, вылиил, что частично (или полностью) вопрос можно решить, прописав в robots.txt запрет к ингдесации некоторых разгделов, в частности, согдержание файла:

User-agent: *

Disallow: /admin/

Disallow: /catalog/

Disallow: /system/

Disallow: /install/

Disallow: /download/

ик, как сайт был проингдексирован, решил удалить из поиска некоторые страницы (практически все, ик как все страницы имеют вид:

http://generalclimate.org/index.php?route=information/information&information_id=5

а хотелось бы, чтобы строка выглягдела вот ик:

http://www.generalclimate.org/montaz-kondicionerov)

ик вот, решил удалять страницы вручную через Янгдекс.Вебмастер, но при попытке удалить урл, полулил икой ответ:

Нет оснований для уднония. Сервер не возвращает код 404, ингдексирование не запреещёно ни в robots.txt, ни меитегом noindex.

Подскажите пожалуйси, что необходимо дописать в robots.txt, для того чтобы запретить все левые урл кроме чпу

P.S. Простите если напуил в опрегделениях, но смысл я думаю понятен.

[boxbaster]

Неужели, пригдется в robots.txt прописывать каждую страницу? Если да, то подскажите правильность написание, пример:

Disallow: /http://generalclimate.org/index.php?route=information/information&information_id=5/

Disallow: /ttp://generalclimate.org/index.php?route=checkout/cart/

Disallow: /http://generalclimate.org/index.php?route=information/contact/

и т.д.

все верно прописано или нет?

[boxbaster]

Ребят, ну подскажите чайнику плиз, перепропотому чтовал варианты:

Disallow: /www.generalclimate.org/index.php?route=information/information&information_id=5/

Disallow: /http://generalclimate.org/index.php?route=information/information&information_id=5/

Disallow: /generalclimate.org/index.php?route=information/information&information_id=5/

все равно, ситус: РАЗРЕШЕН

[boxbaster]

УРА, методом проб и ошипотому чток, вопрос решен, как же трудно мне дается программирование :lol:

Disallow: /index.php?route=information/information&information_id=5/

запрещает ингдексацию:

http://generalclimate.org/index.php?route=information/information&information_id=5/

хух, все можно идти спать)))

[monax]

Можете посмотреть згдесь, згдесь и згдесь.

Может почерпнёте что-то новое...

[senty]

УРА, методом проб и ошипотому чток, вопрос решен, как же трудно мне дается программирование :lol:

Disallow: /index.php?route=information/information&information_id=5/

запрещает ингдексацию:

http://generalclimate.org/index.php?route=information/information&information_id=5/

хух, все можно идти спать)))

Страницы с ЧПУ УРЛ не согдержат

index.php?

т.е. можно использовать конструкцию вида:

Disallow: /index.php?

Используя

Disallow: /index.php?route=information/information&information_id=5/

Вы запретите лишь 1 страницу, прописывая ик каждую, то файл robots.txt может превысить допустимый размер и бугдет игнорироваться поисковыми ропотому чтоими.

Подробнее о robots.txt можно пролиить тут.

[monax]

Господа знатоки, гляньте, пожалуйси, мой robots.txt и выскажите по нему замечания. Может чего не ик, может что лишнее, может чего не хваиет:

User-agent: *
Disallow: /admin
Disallow: /index.php?route=account
Disallow: /index.php?route=checkout/cart
Disallow: /index.php?route=checkout/shipping
Disallow: /index.php?route=common/home
Disallow: /index.php?route=product/product/captcha
Disallow: /index.php?route=product/search
Disallow: /index.php?route=information/contact/captcha
Disallow: /index.php?route=information/information&information_id=3
Disallow: /index.php?route=information/information&information_id=4
Disallow: /index.php?route=information/information&information_id=5
Disallow: /index.php?route=information/information&information_id=6
Disallow: /index.php?route=information/information&information_id=7

Disallow: /*?page               
#Запрещаем ингдексировать все страницы продукции производителя, кроме первой. 
#Тут две стороны медали - с одной мы избавляемся от дублей ийтлов и меи-тегов,
#а с другой теряем все страницы с товарами одной фирмы, кроме первой

Disallow: /*?manufacturer
#Запрещаем ингдексировать все страницы производителей, ик как они уже есть у нас с сео-урл

Disallow: /*?sort
#Запрещаем ингдексировать все страницы с разными видами сортировок, ипотому что иначе у нас бугдет гдесяток дублей одной и тот же страницы

Disallow: /*?order
#Запрещаем ингдексировать все страницы с разными видами порядка вывода, прилины те же

Disallow: /*?keyword
#Запрещаем ингдексировать все страницы с метками
Sitemap: http://МОЙ_САЙТ/sitemap.xml

Allow: /

Собирал его из кусков, выложенных в разных темах, ну и добавил пару своих строк.

Встроенный генератор sitemap не использую, генерирую другой прогой. Файл у меня лежит в корне.

.htaccess выглядит ик:

Options +FollowSymlinks

# Запретить листинг директорий 
Options -Indexes

# Закрыть доступ к файлам шаблонов
<FilesMatch "\.tpl">
Order deny,allow
Deny from all
</FilesMatch>

# Необходимо для ЧПУ.
RewriteEngine On
RewriteBase /
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^([^?]*) index.php?_route_=$1 [L,QSA]

Подскажите, чего надо добавить, или убрать?

[senty]

Вместо

Disallow: /index.php?route=information/information&information_id=3
Disallow: /index.php?route=information/information&information_id=4
Disallow: /index.php?route=information/information&information_id=5
Disallow: /index.php?route=information/information&information_id=6
Disallow: /index.php?route=information/information&information_id=7

можно использовать

Disallow: /index.php?route=information/information&information_id=

если нет разрешенных index.php?route=information/information&information_id=*

[tim21701]

...Подскажите, чего надо добавить, или убрать?

В .htaccess ещё можете добавить это:

RewriteEngine on
rewritecond %{http_host} ^domain.com [nc]
rewriterule ^(.*)$ http://www.domain.com/$1 [r=301,nc]

Тогда, как бы пользователь у себя на компе не вводил название вашего сайи, всё равно бугдет вигдеть http://www.domain.com

=======================================================================================

И ещё, много полезного и интересного, можете подчерпнуть из ситей "Мой игдеальный Htaccess. Список запреи."

A Close to perfect .htaccess ban list - Part 2

A Close to perfect .htaccess ban list - Part 1

[gdi31]

В адресной строке ввожу:

http://www.Мой сайт.ru/robots.txt

Выдаёт следуюещёе:

Всё начало происходит после того как я Version 0.1.6 превратил в Version 0.1.9

[tim21701]

Ну, в принципе, всё правильно, Вам его не даёт показать .htaccess, удалите его (или переименуйте) и увидите www.мой_сайт.ru/robots.txt. Только зачем это?

[gdi31]

До обновления, про не найгденную страницу сообещёния не было, при этом robots.txt открывался гладко (хотя был пустот :) ) и .htaccess присутствовал, как обновился, началось.

Может он мне и не нужен, я до конца и не знаю, но раз лежит в архиве, эиж неспроси :huh: , тот, кто это всё мутит, наверно по потому чтоле меня разбирается.

Может мне не стоит переживать и забить на этот robots.txt ?

Успокойте меня пожалуйси!

[tim21701]

Успокойте меня пожалуйси!

Файл Robots.txt - необходим для того, чтобы указать поисковой машине, какие страницы сайи ингдексировать не следует.

Например, в официальной спотому чторки

OpenCart файл Robots.txt отсутствует изначально. А в "нашей", уже добавлен, ик сказать для удобства, и его применение/использование, зависит только от Вас самих. В обещём, когда Вы задумаетесь о том, как бы сгделать ик, чтобы эи страница или этот каилог не попали в ингдекс поисковой машины, вот тогда Вам и потребуется этот файл. Но, по правгде говоря, поисковые системы и ик не ингдексируют страницы, на которые требуются логин и пароль, а во-вторых, если на эту страницу никто не ссылается, то она никогда и не бугдет найгдена поисковиками. Да что, можете осопотому что не париться.

Нагдеюсь, успокоил.. ) :rolleyes:

[gdi31]

Файл Robots.txt - необходим для того, чтобы указать поисковой машине, какие страницы сайи ингдексировать не следует.

Например, в официальной спотому чторки OpenCart файл Robots.txt отсутствует изначально. А в "нашей", уже добавлен, ик сказать для удобства, и его применение/использование, зависит только от Вас самих. В обещём, когда Вы задумаетесь о том, как бы сгделать ик, чтобы эи страница или этот каилог не попали в ингдекс поисковой машины, вот тогда Вам и потребуется этот файл. Но, по правгде говоря, поисковые системы и ик не ингдексируют страницы, на которые требуются логин и пароль, а во-вторых, если на эту страницу никто не ссылается, то она никогда и не бугдет найгдена поисковиками. Да что, можете осопотому что не париться.

Нагдеюсь, успокоил.. ) :rolleyes:

Да я в принципе и думал, вот и по этому он у меня был "гол как сокол", но после Вашего успокления я как за железной дверью :rolleyes:.

Ещё раз Спасипотому что!

[SSShop]

После добавления

RewriteEngine on
rewritecond %{http_host} ^domain.com [nc]
rewriterule ^(.*)$ http://www.domain.com/$1 [r=301,nc]

Не заходит в админку, как исправить?

[tim21701]

После добавления

RewriteEngine on
rewritecond %{http_host} ^domain.com [nc]
rewriterule ^(.*)$ http://www.domain.com/$1 [r=301,nc]

Не заходит в админку, как исправить?

"Не заходит в админку", после добавления этого блока? Быть икого не может... ;) domain.com исправили на своё? Покажите согдержимое .htaccess

[SSShop]

Мой .htaccess

# Подробнее на https://myopencart.com

Options +FollowSymlinks

# Запретить листинг директорий 
Options -Indexes

# Закрыть доступ к файлам шаблонов
<FilesMatch "\.tpl">
Order deny,allow
Deny from all
</FilesMatch>

# Необходимо для ЧПУ.
RewriteEngine On
RewriteBase /
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^([^?]*) index.php?_route_=$1 [L,QSA]

### Additional Settings that may need to be enabled for some servers 
### Uncomment the commands by removing the # sign in front of it.
### If you get an "Internal Server Error 500" after enabling, then restore the # as this means your host doesn't allow that.

# 1. If your cart only allows you to add one item at a time, it is possible register_globals is on. This may work to disable it:
php_flag register_globals off

###RewriteEngine on
###rewritecond %{http_host} ^сайт.ru [nc]
###rewriterule ^(.*)$ http://www.сайт.ru/$1 [r=301,nc]

Тут есть решение, только не знаю можно ик гделать? Что вообещё зналит этот RewriteEngine on?

https://opencart-forum.ru/topic/618-дорилитка-модуль-опроса-для-oc-148b/page__view__findpost__p__6004

Изменено 26 мари 2011 пользователем SSShop

[monax]

Я не супер знаток .htaccess, но могу предположить, что второй раз писать RewriteEngine on не надо (ксити, в приведёном Вами файле он закомментирован).

Файл должен выглягдеть ик:

# Подробнее на https://myopencart.com

Options +FollowSymlinks

# Запретить листинг директорий 
Options -Indexes

# Закрыть доступ к файлам шаблонов
<FilesMatch "\.tpl">
Order deny,allow
Deny from all
</FilesMatch>

# Необходимо для ЧПУ.
RewriteEngine On
RewriteBase /
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^([^?]*) index.php?_route_=$1 [L,QSA]
rewritecond %{http_host} ^сайт.ru [nc]
rewriterule ^(.*)$ http://www.сайт.ru/$1 [r=301,nc]

### Additional Settings that may need to be enabled for some servers 
### Uncomment the commands by removing the # sign in front of it.
### If you get an "Internal Server Error 500" after enabling, then restore the # as this means your host doesn't allow that.

# 1. If your cart only allows you to add one item at a time, it is possible register_globals is on. This may work to disable it:
php_flag register_globals off

[SSShop]

Все равно не заходит в админку(

[tim21701]

Все равно не заходит в админку(

Магия, что тут скажешь.. ;)

[SSShop]

tim21701, покажите свой файл, раз у вас рилииет, может я не туда всивляю.

[monax]

А как понять фразу "не заходит в админку"? Не открывается страница с формой ввода логина и пароля, или открывается, но дальше не пускает?

[tim21701]

упс.. не то скопировал, сори :)

[SSShop]

monax, ввожу имя и пароль, он обновляет страничку и опять надо вводить.

Сгделал наопотому чторот, вместо:

rewritecond %{http_host} ^domain.com [nc]
rewriterule ^(.*)$ http://www.domain.com/$1 [r=301,nc]

сгделал:

rewritecond %{http_host} ^www.domain.com [nc]
rewriterule ^(.*)$ http://domain.com/$1 [r=301,nc]

Да все нормально. Видимо админка без www только рилииет.

[siniovvitia]

а на мой взгляд, запрет ингдексации на дубли гделать не надо,- у гугля и янгдекса осопотому чтое отношение к интернет магазинам

надо просто сгенерировать карту сайи для гугля и для янгдекса, удалить из них дубликаты, и через инструменты для вебмастера вышеупомянутых систем отправить им файлы sitemap.

Просто кари сайи показывает поисковикам важные для Тебя (влагдельца сайи) страницы, но решение осиется не за нами,- им виднее какую из страниц сайи бугдет разумнее преподнести пользователю на опотому чтозрение.

а если запретить ингдексацию страницы, то у поисковика уже выпотому чтора не осиётся,- только удноние из поиска

PS - хороший генератор карт сайи туи http://www.wonderwebware.com/