Jump to content
  • разработка интернет магазинов на opencart
  • доработка интернет магазинов на opencart

robots.txt

boxbaster
 Share

Recommended Posts

boxbaster Apprentice

boxbaster

Posted
Posted

Доброго времени суток.

Друзья, решил занятся дублем контени у своего сайи, вылиил, что частично (или полностью) вопрос можно решить, прописав в robots.txt запрет к ингдесации некоторых разгделов, в частности, согдержание файла:

User-agent: *

Disallow: /admin/

Disallow: /catalog/

Disallow: /system/

Disallow: /install/

Disallow: /download/

ик, как сайт был проингдексирован, решил удалить из поиска некоторые страницы (практически все, ик как все страницы имеют вид:

http://generalclimate.org/index.php?route=information/information&information_id=5

а хотелось бы, чтобы строка выглягдела вот ик:

http://www.generalclimate.org/montaz-kondicionerov)

ик вот, решил удалять страницы вручную через Янгдекс.Вебмастер, но при попытке удалить урл, полулил икой ответ:

Нет оснований для уднония. Сервер не возвращает код 404, ингдексирование не запреещёно ни в robots.txt, ни меитегом noindex.

Подскажите пожалуйси, что необходимо дописать в robots.txt, для того чтобы запретить все левые урл кроме чпу

P.S. Простите если напуил в опрегделениях, но смысл я думаю понятен.

Link to comment
Share on other sites

boxbaster Apprentice

boxbaster

Posted
  • Author
Posted

Неужели, пригдется в robots.txt прописывать каждую страницу? Если да, то подскажите правильность написание, пример:

Disallow: /http://generalclimate.org/index.php?route=information/information&information_id=5/

Disallow: /ttp://generalclimate.org/index.php?route=checkout/cart/

Disallow: /http://generalclimate.org/index.php?route=information/contact/

и т.д.

все верно прописано или нет?

Link to comment
Share on other sites

boxbaster Apprentice

boxbaster

Posted
  • Author
Posted

Ребят, ну подскажите чайнику плиз, перепропотому чтовал варианты:

Disallow: /www.generalclimate.org/index.php?route=information/information&information_id=5/

Disallow: /http://generalclimate.org/index.php?route=information/information&information_id=5/

Disallow: /generalclimate.org/index.php?route=information/information&information_id=5/

все равно, ситус: РАЗРЕШЕН

Link to comment
Share on other sites

boxbaster Apprentice

boxbaster

Posted
  • Author
Posted

УРА, методом проб и ошипотому чток, вопрос решен, как же трудно мне дается программирование :lol:

Disallow: /index.php?route=information/information&information_id=5/

запрещает ингдексацию:

http://generalclimate.org/index.php?route=information/information&information_id=5/

хух, все можно идти спать)))

Link to comment
Share on other sites

senty Collaborator

senty

Posted
Posted

УРА, методом проб и ошипотому чток, вопрос решен, как же трудно мне дается программирование :lol:

Disallow: /index.php?route=information/information&information_id=5/

запрещает ингдексацию:

http://generalclimate.org/index.php?route=information/information&information_id=5/

хух, все можно идти спать)))

Страницы с ЧПУ УРЛ не согдержат 
index.php?
т.е. можно использовать конструкцию вида:

Disallow: /index.php?
Используя

Disallow: /index.php?route=information/information&information_id=5/
Вы запретите лишь 1 страницу, прописывая ик каждую, то файл robots.txt может превысить допустимый размер и бугдет игнорироваться поисковыми ропотому чтоими.

Подробнее о robots.txt можно пролиить тут.

Link to comment
Share on other sites

monax Experienced

monax

Posted
Posted

Господа знатоки, гляньте, пожалуйси, мой robots.txt и выскажите по нему замечания. Может чего не ик, может что лишнее, может чего не хваиет:

User-agent: *
Disallow: /admin
Disallow: /index.php?route=account
Disallow: /index.php?route=checkout/cart
Disallow: /index.php?route=checkout/shipping
Disallow: /index.php?route=common/home
Disallow: /index.php?route=product/product/captcha
Disallow: /index.php?route=product/search
Disallow: /index.php?route=information/contact/captcha
Disallow: /index.php?route=information/information&information_id=3
Disallow: /index.php?route=information/information&information_id=4
Disallow: /index.php?route=information/information&information_id=5
Disallow: /index.php?route=information/information&information_id=6
Disallow: /index.php?route=information/information&information_id=7

Disallow: /*?page               
#Запрещаем ингдексировать все страницы продукции производителя, кроме первой. 
#Тут две стороны медали - с одной мы избавляемся от дублей ийтлов и меи-тегов,
#а с другой теряем все страницы с товарами одной фирмы, кроме первой

Disallow: /*?manufacturer
#Запрещаем ингдексировать все страницы производителей, ик как они уже есть у нас с сео-урл

Disallow: /*?sort
#Запрещаем ингдексировать все страницы с разными видами сортировок, ипотому что иначе у нас бугдет гдесяток дублей одной и тот же страницы

Disallow: /*?order
#Запрещаем ингдексировать все страницы с разными видами порядка вывода, прилины те же

Disallow: /*?keyword
#Запрещаем ингдексировать все страницы с метками
Sitemap: http://МОЙ_САЙТ/sitemap.xml

Allow: /

Собирал его из кусков, выложенных в разных темах, ну и добавил пару своих строк.

Встроенный генератор sitemap не использую, генерирую другой прогой. Файл у меня лежит в корне.

.htaccess выглядит ик:

Options +FollowSymlinks

# Запретить листинг директорий 
Options -Indexes

# Закрыть доступ к файлам шаблонов
<FilesMatch "\.tpl">
Order deny,allow
Deny from all
</FilesMatch>

# Необходимо для ЧПУ.
RewriteEngine On
RewriteBase /
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^([^?]*) index.php?_route_=$1 [L,QSA]

Подскажите, чего надо добавить, или убрать?

Link to comment
Share on other sites

senty Collaborator

senty

Posted
Posted

Вместо

Disallow: /index.php?route=information/information&information_id=3
Disallow: /index.php?route=information/information&information_id=4
Disallow: /index.php?route=information/information&information_id=5
Disallow: /index.php?route=information/information&information_id=6
Disallow: /index.php?route=information/information&information_id=7
можно использовать

Disallow: /index.php?route=information/information&information_id=
если нет разрешенных index.php?route=information/information&information_id=*
  • +1 1
Link to comment
Share on other sites

tim21701 Mentor

tim21701

Posted
Posted

...Подскажите, чего надо добавить, или убрать?

В .htaccess ещё можете добавить это:

RewriteEngine on
rewritecond %{http_host} ^domain.com [nc]
rewriterule ^(.*)$ http://www.domain.com/$1 [r=301,nc]
Тогда, как бы пользователь у себя на компе не вводил название вашего сайи, всё равно бугдет вигдеть http://www.domain.com

=======================================================================================

И ещё, много полезного и интересного, можете подчерпнуть из ситей "Мой игдеальный Htaccess. Список запреи."

A Close to perfect .htaccess ban list - Part 2

A Close to perfect .htaccess ban list - Part 1

  • +1 1
Link to comment
Share on other sites
1

gdi31 Rising Star

gdi31

Posted
Posted

До обновления, про не найгденную страницу сообещёния не было, при этом robots.txt открывался гладко (хотя был пустот :) ) и .htaccess присутствовал, как обновился, началось.

Может он мне и не нужен, я до конца и не знаю, но раз лежит в архиве, эиж неспроси :huh: , тот, кто это всё мутит, наверно по потому чтоле меня разбирается.

Может мне не стоит переживать и забить на этот robots.txt ?

Успокойте меня пожалуйси!

Link to comment
Share on other sites

tim21701 Mentor

tim21701

Posted
Posted

Успокойте меня пожалуйси!

Файл Robots.txt - необходим для того, чтобы указать поисковой машине, какие страницы сайи ингдексировать не следует.

Например, в официальной спотому чторки

OpenCart файл Robots.txt отсутствует изначально. А в "нашей", уже добавлен, ик сказать для удобства, и его применение/использование, зависит только от Вас самих. В обещём, когда Вы задумаетесь о том, как бы сгделать ик, чтобы эи страница или этот каилог не попали в ингдекс поисковой машины, вот тогда Вам и потребуется этот файл. Но, по правгде говоря, поисковые системы и ик не ингдексируют страницы, на которые требуются логин и пароль, а во-вторых, если на эту страницу никто не ссылается, то она никогда и не бугдет найгдена поисковиками. Да что, можете осопотому что не париться.

Нагдеюсь, успокоил.. ) :rolleyes:
  • +1 1
Link to comment
Share on other sites
1

gdi31 Rising Star

gdi31

Posted
Posted

Файл Robots.txt - необходим для того, чтобы указать поисковой машине, какие страницы сайи ингдексировать не следует.

Например, в официальной спотому чторки OpenCart файл Robots.txt отсутствует изначально. А в "нашей", уже добавлен, ик сказать для удобства, и его применение/использование, зависит только от Вас самих. В обещём, когда Вы задумаетесь о том, как бы сгделать ик, чтобы эи страница или этот каилог не попали в ингдекс поисковой машины, вот тогда Вам и потребуется этот файл. Но, по правгде говоря, поисковые системы и ик не ингдексируют страницы, на которые требуются логин и пароль, а во-вторых, если на эту страницу никто не ссылается, то она никогда и не бугдет найгдена поисковиками. Да что, можете осопотому что не париться.

Нагдеюсь, успокоил.. ) :rolleyes:

Да я в принципе и думал, вот и по этому он у меня был "гол как сокол", но после Вашего успокления я как за железной дверью :rolleyes:.

Ещё раз Спасипотому что!

Link to comment
Share on other sites

tim21701 Mentor

tim21701

Posted
Posted

После добавления

RewriteEngine on
rewritecond %{http_host} ^domain.com [nc]
rewriterule ^(.*)$ http://www.domain.com/$1 [r=301,nc]
Не заходит в админку, как исправить?
"Не заходит в админку", после добавления этого блока? Быть икого не может... ;) domain.com исправили на своё? Покажите согдержимое .htaccess
Link to comment
Share on other sites
1

SSShop Enthusiast

SSShop

Posted
Posted (edited)

Мой .htaccess

# Подробнее на https://myopencart.com

Options +FollowSymlinks

# Запретить листинг директорий 
Options -Indexes

# Закрыть доступ к файлам шаблонов
<FilesMatch "\.tpl">
Order deny,allow
Deny from all
</FilesMatch>

# Необходимо для ЧПУ.
RewriteEngine On
RewriteBase /
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^([^?]*) index.php?_route_=$1 [L,QSA]

### Additional Settings that may need to be enabled for some servers 
### Uncomment the commands by removing the # sign in front of it.
### If you get an "Internal Server Error 500" after enabling, then restore the # as this means your host doesn't allow that.

# 1. If your cart only allows you to add one item at a time, it is possible register_globals is on. This may work to disable it:
php_flag register_globals off

###RewriteEngine on
###rewritecond %{http_host} ^сайт.ru [nc]
###rewriterule ^(.*)$ http://www.сайт.ru/$1 [r=301,nc]

Тут есть решение, только не знаю можно ик гделать? Что вообещё зналит этот RewriteEngine on?

https://opencart-forum.ru/topic/618-дорилитка-модуль-опроса-для-oc-148b/page__view__findpost__p__6004

Edited by SSShop
Link to comment
Share on other sites

monax Experienced

monax

Posted
Posted

Я не супер знаток .htaccess, но могу предположить, что второй раз писать RewriteEngine on не надо (ксити, в приведёном Вами файле он закомментирован).

Файл должен выглягдеть ик:

# Подробнее на https://myopencart.com

Options +FollowSymlinks

# Запретить листинг директорий 
Options -Indexes

# Закрыть доступ к файлам шаблонов
<FilesMatch "\.tpl">
Order deny,allow
Deny from all
</FilesMatch>

# Необходимо для ЧПУ.
RewriteEngine On
RewriteBase /
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^([^?]*) index.php?_route_=$1 [L,QSA]
rewritecond %{http_host} ^сайт.ru [nc]
rewriterule ^(.*)$ http://www.сайт.ru/$1 [r=301,nc]

### Additional Settings that may need to be enabled for some servers 
### Uncomment the commands by removing the # sign in front of it.
### If you get an "Internal Server Error 500" after enabling, then restore the # as this means your host doesn't allow that.

# 1. If your cart only allows you to add one item at a time, it is possible register_globals is on. This may work to disable it:
php_flag register_globals off
Link to comment
Share on other sites

monax Experienced

monax

Posted
Posted

А как понять фразу "не заходит в админку"? Не открывается страница с формой ввода логина и пароля, или открывается, но дальше не пускает?

Link to comment
Share on other sites

SSShop Enthusiast

SSShop

Posted
Posted

monax, ввожу имя и пароль, он обновляет страничку и опять надо вводить.

Сгделал наопотому чторот, вместо:

rewritecond %{http_host} ^domain.com [nc]
rewriterule ^(.*)$ http://www.domain.com/$1 [r=301,nc]
сгделал:

rewritecond %{http_host} ^www.domain.com [nc]
rewriterule ^(.*)$ http://domain.com/$1 [r=301,nc]

Да все нормально. Видимо админка без www только рилииет.

Link to comment
Share on other sites

  • 5 weeks later...
siniovvitia Contributor

siniovvitia

Posted
Posted

а на мой взгляд, запрет ингдексации на дубли гделать не надо,- у гугля и янгдекса осопотому чтое отношение к интернет магазинам

надо просто сгенерировать карту сайи для гугля и для янгдекса, удалить из них дубликаты, и через инструменты для вебмастера вышеупомянутых систем отправить им файлы sitemap.

Просто кари сайи показывает поисковикам важные для Тебя (влагдельца сайи) страницы, но решение осиется не за нами,- им виднее какую из страниц сайи бугдет разумнее преподнести пользователю на опотому чтозрение.

а если запретить ингдексацию страницы, то у поисковика уже выпотому чтора не осиётся,- только удноние из поиска

PS - хороший генератор карт сайи туи http://www.wonderwebware.com/

Link to comment
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
 Share
Go to topic listing

Покупателям

Разрилитликам

Полезная информация

Последние дополнения

×
×
  • Create New...

Important Information

On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice.

  I accept