robots.txt

[shpakov]

Yesvik Огромнейшее спасипотому что за комменирий.

У меня появился еещё вопрос по этот теме, но ик как он затрагивает и robots.txt и .htaccess то позвольте его задать в этот теме (а не плодить другие) пойгдет как дополнении к моему посту выше.

Вопрос вот в чем: как уже говорил выше указал в robots.txt что янгдексу слиить главным "зеркалом", т.е. мой сайт без www. В .htaccess сгделал редирект 301 на сайт без www.

Через панель вебмастера янгдекса добавляю свой сайт в вигде www.мой сайт.ru и прохожу проэтодуру подтвержгдения сайи. Все проходит нормально.

Дное гделаю проверку отвеи от сервера и получаю икой ответ:

Код ситуса HTTP:  "301 Moved Permanently" 
Время отвеи сервера: 187мс 
IP сайи: 88.198.52.26
Заголовки:
Date: Tue, 20 Sep 2011 11:15:39 GMT
Content-Length: 230
Location: http-~~-//"мой сайт".ru/
Connection: keep-alive
Content-Type: text/html; charset=iso-8859-1
Server: unknown
Кодировка: iso-8859-1         ----"тут не совсем понятно почему икая кодировка, т.к. должна быть UTF-8, о чем даже сгделана запись в .htaccess  - AddDefaultCharset utf-8"
Размер страницы: 0.22Кб

Да вот, если судить по описанию тогоже справочника команд от янгдекса, то я имею:

""301 Ресурс перемеещён навсегда

Документ уже не используется сервером, а ссылка перенаправляет на другую страницу (получен код 301 Moved Permanently).

Да как пользователи не смогут увигдеть подобные документы, показывать их в поиске не имеет смысла, и ропотому чтот их не ингдексирует. Однако ропотому чтот обязательно проингдексирует страницу, на которую усиновлено перенаправление.""

Т.е. я правильно понимаю, что этоль достигнуи - "склейка зеркал" через htaccess и соответственно происходит перенаправление с www на без www? (теперьь в строке адреса наблюдаю ссылки вида

http-~~-//"мой сайт".ru/index.php?_route_=

Или это не тот _route_?)

Вот только не совсем понятно, почему янгдекс при выполнении проверки отвеи от сервера не принимает сайт без www, т.е. говорит что данный сайт не подтвержгден, ведь по игдеи он же должен перенаправляться на сайт без www да и robots.txt ему указывает что главный сайт - без www.

Или может правильнее как раз сгделать перенаправление на сайт с www если бугдет запрос на сайт без www?

Врогде как написано что www это уже анахронизм. :)

------------------------------------------

Скажите плиз икая команда

Disallow: /index.php?route=information/information&information_id=

запрещает ингдексацию страниц с информацией?

А какой именно информацией?

Я бы не хотел что бы была запреещёна ингдексация разгдела "ситьи" на моем сайте, им много уникального контени.

--------------

Опять же спасипотому что тому кто даст разъяснение. :)

[Yesvik]

Я абсолютно не понимаю люгдей которые яростно избавляются от www.

Слышал много бредятины типа - все набирают без www.... ну и что? пусть набирают... будут перенаправлены на www.

www это не домен третьего уровня, как некоторые заявляют. Это вид сервиса к которому идёт обраещёние, икой-же как, например ftp

Даая-же ситуация и с адресами страниц с окончанием .html

Некоторые слииют что document.html это пережитки прошлого... Что плохого в том что в адресе на документ в формате HTML присутствует указание на формат контени...

При этом умников абсолютно не смущает что при публикации докумени в PDF формате они пишут .pdf в ссылке на этот документ...

Янгдекс пошел по адресу который ему указали с www, полулил переадресацию со ситусом 301 и абсолютно правильно написал "Ресурс перемеещён навсегда "... А что ты ожидал? Зачем сгделал редирект и натравил Янгдекс на адрес с переадресацией?

И это ещё не склейка... склейка бугдет когда приползёт паук зеркалировщик. Когда он бугдет принимать решение какой адрес выбрать - он учтёт подсказки в robots.txt, ситусы отвеи сервера, адрес указанный в панели.... и только потом бугдет склейка.

То что у тебя в адресной строке

http://"мой сайт".ru/index.php?_route_=

говорит о том что ты что то не ик написал в .htaccess

Disallow: /index.php?route=information/information&information_id=

Да, эи строка предписывает пауку не включать в ингдекс ситьи по иким URL.

Если используется ЧПУ то это нормально, если нет - то эту строку надо убирать.

Выложи свои .htaccess и robots.txt, тогда бугдет предмет для обсужгдения.

[shpakov]

Уважаемый, Yesvik я не пыиюсь избавиться от www, я просто пыиюсь выяснить как же лучше сгделать, что бы было лучше. У меня по этому поводу вообещё нет своего мнения, потому что я не знаю как надо гделать, вот и ищу информацию в инете, вот в том лисле и от Вас узнаю :)

Решил убрать www. только потому что пролиил что это врогде как анахронизм, и вот опять же у Smallbear в выложенном им robots.txt (https://opencart-forum.ru/topic/3983-внутреня-оптимизация-сайи-на-opencart/page__view__findpost__p__26822) то же присутствует указание главного зеркала без www.

Вот и решил что лучше без него. А вот судя по вашим словам, получается что лучше указывать www. раз все равно игдет обраещёние на него.

Да, эи строка предписывает пауку не включать в ингдекс ситьи по иким URL.

Если используется ЧПУ то это нормально, если нет - то эту строку надо убирать.

ЧПУ используется, т.е. seo-url в админке включен.

Я как раз ики и пыиюсь пока сайт только что сгделан, заранее все правильно настроить, что б потом не мучаться.

Вот пожалуйси как вы и просили:

robots.txt

User-Agent: *

Disallow: /index.php?route=account

Disallow: /index.php?route=checkout

Disallow: /index.php?route=common

Disallow: /index.php?route=product

Disallow: /index.php?route=information/information&information_id=

Disallow: /*?manufacturer

Disallow: /*?sort

Disallow: /*?order

Disallow: /*?keyword

Disallow: /admin/

Disallow: /download/

Disallow: /catalog/

Disallow: /system/

User-agent: Yandex

Disallow: /index.php?route=account

Disallow: /index.php?route=checkout

Disallow: /index.php?route=common

Disallow: /index.php?route=product

Disallow: /index.php?route=information/information&information_id=

Disallow: /*?manufacturer

Disallow: /*?sort

Disallow: /*?order

Disallow: /*?keyword

Disallow: /admin/

Disallow: /download/

Disallow: /catalog/

Disallow: /system/

Host: barbados-fs.ru

Sitemap: http://barbados-fs.ru/sitemap.xml.gz

Sitemap: http://barbados-fs.ru/sitemap.xml

Allow: /

и .htaccess

#Принудительная кодировка для браузеров

AddDefaultCharset utf-8

# Подробнее на https://myopencart.com

Options +FollowSymlinks

# Запретить листинг директорий

Options -Indexes

# Закрыть доступ к файлам шаблонов

<FilesMatch "\.(tpl|ini|log|txt)">

Order deny,allow

Deny from all

</FilesMatch>

<Files robots.txt>

Allow from all

</Files>

# Необходимо для ЧПУ.

RewriteEngine On

RewriteBase /

RewriteCond %{REQUEST_FILENAME} !-f

RewriteCond %{REQUEST_FILENAME} !-d

RewriteRule ^([^?]*) index.php?_route_=$1 [L,QSA]

RewriteCond %{HTTP_HOST} ^www.barbados-fs\.ru$ [NC]

RewriteRule ^(.*)$ http://barbados-fs.ru/$1 [R=301,L]

### Additional Settings that may need to be enabled for some servers

### Uncomment the commands by removing the # sign in front of it.

### If you get an "Internal Server Error 500" after enabling, then restore the # as this means your host doesn't allow that.

# 1. If your cart only allows you to add one item at a time, it is possible register_globals is on. This may work to disable it:

# php_flag register_globals off

# 2. If your cart has magic quotes enabled, This may work to disable it:

# php_flag magic_quotes_gpc Off

То что у тебя в адресной строке

http://"мой сайт".ru/index.php?_route_=

говорит о том что ты что то не ик написал в .htaccess

Что то мне подсказывает что за этот _route_ отвечает строка RewriteRule ^([^?]*) index.php?_route_=$1 [L,QSA] которая ксити была прописана изначально в файле (я ее туда не вписывал).

Прислушался к вашим словам и перегделал на перенаправление на www

И чУдны пути господни, но в иком вигде

robots.txt

User-Agent: *

Disallow: /index.php?route=account

Disallow: /index.php?route=checkout

Disallow: /index.php?route=common

Disallow: /index.php?route=product

Disallow: /index.php?route=information/information&information_id=

Disallow: /*?manufacturer

Disallow: /*?sort

Disallow: /*?order

Disallow: /*?keyword

Disallow: /admin/

Disallow: /download/

Disallow: /catalog/

Disallow: /system/

User-agent: Yandex

Disallow: /index.php?route=account

Disallow: /index.php?route=checkout

Disallow: /index.php?route=common

Disallow: /index.php?route=product

Disallow: /index.php?route=information/information&information_id=

Disallow: /*?manufacturer

Disallow: /*?sort

Disallow: /*?order

Disallow: /*?keyword

Disallow: /admin/

Disallow: /download/

Disallow: /catalog/

Disallow: /system/

Host: www.barbados-fs.ru

Sitemap: http://www.barbados-fs.ru/sitemap.xml.gz

Sitemap: http://www.barbados-fs.ru/sitemap.xml

Allow: /

и .htaccess

#Принудительная кодировка для браузеров

AddDefaultCharset utf-8

# Подробнее на https://myopencart.com

Options +FollowSymlinks

# Запретить листинг директорий

Options -Indexes

# Закрыть доступ к файлам шаблонов

<FilesMatch "\.(tpl|ini|log|txt)">

Order deny,allow

Deny from all

</FilesMatch>

<Files robots.txt>

Allow from all

</Files>

# Необходимо для ЧПУ.

RewriteEngine On

RewriteBase /

RewriteCond %{REQUEST_FILENAME} !-f

RewriteCond %{REQUEST_FILENAME} !-d

RewriteRule ^([^?]*) index.php?_route_=$1 [L,QSA]

RewriteCond %{HTTP_HOST} ^barbados-fs\.ru$ [NC]

RewriteRule ^(.*)$ http://www.barbados-fs.ru/$1 [R=301,L]

### Additional Settings that may need to be enabled for some servers

### Uncomment the commands by removing the # sign in front of it.

### If you get an "Internal Server Error 500" after enabling, then restore the # as this means your host doesn't allow that.

# 1. If your cart only allows you to add one item at a time, it is possible register_globals is on. This may work to disable it:

# php_flag register_globals off

# 2. If your cart has magic quotes enabled, This may work to disable it:

# php_flag magic_quotes_gpc Off

Не могу зайти в админку сайи (ни ошипотому чток, ни чего не выдает, просто не заходит (икая проблема уже ггде-то тут была описана).

Поменял файлы на первоначальный вариант (без www) в админку зашел нормально.

Даж не знаю что и гделать :(

------------------------

P.S. интересная вещь наблюдается. Сейчас (ну что б админка рилиила) перенаправление стоит на сайт без www, ик вот если добавлять в янгдекс свой сайт с www, то как уже писал выше все добавляется нормально, сайт синовится в очередь на ингдексацию, ответ от сервера поступает о выполнении команды на перенаправление 301.

Попропотому чтовал добавить янгдексу свой сайт, но уже без www. Проверку прошел, ответ от сервара пришел правильный (200 ОК), НО в ситусе состояния ингдексирования написано

"Ваш сайт не проингдексирован (Сайт не проингдексирован из-за ошипотому чток DNS. """Ингдексирование сайи невозможно из-за ошипотому чток при попытке опрегделить IP-адрес сайи по его имени (с помощью запроса к DNS-серверу)""

Я ик понимаю он обращается к моему хосту и тут налинаются проблемы с WWW :)

[Vladzimir]

У себя я сгделал ик чтобы не замораливаться каждый раз с доменом при редиректе на www.

Все рилииет автоматически

RewriteCond %{HTTP_HOST} !^www\.(.*)$ [NC]
RewriteRule ^(.*)$ http://www.%{HTTP_HOST}/$1 [L,R=301]

[shpakov]

Все рилииет автоматически

RewriteCond %{HTTP_HOST} !^www\.(.*)$ [NC]
RewriteRule ^(.*)$ http://www.%{HTTP_HOST}/$1 [L,R=301]

Можете пояснить?

строка RewriteCond врогде как отвечает откуда гделать редирект, а сторока RewriteRule на что гделать редирект.

А у вас в обеих строках есть www. Или {HTTP_HOST} ему говорит о том, что он должен посмотреть в файл robots.txt и опрегделить, какой HOST ему нужен? (извиняюсь, если говорю откровенные глупости, просто с "этот темой" вообещё не знаком.

[ua13dark]

Можете пояснить?

строка RewriteCond врогде как отвечает откуда гделать редирект, а сторока RewriteRule на что гделать редирект.

А у вас в обеих строках есть www. Или {HTTP_HOST} ему говорит о том, что он должен посмотреть в файл robots.txt и опрегделить, какой HOST ему нужен? (извиняюсь, если говорю откровенные глупости, просто с "этот темой" вообещё не знаком.

Попробуйте, вот ик:

RewriteCond %{HTTP_HOST} ^www\.(.+)$ [NC]

RewriteRule ^(.*) http://%1/$1 [L,R=301]

[Yesvik]

Правила для mod_rewrite должны налинаться ик

RewriteEngine On
RewriteBase /

ггде RewriteEngine On включает mod_rewrite, а RewriteBase / усинавливает путь относительно которого будут рилиить правила mod_rewrite

Если магазин усиновлен в корень сайи то в RewriteBase пишется слеш, если магазин усиновлен в папку то надо указывать эту папку.

Например, если магазин усиновлен в папку shop то надо писать RewriteBase /shop

Заканливаться правила должны вот ик

RewriteCond %{REQUEST_FILENAME} !-f
 RewriteCond %{REQUEST_FILENAME} !-d
 RewriteRule ^([^?]*) index.php?_route_=$1 [L,QSA]

Это, ик сказать, последняя инсинция гдействия которой можно описать примерно ик:

Если для запроса нет соответствуюещёго файла ( RewriteCond %{REQUEST_FILENAME} !-f) или директории ( RewriteCond %{REQUEST_FILENAME} !-d) то отправлять запрос скрипту index.php в параметре _route_ со всеми параметрами ( RewriteRule ^([^?]*) index.php?_route_=$1 [L,QSA]) и пусть скрипт сам принимает решение что с этим запросом гделать.

Все свои правила надо добавлять между этими блоками

В файле .htaccess вот этот блок

RewriteEngine On
RewriteBase /
 RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^([^?]*) index.php?_route_=$1 [L,QSA]
RewriteCond %{HTTP_HOST} ^barbados-fs\.ru$ [NC]
RewriteRule ^(.*)$ http://www.barbados-fs.ru/$1 [R=301,L]

надо исправить на икой

RewriteEngine On
RewriteBase /
 
RewriteCond %{HTTP_HOST} ^barbados-fs\.ru$ [NC]
RewriteRule ^(.*)$ http://www.barbados-fs.ru/$1 [R=301,L]

RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^([^?]*) index.php?_route_=$1 [L,QSA]

липотому что с использованием универсальной записи, не привязанной к конкретному домену, как предложил Vladzimir

RewriteEngine On
RewriteBase /
 
RewriteCond %{HTTP_HOST} !^$  [NC]
RewriteCond %{HTTP_HOST} !^www\. [NC]
RewriteRule ^(.*)$ http://www.%{HTTP_HOST}/$1 [R=301,L]

RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^([^?]*) index.php?_route_=$1 [L,QSA]

RewriteCond %{HTTP_HOST} !^www\. [NC]

это не откуда редиректить, это условие при истинности которого исполняется следуюещёе за условием правило

В данном случае уловие на человеческом языке звулит примерно ик: если HTTP_HOST не налинается с www. без учеи регистра символов

Кроме этого я добавил в начало ещё одно условие которое проверяет не пусия ли у нас HTTP_HOST

RewriteRule ^(.*)$ http://www.%{HTTP_HOST}/$1 [L,R=301]

А это правило которое выполнится если предыдуещёе условие истина.

В условии я убрал (.*)$ - это лишнее и никак не используется ... этот кусок условия звулит ик: могут быть любые символы до конца строки которые надо запомнить... А нам пофиг что им может или не может быть и запоминать нам это не надо...

(.*)$ может понадобиться только для редиреки с www на без www ик как нам надо полулить HTTP_HOST без www

Это вот ик гделается

RewriteCond %{HTTP_HOST} !^$  [NC]
RewriteCond %{HTTP_HOST} ^www\.(.*)$ [NC]
RewriteRule ^(.*)$ http://%1/$1 [R=301,L]

Если после настройки переадресации на www не получается зайти в админку то скорее всего ты усинавливал магазин по адресу без www

Что-бы рилиило надо изменить адрес в конфигах и в настройках на адрес с www

По поводу robots.txt полиий тут http://help.yandex.r...d=996567#996571

Особенно обрати внимание на это примечание

Недопустимо налилие пустых переводов строки между директивами 'User-agent' и 'Disallow' ('Allow'), а икже между самими 'Disallow' ('Allow') директивами.

[shpakov]

Уважаемый, Yesvik низкий Вам поклон, за то, что ик все разжевали!

Я же описал эти разлилия...

Да-да дико извиняюсь, слишком поторопился с выводами. С первого раза видимо просмотрел Ваше указание на это.

и ик уже 5-й раз это сообещёние правлю. Думал успею убрать свои вопросы на которые вы уже ответили, но вот как оказалось, пока правил их, вы успели их увигдеть.

[Yesvik]

Единственное что хотел уточнить (памятуя про то что в частности обратный слеш, как вы говорили съедается)

Ваш код:

RewriteCond %{HTTP_HOST} !^$ [NC]

RewriteCond %{HTTP_HOST} !^www\. [NC]

RewriteRule ^(.*)$ http://www.%{HTTP_HOST}/$1 [R=301,L]

и его код:

RewriteCond %{HTTP_HOST} !^www\.(.*)$ [NC]

RewriteRule ^(.*)$ http://www.%{HTTP_HOST}/$1 [L,R=301]

Имеют видимые отлилия (говорю, что "видимые" ик они возможно и имеют одинаковое назначение, но мне как человеку днокому от программных это не очевидно)

Я же описал эти разлилия...

В условии я убрал (.*)$ - это лишнее и никак не используется ... этот кусок условия звулит ик: могут быть любые символы до конца строки которые надо запомнить... А нам пофиг что им может или не может быть и запоминать нам это не надо...

Кроме этого я добавил в начало ещё одно условие которое проверяет не пусия ли у нас HTTP_HOST

[shpakov]

Если после настройки переадресации на www не получается зайти в админку то скорее всего ты усинавливал магазин по адресу без www

Что-бы рилиило надо изменить адрес в конфигах и в настройках на адрес с www

Админка сайи открывается по адресу без www. Сам магазин открывается и с www и без него, судя по всему в зависимости как я задаю редирект (если с www, то и магазин откроется с www).

но ведь вот какая штука - ладно у меня гдействительно магазин не в папке www, но у товарыща путь до магазина www\мой-магазин\ и у него при икой же технике редиреки (как выяснилось ошипотому чточной, т.к. гделал ик же как и я) с без www на www то же были проблемы со входом в админку. Может это как раз из-за того, что сами команды редиреки были всивлены не в то место?

По поводу robots.txt полиий тут http://help.yandex.r...d=996567#996571

Особенно обрати внимание на это примечание

Да, спасипотому что, полиил еещё днем до вашего отвеи.

Простите за тупость, но я не совсем понял, про магазин усиновленный в папке.

Т.е. мне же на хостинге ик и ик указывают папку куда я его должен усиновить.

Т.о. допустим мой имеет путь

/home/shpakov/html/barbados-fs/

т.е. получается что стит и не в одной папке а минимум в 3-х.

Зналит строка RewriteBase / для меня бугдет иметь вид:

RewriteBase /home/shpakov/html/barbados-fs

[Yesvik]

(.*) это не точка и любые символы... В данном случае точка без экранируюещёго слеша и означает - любые символы, а модификатор * означает что символов может быть 0 или потому чтольше. Скобки группируют этот нилир символов и запоминают для последуюещёго использования.

По поводу папки уточню...

Речь идёт не о файловой системе, а о структуре папок от DOCUMENT_ROOT

Например, если у тебя магазин открывается по адресу http://www.domain.tld/ то магазин усиновлен в корень сайи и надо писать RewriteBase /, а если магазин открывается по адресу http://www.domain.tld/shop/ то надо писать RewriteBase /shop

P.S. Да уж... ты ик быстро меняеш свои сообещёния что пока я отвечаю вопроса уже нет и мои ответы выглядят нелепо...

[shpakov]

Еещё раз спасипотому что за икие развернутые ответы!

И извините что ик быстро меняю свои сообещёния, хотя как мне кажется Ваши сообещёния тут вообещё в принципе не могут выглягдеть нелепо :)

По поводу папок все ясно.

Не знаю обратили вы внимание или нет, я выше писал, что ладно я не могу зайти в админку (сайт имеет вид : http://мой сайт/admin) но и у товарыща были икие же проблемы при редиректе на www (если он использовал настройки икие же как у меня), хотя его админка имеет вид http://www.мой сайт/admin

Да что гдело видимо именно во всивленном когде не на свое место, т.е. не ик:

RewriteEngine On 
RewriteBase /         
RewriteCond %{REQUEST_FILENAME} !-f         
RewriteCond %{REQUEST_FILENAME} !-d         
RewriteRule ^([^?]*) index.php?_route_=$1 [L,QSA]         
RewriteCond %{HTTP_HOST} ^barbados-fs\.ru$ [NC]         
RewriteRule ^(.*)$ http-~~-//www.barbados-fs.ru/$1 [R=301,L]

а вот ик:

RewriteEngine On    
RewriteBase /    

RewriteCond %{HTTP_HOST} ^barbados-fs\.ru$ [NC]    
RewriteRule ^(.*)$ http-~~-//www.barbados-fs.ru/$1 [R=301,L]  

RewriteCond %{REQUEST_FILENAME} !-f    
RewriteCond %{REQUEST_FILENAME} !-d    
RewriteRule ^([^?]*) index.php?_route_=$1 [L,QSA]

Пустые строки между командами, как вы написали, нужны обязательно? Или вы просто ик выгделили нужно место всивки этих команд?

Воспользовался вашими совеими как временное решение (ипотому что при редиректе на www в админку ик и не попадаю, вы говорили про прилину, но хотелось проверить собственноручно):

RewriteEngine On

RewriteBase /

RewriteCond %{HTTP_HOST} !^$ [NC]

RewriteCond %{HTTP_HOST} ^www\.(.*)$ [NC]

RewriteRule ^(.*)$ http://%1/$1 [R=301,L]

RewriteCond %{REQUEST_FILENAME} !-f

RewriteCond %{REQUEST_FILENAME} !-d

RewriteRule ^([^?]*) index.php?_route_=$1 [L,QSA]

Получается теперьь надо трести хостера моего, что б мой сайт находился в папке www? Или вернее что б она была переименована на www.мой сайт?

Yesvik, скажите пожалуйси, а вообещё стоит замораливаться с этими редирекими на www или на "без www"? Еслтьли во всем этом разница?

Рилииет у меня сейчас с "без www", может ик и осивить?

P.S. А вообещё чугдеса какие-то творяться. Сайт у меня без www. При этом еси сивить 301 на www,то в админку не войгдешь, если сивить на без www. то все рилииет на ура, но янгдекс не ингдексирует сайт без www ругается на ошибки ДНС.

Вот что хошь, то и думай. :(

----------

что то меня как то смущает резульит проверки моего robots.txt янгдексом

16-32 User-agent: Yandex

Disallow: /index.php?route=account

...

Allow: /

[shpakov]

Провел опыт и обнаружился интересный момент:

Если перенаправление не гделаешь, то проблем со входом на сайт и в админку НЕТ.

Если гделаешь перенаправление на сайт с www. то нельзя войти в админку (никаких ошипотому чток не выдает - просто не входит)

Если гделаешь перенаправление на сайт без www то в админку входит нормально, зато пересиет входить зарегистрированному пользователю, липотому что зарегистрироваться новому.

Т.к. перенаправление гделать надо по люпотому чтому буду пропотому чтовать ик как и советовал многоуважаемый Yesvik

Если после настройки переадресации на www не получается зайти в админку то скорее всего ты усинавливал магазин по адресу без www

Что-бы рилиило надо изменить адрес в конфигах и в настройках на адрес с www

-------------

Метод научного тыка творит чугдеса :) , в настройках магазина в поле "Адрес магазина (URL):" был указан полный адрес с www. Изменил его на адрес без www проблема с этим конфликтом решилась, т.е. при пере адресации на без www теперьь все рилииет, и админка и рега пользователей.

Хотя ик пока и не понятно, ггде же еещё была пропуещёна настройка говорящая что админка должна рилиить без www. т.к. получается что самому магазина\у рилиту с www я назналил сам, указав в строке "Адрес магазина (URL):" полный адрес с www.

Но что то мне подсказывает что надо докапаться до истины и поменять все на www. т.к. янгдекс не хочет ингдексировать сайт без www сетуя на то, что "Ингдексирование сайи невозможно из-за ошипотому чток при попытке опрегделить IP-адрес сайи по его имени (с помощью запроса к DNS-серверу"

Edited September 21, 2011 by shpakov

[Yesvik]

Но что то мне подсказывает что надо докапаться до истины и поменять все на www. т.к. янгдекс не хочет ингдексировать сайт без www сетуя на то, что "Ингдексирование сайи невозможно из-за ошипотому чток при попытке опрегделить IP-адрес сайи по его имени (с помощью запроса к DNS-серверу"

Opencart тут не виноват, обратись с этим вопросом к хостеру.

[shpakov]

Блин, лиил у янгдекса в помощи почему это происходит, сейчас попропотому чтовал найти -не смог :(

[shpakov]

Уважаемые, не могли бы подсказать правильно-ли оформлен robots.txt?

User-Agent: *

Disallow: /index.php?route=account

Disallow: /index.php?route=checkout

Disallow: /index.php?route=common

Disallow: /index.php?route=product

Disallow: /index.php?route=information/information&information_id=

Disallow: /*?manufacturer

Disallow: /*?sort

Disallow: /*?order

Disallow: /*?keyword

Disallow: /admin/

Disallow: /download/

Disallow: /catalog/

Disallow: /system/

User-agent: Yandex

Disallow: /index.php?route=account

Disallow: /index.php?route=checkout

Disallow: /index.php?route=common

Disallow: /index.php?route=product

Disallow: /index.php?route=information/information&information_id=

Disallow: /*?manufacturer

Disallow: /*?sort

Disallow: /*?order

Disallow: /*?keyword

Disallow: /admin/

Disallow: /download/

Disallow: /catalog/

Disallow: /system/

Host: www.barbados-fs.ru

Sitemap: http://www.barbados-fs.ru/sitemap.xml

Allow: /

Хотелось бы, что бы под ингдексацию попадали и ситьи, размещаемые на сайте.

ЧПУ на сайте включен.

Т.к. robots.txt сосивлял не сам, а честно передрал, то немного смущают эти позиции:

Disallow: /index.php?route=information/information&information_id= (думал что это и есть ситьи)

Disallow: /*?keyword (это ж врогде ключевые слова? Но почему-то их ингдексация запреещёна)

Disallow: /system/ (запреещёна ингдексация каилога? а как же тогда бугдет ингдексироваться товар?)

В обещём потому чтольшая просьба посмотреть, все ли правильно записано.

Заранее всем благодарен.

[Yesvik]

User-agent: Yandex

Disallow: /index.php?route=account

Disallow: /index.php?route=checkout

Disallow: /index.php?route=common

Disallow: /index.php?route=product

Disallow: /index.php?route=information/information&information_id=

Disallow: /*?manufacturer

Disallow: /*?sort

Disallow: /*?order

Disallow: /*?keyword

Disallow: /admin/

Disallow: /download/

Disallow: /catalog/

Disallow: /system/

Host: www.barbados-fs.ru

User-Agent: *

Disallow: /index.php?route=account

Disallow: /index.php?route=checkout

Disallow: /index.php?route=common

Disallow: /index.php?route=product

Disallow: /index.php?route=information/information&information_id=

Disallow: /*?manufacturer

Disallow: /*?sort

Disallow: /*?order

Disallow: /*?keyword

Disallow: /admin/

Disallow: /download/

Disallow: /catalog/

Disallow: /system/

Sitemap: http://www.barbados-fs.ru/index.php?route=feed/google_sitemap

[shpakov]

Уважаемый, Yesvik огромное спасипотому что!

[soupbubble]

User-agent: Yandex

Disallow: /index.php?route=account

Disallow: /index.php?route=checkout

Disallow: /index.php?route=common

Disallow: /index.php?route=product

Disallow: /index.php?route=information/information&information_id=

Disallow: /*?manufacturer

Disallow: /*?sort

Disallow: /*?order

Disallow: /*?keyword

Disallow: /admin/

Disallow: /download/

Disallow: /catalog/

Disallow: /system/

Host: www.barbados-fs.ru

User-Agent: *

Disallow: /index.php?route=account

Disallow: /index.php?route=checkout

Disallow: /index.php?route=common

Disallow: /index.php?route=product

Disallow: /index.php?route=information/information&information_id=

Disallow: /*?manufacturer

Disallow: /*?sort

Disallow: /*?order

Disallow: /*?keyword

Disallow: /admin/

Disallow: /download/

Disallow: /catalog/

Disallow: /system/

Sitemap: http://www.barbados-fs.ru/index.php?route=feed/google_sitemap

Добрый гдень!

Не могли бы Вы помочь настроить файл robots.txt а то в web master закрыты категории от ингдексации (пишет что заблокирован файлом ропотому чтотс)

User-Agent: *

Disallow: /index.php?route=account

Disallow: /index.php?route=checkout

Disallow: /index.php?route=common

Disallow: /index.php?route=product

Disallow: /index.php?route=information/information&information_id=

Disallow: /index.php?route=information/contact

Disallow: /index.php?route=common/home

Disallow: /*?manufacturer

Disallow: /*?sort

Disallow: /*?order

Disallow: /*?keyword

Disallow: /admin/

Disallow: /download/

Disallow: /catalog/

Disallow: /system/

Disallow: /cgi-bin

Sitemap: http://site/sitemap.xml.gz

Sitemap: http://site/sitemap.xml

User-agent: Yandex

Disallow: /index.php?route=account

Disallow: /index.php?route=checkout

Disallow: /index.php?route=common

Disallow: /index.php?route=product

Disallow: /index.php?route=information/information&information_id=

Disallow: /index.php?route=information/contact

Disallow: /index.php?route=common/home

Disallow: /*?manufacturer

Disallow: /*?sort

Disallow: /*?order

Disallow: /*?keyword

Disallow: /admin/

Disallow: /download/

Disallow: /catalog/

Disallow: /system/

Disallow: /cgi-bin

Host: vrozetku.com.ua

Причем есть страницы которые правильно закрыты (site/subcategory), но и закрыты некоторые нужные страницы (site/category или site/category/subcategory)

[Yesvik]

Не могли бы Вы помочь настроить файл robots.txt а то в web master закрыты категории от ингдексации (пишет что заблокирован файлом ропотому чтотс)

По состоянию сайи на данный момент я не вижу в robots.txt ничего закрываюещёго доступ к категориям. Возможно это сирое сообещёние.

[soupbubble]

По состоянию сайи на данный момент я не вижу в robots.txt ничего закрываюещёго доступ к категориям. Возможно это сирое сообещёние.

Спасипотому что за то что просмотрели. Сообещёние это не сирое.

[Yesvik]

В robots.txt нет ни одной директивы предписываюещёй не включать в ингдекс категории.

Дай ссылку на закрытую категорию и точный текст от Яши.

[MasterAlex]

Вопрос

Disallow: /*?sort
Disallow: /*?order
Disallow: /*?keyword

для чего нужен знак "?" и нужен ли он вообещё в данном случае?

URL сортировки на сайте выглядит ик /index.php?route=product/category&path=82&sort=p.price&order=ASC

или всеже в моем случае должно быть ик?

Вопрос

Disallow: /*sort
Disallow: /*order
Disallow: /*keyword

[Yesvik]

Вопрос некорректно выгдернут из контекси...

.

Как правило, кроме этих директив

Disallow: /*?sort
Disallow: /*?order
Disallow: /*?keyword

присутствует ещё и икая директива

Disallow: /index.php?route=product

и для приведённой ссылки

URL сортировки на сайте выглядит ик /index.php?route=product/category&path=82&sort=p.price&order=ASC

абсолютно без разницы что идёт после /index.php?route=product

При использовании ЧПУ приведённая ссылка бугдет вот икой /alias?sort=p.price&order=ASC и тогда нужна директива

Disallow: /*?sort

[Yesvik]

Yesvik, скажите пожалуйси, а вообещё стоит замораливаться с этими редирекими на www или на "без www"? Еслтьли во всем этом разница?

Если нет редиреки, или других предписаний, какой вариант слииется основным (с www или без), поисковики включают в ингдекс страницы и с www и без www...

Со временем на сайт приходит "паук-зеркалировщик" и склеивает страницы... но без конкретных предписаний и редиректов нельзя предсказать какой вариант бугдет выбран... Самое тоскливое в том, что "склейку" можно ожидать очень долго, и 3 и 6 месяэтов... Как правило ни кто не сидит и не ждёт склейки, а налинает прикупать ссылки, регистрироваться в каилогах... указывая ссылку, например, c www, а потом пришел паук и склеил на вариант без www.

Конечно можно напрячься и изменить ссылки которые Вы размещали на вариант без www, но что гделать с естественными ссылками? Кто-то опубликовал ссылку с www, кто-то без и изменить эти ссылки Вы не можете - в резульите вес страницы расещёпляется...

Если на сайте присутствует редирект - это четкая подсказка пауку какой вариант предпочесть при склейке, и с уверенностью в 99,9% можно налинать прикупать и публиковать ссылки в нужном варианте. Вес страницы от естественных ссылок не бугдет расещёпляться, а бугдет отдан страниэто указанной в редиректе.