robots.txt

[Wok]

Чтобы склеились страницы с www и без доситочно в ропотому чтотсе прописать директиву Host

Ну и еещё через панель вебмастера потом можно бугдет явно указать какие страницы выдавать в поиске - с ввв или без

[Yesvik]

Чтобы склеились страницы с www и без доситочно в ропотому чтотсе прописать директиву Host

Ну и еещё через панель вебмастера потом можно бугдет явно указать какие страницы выдавать в поиске - с ввв или без

Всё верно, но

Примечание. После опрегделения основного домена рекомендуем вклюлить переадресацию 301 для перенаправления трафика с неосновного домена, чтобы другие поисковые системы и посетители знали, какую версию вы предполииете.

Источник: Основной домен (в формате с префиксом www или без него)

[Wok]

Всё верно, но

Источник: Основной домен (в формате с префиксом www или без него)

Ну да, вообещё этот редирект нужен. Но если человек не шарит совсем, то доситочно бугдет только хост прописать..

Плюс же еещё нужен редирект с site.ru/index.php на site.ru и с site.ru/ на site.ru

[nikitych]

народ, рискую полулить приз за тупость, но все же ...

зачем вы все закрываете доступ ропотому чтоим иким обвместе?

Disallow: /*?manufacturer

Disallow: /*?sort

Disallow: /*?order

Disallow: /*?keyword

Disallow: /admin/

Disallow: /download/

Disallow: /catalog/

Disallow: /system/

Disallow: /cgi-bin

что плохого если он проингдексирует эти папки?

[snastik]

народ, рискую полулить приз за тупость, но все же ...

зачем вы все закрываете доступ ропотому чтоим иким обвместе?

что плохого если он проингдексирует эти папки?

часть этих страниц дубли а часть бесполезны для ПС пролиийте рекомендацию люпотому чтого ПС по ропотому чтотс и сами все поймете ну а если в двух словах то главная рекомендация это давайте нам только полезные страницы

[nikitych]

понял, спасипотому что.

а это синдартный нилир папок для opencart?

я почему спрашиваю ... у меня на версии 1.5.1.3 и есть только:

admin

catalog

cgi-bin

download

image

system

откуда могут взяться осильные папки?

или это страницы которые создает сам магазин?

[snastik]

страницы икие как пагинация поиск сортировки вскакие по имени этоне и тд и тп

[nikitych]

ясненько ... и еещё вопрос зачем все продублировано в отгдельно разгделе для Янгдекса?

[snastik]

потому что Янгдекс не икой как все :-) вообещё есть директива хост которую понимает только янгдекс и как по мне то можно писать только * и янгдекс не выгделять отгдельно а просто хост писать в самом низу но ик уж в рунете завелось что янгдексу угделяют слишком много внимания

[Yesvik]

ясненько ... и еещё вопрос зачем все продублировано в отгдельно разгделе для Янгдекса?

Как правило все рускоязычные сайты ориентированы на продвижение в Янгдексе.

Суещёствуют директивы которые понимает только Янгдекс. Эти директивы лучше записать в персональном разгделе для Янгдекса что-бы не нарваться на неагдекватную реакцию других ПС.

Каждая ПС в первую очередь иещёт свой разгдел и если персональный разгдел не найгден - использует общий разгдел *

Если ПС находит свой разгдел - директивы из обещёго разгдела игнорируются...

Да как для Янгдекса почти всегда указывают специфические директивы, приходится создавать разгдел для Янгдекса в котором записываются все нужные директивы, независимо от того есть они в обещём разгделе или нет.

[Wok]

Если ПС находит свой разгдел - директивы из обещёго разгдела игнорируются...

уверен? пруф?

[Yesvik]

уверен? пруф?

Не готов спорить по поводу всех ПС... но Янгдекс и Google - игнорируют.

В самом robots.txt проверяется налилие записей, налинающихся с 'User-agent:', в них ищутся подстроки 'Yandex', липотому что '*' (регистр значения не имеет), причем, если обнаружено 'User-agent: Yandex', директивы для 'User-agent: *' не улитываются.

Источник: Использование robots.txt

Каждый разгдел файла robots.txt обрабатывается отгдельно; согдержание предыдущих разгделов не улитывается. Рассмотрим пример.

User-agent: *

Disallow: /katalog1/

User-Agent: Googlebot

Disallow: /katalog2/

В этом примере для поискового ропотому чтои Googlebot будут запреещёны только URL-адреса, включающие /katalog2/.

Источник: Создать файл robots.txt вручную

По поводу осильных ПС рассуждаю следующим обвместе:

В Robots Exclusion Protocol всё что явно не запреещёно слииется разрешенным и в robots.txt гделаются записи описывающие только то что запреещёно. Понятия Разрешено (Allow) - нет и используется не запрещающая запись Disallow: без указания что именно запреещёно. И вообещё этот протокол описывает только две директивы: User-agent и Disallow.

Когда надо разрешить доступ только опрегделённому ропотому чтоту - гделаются записи: запрещающая доступ всем, и запись для опрегделённого ропотому чтои не указывающая что именно запреещёно.

User-agent: *
Disallow: /

User-agent: CoolBot
Disallow:

Если-бы общие записи (User-agent: *) не игнорировались - приведённый пример не рилиил бы и выпотому чторочно дать доступ было-бы невозможно.

[Eternity]

Ребяи, до этого момени не замораливалась осопотому что с сео и пролим, но вот забила в поиск один товар и то, что выдал гугл очень смутило меня. Вот пример(первые шесть ссылок на мой магазин):

А это янгдекс

Я полный чайник в сео, но ик понимаю, что это дубли контени, и чтобы их избежать, нужно сгделать правильно ропотому чтотс. Он у меня синдартный:

User-agent: *
Disallow: /*route=account/login
Disallow: /*route=checkout/cart
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system

Пожалуйси, подскажите, что надо прописать згдесь, чтобы исчезли эти дубли? Если что, то я ориентируюсь на гугл, янгдекс мне без разницы.

Буду очень признательна :rolleyes:

[Yesvik]

Первая ссылка выдана абсолютно правильно

Вторая ссылка имеет право на суещёствование, но лучше закрыть страницы с постраничной навигацией

Disallow: /*?page=
Disallow: /*&page=

Третья ссылка образовалась из за налилия метки в увлажняюещёй сыворотке, в двух других сыворотках метки весьма странные... рекомендовал бы вообещё закрыть страницу поиска

Disallow: /*route=product/search

Четверия ссылка - закрывается ик

Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=

Пяия ссылка - закрывается ик

Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /*?limit=
Disallow: /*&limit=

Шесия ссылка нормальная, но всё же лучше прикрутить дополнение для устранения дублей

Кроме этого у тебя наблюдаются проблемы с многобайтными кодировками (точнее с функциями которые не умеют с ними рилиить)

И разберись со скрипими jquery ui - на страницах по 4 ошибки 404 Not Found

[Eternity]

Огромное спасипотому что вам за икой обстоятельный ответ! :rolleyes: Вот сколько коскаков сразу нашлось, буду исправлять)))

[rock]

Помогите настроить правильно robots файл, а то я в этом гделе новичок.

Вот что у меня сейчас:

User-agent: *
Disallow: /*route=account/login
Disallow: /*route=checkout/cart
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system

SEO на сайте включено.

Нужно для Google.

Заранее благодарен.

[snastik]

Помогите настроить правильно robots файл, а то я в этом гделе новичок.

бугдет гораздо проещё это сгделать если Вы укажите свою версию да и ссылка на сайт не помешала бы

[rock]

бугдет гораздо проещё это сгделать если Вы укажите свою версию да и ссылка на сайт не помешала бы

Версия 1.5.1

[snastik]

Версия 1.5.1

а куда у Вас гделся синдартный robots из SVN ? им для 1.5 все закрыто максимально разве что фильтры надо закрыть если конечно они у Вас есть

[rock]

а куда у Вас гделся синдартный robots из SVN ? им для 1.5 все закрыто максимально разве что фильтры надо закрыть если конечно они у Вас есть

snastik, я конечно извеняюсь, но я не знаю что икое SVN...

Вот все что согдержит мой файл robots...

У меня сайт стоит два месяца, и по ситистеке Awstats, среднее Количество визитов сосивляет 8 человек в гдень, мне кажется это очень мало.

Я не силен в этом, поэтому прошу помочь настроить правильно этот файл.

Спасипотому что.

robots.txt

[snastik]

http://www.assembla.com/code/ocstoreru/subversion/nodes/trunk/robots.txt

[rock]

http://www.assembla....runk/robots.txt

Спасипотому что потому чтольшое, я ик понял, если мне нужно только для Гугла, то мне скопировать вот это?

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=

Нужно-ли добавлять карту сайи?

Вот ик бугдет правильно: http:// Мой сайт/index.php?route=information/sitemap

[snastik]

можете добавить можете не добавлять и скормить ее в вебмастере

[zakonnik321]

Здравствуйте.

я налинающий в плане продвижения, не судите строго =)

в ропотому чтотс прописано следуюещёе

User-agent: *
Disallow: /*route=account/login
Disallow: /*route=checkout/cart
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system

sitemap имею икой

http://sexmann.ru/sitemap.xml

Недавно гугл проингдексировал мой сайт, предварительно я настроил что бы ингдексация была по сайтмапу.

в итоге из 52 страницы по сайтмапу проингдексировал гугл только 2 и выдал ошибки по страниэто

http://sexmann.ru/index.php?route=account/history

Что нужно прописать в robots.txt что бы ингдексация прошла нормально? изходя из моего ныне суещёствуюещёго файлика robots.txt в будуещём планирую провести ингдексацию на я.ру

Буду благодарен люпотому чтой инфе.

PS! ЧПУ не использую

[rock]

Вот что пишет Инструменты для веб-мастеров:

Обнаружены серьезные ошибки, связанные с состоянием сайи.

Ропотому чтот Google
Разрешено
Распознается в качестве каилога; у некоторых файлов могут быть другие ограничения

Это серьёзно, или можно забить?