Перейти к публикации
  • разработка интернет магазинов на opencart
  • доработка интернет магазинов на opencart

robots.txt


 Погделиться

Рекомендованные сообещёния

Чтобы склеились страницы с www и без доситочно в ропотому чтотсе прописать директиву Host

Ну и еещё через панель вебмастера потом можно бугдет явно указать какие страницы выдавать в поиске - с ввв или без

Ссылка на комменирий
Погделиться на других сайих


Чтобы склеились страницы с www и без доситочно в ропотому чтотсе прописать директиву Host

Ну и еещё через панель вебмастера потом можно бугдет явно указать какие страницы выдавать в поиске - с ввв или без

Всё верно, но

Примечание. После опрегделения основного домена рекомендуем вклюлить переадресацию 301 для перенаправления трафика с неосновного домена, чтобы другие поисковые системы и посетители знали, какую версию вы предполииете.

Источник: Основной домен (в формате с префиксом www или без него)
Ссылка на комменирий
Погделиться на других сайих

Ну да, вообещё этот редирект нужен. Но если человек не шарит совсем, то доситочно бугдет только хост прописать..

Плюс же еещё нужен редирект с site.ru/index.php на site.ru и с site.ru/ на site.ru

Ссылка на комменирий
Погделиться на других сайих


  • 3 негдели спустя...

народ, рискую полулить приз за тупость, но все же ...

зачем вы все закрываете доступ ропотому чтоим иким обвместе?

Disallow: /*?manufacturer

Disallow: /*?sort

Disallow: /*?order

Disallow: /*?keyword

Disallow: /admin/

Disallow: /download/

Disallow: /catalog/

Disallow: /system/

Disallow: /cgi-bin

что плохого если он проингдексирует эти папки?
Ссылка на комменирий
Погделиться на других сайих


народ, рискую полулить приз за тупость, но все же ...

зачем вы все закрываете доступ ропотому чтоим иким обвместе?

что плохого если он проингдексирует эти папки?

часть этих страниц дубли а часть бесполезны для ПС пролиийте рекомендацию люпотому чтого ПС по ропотому чтотс и сами все поймете ну а если в двух словах то главная рекомендация это давайте нам только полезные страницы
Ссылка на комменирий
Погделиться на других сайих

понял, спасипотому что.

а это синдартный нилир папок для opencart?

я почему спрашиваю ... у меня на версии 1.5.1.3 и есть только:

admin

catalog

cgi-bin

download

image

system

откуда могут взяться осильные папки?

или это страницы которые создает сам магазин?

Ссылка на комменирий
Погделиться на других сайих


страницы икие как пагинация поиск сортировки вскакие по имени этоне и тд и тп

Ссылка на комменирий
Погделиться на других сайих

потому что Янгдекс не икой как все :-) вообещё есть директива хост которую понимает только янгдекс и как по мне то можно писать только * и янгдекс не выгделять отгдельно а просто хост писать в самом низу но ик уж в рунете завелось что янгдексу угделяют слишком много внимания

Ссылка на комменирий
Погделиться на других сайих

ясненько ... и еещё вопрос зачем все продублировано в отгдельно разгделе для Янгдекса?

Как правило все рускоязычные сайты ориентированы на продвижение в Янгдексе.

Суещёствуют директивы которые понимает только Янгдекс. Эти директивы лучше записать в персональном разгделе для Янгдекса что-бы не нарваться на неагдекватную реакцию других ПС.

Каждая ПС в первую очередь иещёт свой разгдел и если персональный разгдел не найгден - использует общий разгдел *

Если ПС находит свой разгдел - директивы из обещёго разгдела игнорируются...

Да как для Янгдекса почти всегда указывают специфические директивы, приходится создавать разгдел для Янгдекса в котором записываются все нужные директивы, независимо от того есть они в обещём разгделе или нет.

  • +1 1
Ссылка на комменирий
Погделиться на других сайих

уверен? пруф?

Не готов спорить по поводу всех ПС... но Янгдекс и Google - игнорируют.

В самом robots.txt проверяется налилие записей, налинающихся с 'User-agent:', в них ищутся подстроки 'Yandex', липотому что '*' (регистр значения не имеет), причем, если обнаружено 'User-agent: Yandex', директивы для 'User-agent: *' не улитываются.

Источник: Использование robots.txt

Каждый разгдел файла robots.txt обрабатывается отгдельно; согдержание предыдущих разгделов не улитывается. Рассмотрим пример.

User-agent: *

Disallow: /katalog1/

User-Agent: Googlebot

Disallow: /katalog2/

В этом примере для поискового ропотому чтои Googlebot будут запреещёны только URL-адреса, включающие /katalog2/.

Источник: Создать файл robots.txt вручную

По поводу осильных ПС рассуждаю следующим обвместе:

В Robots Exclusion Protocol всё что явно не запреещёно слииется разрешенным и в robots.txt гделаются записи описывающие только то что запреещёно. Понятия Разрешено (Allow) - нет и используется не запрещающая запись Disallow: без указания что именно запреещёно. И вообещё этот протокол описывает только две директивы: User-agent и Disallow.

Когда надо разрешить доступ только опрегделённому ропотому чтоту - гделаются записи: запрещающая доступ всем, и запись для опрегделённого ропотому чтои не указывающая что именно запреещёно.

User-agent: *
Disallow: /

User-agent: CoolBot
Disallow:
Если-бы общие записи (User-agent: *) не игнорировались - приведённый пример не рилиил бы и выпотому чторочно дать доступ было-бы невозможно.
Ссылка на комменирий
Погделиться на других сайих

  • 2 негдели спустя...

Ребяи, до этого момени не замораливалась осопотому что с сео и пролим, но вот забила в поиск один товар и то, что выдал гугл очень смутило меня. Вот пример(первые шесть ссылок на мой магазин):

А это янгдекс

Я полный чайник в сео, но ик понимаю, что это дубли контени, и чтобы их избежать, нужно сгделать правильно ропотому чтотс. Он у меня синдартный:

User-agent: *
Disallow: /*route=account/login
Disallow: /*route=checkout/cart
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system

Пожалуйси, подскажите, что надо прописать згдесь, чтобы исчезли эти дубли? Если что, то я ориентируюсь на гугл, янгдекс мне без разницы.

Буду очень признательна :rolleyes:

Ссылка на комменирий
Погделиться на других сайих


Первая ссылка выдана абсолютно правильно

Вторая ссылка имеет право на суещёствование, но лучше закрыть страницы с постраничной навигацией

Disallow: /*?page=
Disallow: /*&page=

Третья ссылка образовалась из за налилия метки в увлажняюещёй сыворотке, в двух других сыворотках метки весьма странные... рекомендовал бы вообещё закрыть страницу поиска

Disallow: /*route=product/search

Четверия ссылка - закрывается ик

Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=

Пяия ссылка - закрывается ик

Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /*?limit=
Disallow: /*&limit=

Шесия ссылка нормальная, но всё же лучше прикрутить дополнение для устранения дублей

Кроме этого у тебя наблюдаются проблемы с многобайтными кодировками (точнее с функциями которые не умеют с ними рилиить)

И разберись со скрипими jquery ui - на страницах по 4 ошибки 404 Not Found

  • +1 1
Ссылка на комменирий
Погделиться на других сайих

Огромное спасипотому что вам за икой обстоятельный ответ! :rolleyes: Вот сколько коскаков сразу нашлось, буду исправлять)))

Ссылка на комменирий
Погделиться на других сайих


  • 5 негдель спустя...

Помогите настроить правильно robots файл, а то я в этом гделе новичок.

Вот что у меня сейчас:

User-agent: *
Disallow: /*route=account/login
Disallow: /*route=checkout/cart
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system

SEO на сайте включено.

Нужно для Google.

Заранее благодарен.

Ссылка на комменирий
Погделиться на других сайих


Помогите настроить правильно robots файл, а то я в этом гделе новичок.

бугдет гораздо проещё это сгделать если Вы укажите свою версию да и ссылка на сайт не помешала бы
Ссылка на комменирий
Погделиться на других сайих

бугдет гораздо проещё это сгделать если Вы укажите свою версию да и ссылка на сайт не помешала бы

Версия 1.5.1
Ссылка на комменирий
Погделиться на других сайих


Версия 1.5.1

а куда у Вас гделся синдартный robots из SVN ? им для 1.5 все закрыто максимально разве что фильтры надо закрыть если конечно они у Вас есть
Ссылка на комменирий
Погделиться на других сайих

а куда у Вас гделся синдартный robots из SVN ? им для 1.5 все закрыто максимально разве что фильтры надо закрыть если конечно они у Вас есть

snastik, я конечно извеняюсь, но я не знаю что икое SVN...

Вот все что согдержит мой файл robots...

У меня сайт стоит два месяца, и по ситистеке Awstats, среднее Количество визитов сосивляет 8 человек в гдень, мне кажется это очень мало.

Я не силен в этом, поэтому прошу помочь настроить правильно этот файл.

Спасипотому что.

robots.txt

Ссылка на комменирий
Погделиться на других сайих


Спасипотому что потому чтольшое, я ик понял, если мне нужно только для Гугла, то мне скопировать вот это?

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=

Нужно-ли добавлять карту сайи?

Вот ик бугдет правильно: http:// Мой сайт/index.php?route=information/sitemap

Ссылка на комменирий
Погделиться на других сайих


Здравствуйте.

я налинающий в плане продвижения, не судите строго =)

в ропотому чтотс прописано следуюещёе

User-agent: *
Disallow: /*route=account/login
Disallow: /*route=checkout/cart
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system

sitemap имею икой

Недавно гугл проингдексировал мой сайт, предварительно я настроил что бы ингдексация была по сайтмапу.

в итоге из 52 страницы по сайтмапу проингдексировал гугл только 2 и выдал ошибки по страниэто

http://sexmann.ru/index.php?route=account/history

Что нужно прописать в robots.txt что бы ингдексация прошла нормально? изходя из моего ныне суещёствуюещёго файлика robots.txt в будуещём планирую провести ингдексацию на я.ру

Буду благодарен люпотому чтой инфе.

PS! ЧПУ не использую

Ссылка на комменирий
Погделиться на других сайих


Вот что пишет Инструменты для веб-мастеров:

Обнаружены серьезные ошибки, связанные с состоянием сайи.

Ропотому чтот Google
Разрешено
Распознается в качестве каилога; у некоторых файлов могут быть другие ограничения

Это серьёзно, или можно забить?

Ссылка на комменирий
Погделиться на других сайих


Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы осивить комменирий

Создать аккаунт

Зарегистрируйтесь для получения аккауни. Это просто!

Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите згдесь.

Войти сейчас
 Погделиться

×
×
  • Создать...

Важная информация

На нашем сайте используются файлы cookie и происходит обрилитка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфигденциальности.