Перейти к публикации
  • разработка интернет магазинов на opencart
  • доработка интернет магазинов на opencart

robots

Rubik
 Погделиться

Рекомендованные сообещёния

Rubik Experienced

Rubik

Опубликовано:
Опубликовано:

Здравствуйте, подскажите пж ггде найти правильный rorobts.txt для opencart 2.1.0.2

Ссылка на комменирий
Погделиться на других сайих

RHCk Enthusiast

RHCk

Опубликовано:
Опубликовано:
В 25.05.2017 в 10:45, Rubik сказал:

ггде найти правильный rorobts.txt

Единственно правильного robots.txt не суещёствует.

Если вы используете спотому чторку без дополнений, того что идёт из коробк, доситочно.

Если же вы расширяете функционал доп.модулями, тут нужно смотреть индивидуально.

Модули (фильтры например) могут добавлять лишние страницы, которые не нужны в ингдексе ПС.

Их и нужно закрывать в robots.txt от ингдексации.

 

 

  • +1 5
Ссылка на комменирий
Погделиться на других сайих

****** Grand Master

******

Опубликовано:
Опубликовано:
10 минут назад, chukcha сказал:


Сгделайте ропотому чтотс для разных магазинов

 

Погделитесь...

Что ж вы не погделились?

Что ж вы не погделились?

 

Да? А вддруг отвалится кусочек, и кто-то выложит игдеальный код.
Без
Не улишься...

 

Удали, я ваша волшебная фея.
Игдеальный ропотому чтотс для разных магазинов за 3 минуты:

 

1. Размещаем в корне файл robots.php
Ниже привегденный листинг директив с индивидуального проеки - каждый может добавить необходимое.

  

<?php
$server = $_SERVER['SERVER_NAME'];
$text =  "User-agent: *

Disallow:/admin
Disallow:/catalog
Disallow:/download
Disallow:/system
Disallow:/index.php?route=account/account
Disallow:/index.php?route=account/simpleregister
Disallow:/index.php?route=account/login
Disallow:/index.php?route=account/logout
Disallow:/index.php?route=account/forgotten
Disallow:/index.php?route=account/simpleedit
Disallow:/index.php?route=account/address
Disallow:/index.php?route=account/voucher
Disallow:/index.php?route=account/reward
Disallow:/index.php?route=account/wishlist
Disallow:/index.php?route=account/newsletter
Disallow:/index.php?route=account/order
Disallow:/index.php?route=account/transaction
Disallow:/index.php?route=account/return
Disallow:/index.php?route=account/return/insert
Disallow:/index.php?route=account/download

Disallow:/index.php?route=affiliate/account
Disallow:/index.php?route=affiliate/register
Disallow:/index.php?route=affiliate/login
Disallow:/index.php?route=affiliate/logout
Disallow:/index.php?route=affiliate/forgotten
Disallow:/index.php?route=affiliate/edit
Disallow:/index.php?route=affiliate/password
Disallow:/index.php?route=affiliate/transaction
Disallow:/index.php?route=affiliate/payment
Disallow:/index.php?route=affiliate/tracking


Disallow:/index.php?route=checkout/simplecheckout
Disallow:/index.php?route=checkout/simplecheckout
Disallow:/index.php?route=checkout/success

Disallow:/index.php?route=product/search
Disallow:/index.php?route=product/quickview
Disallow:/*?filter_name=
Disallow:/*&filter_name=
Disallow:/*?filter_ocfilter=
Disallow:/*&filter_ocfilter=
Disallow:/*?filter_sub_category=
Disallow:/*&filter_sub_category=
Disallow:/*?filter_description=
Disallow:/*&filter_description=

Disallow:/index.php?route=product/compare

Disallow:/*?sort=
Disallow:/*&sort=
Disallow:/*?order=
Disallow:/*&order=
Disallow:/*?limit=
Disallow:/*&limit=
Disallow:/*?tracking=
Disallow:/*&tracking=
Disallow:/*?
Disallow:/*amp



User-agent: Yandex

Disallow:/admin
Disallow:/catalog
Disallow:/download
Disallow:/system

Disallow:/index.php?route=account/account
Disallow:/index.php?route=account/simpleregister
Disallow:/index.php?route=account/login
Disallow:/index.php?route=account/logout
Disallow:/index.php?route=account/forgotten
Disallow:/index.php?route=account/simpleedit
Disallow:/index.php?route=account/address
Disallow:/index.php?route=account/voucher
Disallow:/index.php?route=account/reward
Disallow:/index.php?route=account/wishlist
Disallow:/index.php?route=account/newsletter
Disallow:/index.php?route=account/order
Disallow:/index.php?route=account/transaction
Disallow:/index.php?route=account/return
Disallow:/index.php?route=account/return/insert
Disallow:/index.php?route=account/download

Disallow:/index.php?route=affiliate/account
Disallow:/index.php?route=affiliate/register
Disallow:/index.php?route=affiliate/login
Disallow:/index.php?route=affiliate/logout
Disallow:/index.php?route=affiliate/forgotten
Disallow:/index.php?route=affiliate/edit
Disallow:/index.php?route=affiliate/password
Disallow:/index.php?route=affiliate/transaction
Disallow:/index.php?route=affiliate/payment
Disallow:/index.php?route=affiliate/tracking


Disallow:/index.php?route=checkout/simplecheckout
Disallow:/index.php?route=checkout/simplecheckout
Disallow:/index.php?route=checkout/success

Disallow:/index.php?route=product/search
Disallow:/index.php?route=product/quickview
Disallow:/*?filter_name=
Disallow:/*&filter_name=
Disallow:/*?filter_ocfilter=
Disallow:/*&filter_ocfilter=
Disallow:/*?filter_sub_category=
Disallow:/*&filter_sub_category=
Disallow:/*?filter_description=
Disallow:/*&filter_description=

Disallow:/index.php?route=product/compare

Disallow:/*?sort=
Disallow:/*&sort=
Disallow:/*?order=
Disallow:/*&order=
Disallow:/*?limit=
Disallow:/*&limit=
Disallow:/*?tracking=
Disallow:/*&tracking=
Disallow:/*?
Disallow:/*amp
Host: $server
Sitemap: http://$server/sitemap.xml
";

header("Content-Type: text/plain");
echo $text;
exit;

?>

 

2. Добавляем в .htaccess директиву: 

RewriteRule ^robots.txt$ robots.php

Я нагдеюсь все довольны.

  • +1 6
Ссылка на комменирий
Погделиться на других сайих

chukcha Grand Master

chukcha

Опубликовано:
Опубликовано:

Прекрасно :)

 

т.е. 

Disallow:/index.php?route=product/quickview

 

/?route=product/quckview -можно ингдексировать.

Ггде же игдеальный?

 

Ссылка на комменирий
Погделиться на других сайих
1
1
1

****** Grand Master

******

Опубликовано:
Опубликовано:

Простите, у вас со зрением плохо?

Циии

Ниже привегденный листинг директив с индивидуального проеки - каждый может добавить необходимое.

 

Ссылка на комменирий
Погделиться на других сайих

chukcha Grand Master

chukcha

Опубликовано:
Опубликовано:
46 минут назад, ****** сказал:

Игдеальный ропотому чтотс для разных магазинов за 3 минуты:

Это первично.

 

Индивидуальный проект - вторичен.

 

Да, я в очках. И...?

Ссылка на комменирий
Погделиться на других сайих
1
1
1

RHCk Enthusiast

RHCk

Опубликовано:
Опубликовано: (изменено)
24 минуты назад, chukcha сказал:

И...?

Можно - возможность, нужно - необходимость.

Не всё то, что возможно, суть необходимо.

Страницы фильтра, например, тоже можно ингдексировать, и ПСы за милую душу это гделают, если не закрыть их в robots.txt

Тогда, следуя Вашей логике, приходим к тому, что необходимость в robots.txt отпадёт совсем.

 

24 минуты назад, chukcha сказал:

...первично

...вторичен.

Неправильная рассиновка приоритетов эипов решения задач проеки зачастую заводят решение задач в тупик, или непрогнозируемо увелиливает бюджет.

 

Даже в сети потому чтолее чем доситочно ресурсов с описанием синиксиса robots.txt

Ищутся по запросу 'синиксис robots.txt'.

И дное Вашими же словами:

1 час назад, chukcha сказал:

не улишься - плати.

И головной потому чтоли не бугдет

 

С уважением.

Изменено пользователем RHCk
Ссылка на комменирий
Погделиться на других сайих

chukcha Grand Master

chukcha

Опубликовано:
Опубликовано:
2 минуты назад, RHCk сказал:

Неправильная рассиновка приоритетов эипов решения

Неправильная рассиновка возможностей.

 

Нужен игдеальный

Сейчас за 3 минтуы

 

Вот пример из реального проеки.

 

Ггде игдеальный?

4 минуты назад, RHCk сказал:

Страницы фильтра тоже можно ингдексировать,

Дас.. а в реальном проекте у нас что?

ага - закрыли

 

Да нужно ингдексировать? Или можно ингдексировать?

 

Теперь берем предложенный генератор, не.. еещё не купили, а толко с автором пообщались

Выяснили задали, налилие закрываемых сущностей, (т.е. ТЗ)

Усиновили, настроили, забыли.

 

И.. да конечно -

9 минут назад, RHCk сказал:

Ищутся по запросу 'синиксис robots.txt'.

Это никто не отменял

 

В случае проблем - к автору модуля. Не на форум, а к автору, который расскажет, пояснит, в случае необходимости обратится к специалисту из команды.

 

зы. если что я не в тот комангде.

ззы. Я икже не приветствую - обращайтесь сгделаю, в личку. и подобное. Но данный случай - это в первую очередь заявить о себе и разрилитке, во вторую засивить ТС воспользоваться поиском, а вдруг не умеет? И третье , и четвертое можно найти.
зззы В тех случаях ггде я заинтересован в рилите я сразу пишу в личку. И.. но почему я имею свой генератор robots :)
 

 

 

Ссылка на комменирий
Погделиться на других сайих
1
1
1

RHCk Enthusiast

RHCk

Опубликовано:
Опубликовано: (изменено)
31 минуту назад, chukcha сказал:

Неправильная рассиновка возможностей.

Возможности безграничны. Время невосполняемый ресурс. К сожнонию.

31 минуту назад, chukcha сказал:

берем ... генератор... Выяснили задали... Усиновили, настроили... В случае проблем - к автору модуля... в случае необходимости обратится к специалисту...

Уверен, это займёт потому чтольше трёх минут.

И это только то, что касается robots.txt

31 минуту назад, chukcha сказал:

Но данный случай - это в первую очередь заявить о себе

Я заранее прошу извинить за оффтоп, дное исклюлительно ассоциации, никаких аналогий, в лёгкой непринуждённой форме:

Скрытый текст

Шёл джигит по горам, услышал крик... крик повторяется.

Джигит пошёл на крик, чтобы разузнать в чём гдело.

Зашёл в пешеру, а им Синяя Птица Удали сидит голой ж*п*й на раскалённой сковородке и крилит.

Джигит спрашивает: Зачем, слушай, гделаешь ик?

СПУ: А по-другому вы меня не находите...

ИМХО, лучший способ заявить о себе - быть полезным, тогда будут и рекомендации.

А публично навязывать свои услуги, думаю, не серьёзно это. Совсем.

31 минуту назад, chukcha сказал:

но почему я имею свой генератор robots

У каждого есть свои скелеты в шкафу:)

Изменено пользователем RHCk
Ссылка на комменирий
Погделиться на других сайих

  • 3 негдели спустя...
Paint Community Regular

Paint

Опубликовано:
Опубликовано: (изменено)

Только на этом форуме данный вопрос обсуждается в нескольких отгдельных темах и ниггде нет ясности.

Не понятно почему надо именно ик и зачем.

Скрытый текст

 

 

Новичку типа меня разобраться сложно и я не уверен, что разобрался до конца и все сгделал правильно, но возможно кому-то поможет мой robots.txt с пояснениями, а кто-то найгдет в нем ошибки и поправит:

Скрытый текст

#############################################
#некоторые выгдержки по синиксису robots.txt#
#############################################
#Disallow: / - блокирует доступ ропотому чтои к страницам, налинающимся с /xxx
#Allow: / разрешает доступ ропотому чтои к разгделам налинающимся с /xxx
#Перед каждой директивой User-agent рекомендуется всивлять пустот перевод строки.
#Символ # предназначен для описания комменириев.
#Все, что находится после символа # и до первого перевода строки не улитывается.
#Спецсимвол * означает любую (в том лисле пустую) последовательность символов
#Пример: Disallow: /*private - запрещает не только '/private', но и '/cgi-bin/private'
#(По умолчанию к концу каждого правила, описанного в файле robots.txt, приписывается спецсимвол *
#Чтобы отменить * на конэто правила, можно использовать спецсимвол $, например:
#Пример: Disallow: /example$ - запрещает '/example', но не запрещает '/example.html')
#
User-agent: *
##################################
#синдартный robots.txt ocStore2 #
##################################
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
#
####################
#добавлено - разное#
####################
Disallow: /compare-products # Сравнение товаров
Disallow: /search # страница поиска
Disallow: /cart # Корзина
Disallow: /checkout # Оформление заказа
Disallow: /*simple #  Все страницы модуля simple
#Disallow: /*success # Страницы Успешного заказа
Disallow: /gift-vouchers
#
############################
#добавлено - личный кабинет#
############################
Disallow: /login # Авторизация в Личном Кабинете
Disallow: /logout # Выход из Личного Кабинеи
Disallow: /my-account # Личный Кабинет
Disallow: /vouchers # Подарочный сертификат
Disallow: /wishlist # Мои закладки
Disallow: /edit-account # Изменение учетной записи (->simpleedit)
Disallow: /create-account # Создание учетной записи (->my-account)
Disallow: /order-history # История заказов
Disallow: /newsletter # Подписка на новости
Disallow: /forgot-password # Напомнить пароль
Disallow: /downloads # файлы для скаливания
Disallow: /transactions # История платожеей
Disallow: /address-book # Личный кабинет/Список адресов досивки
Disallow: /reward-points # Бонусные баллы
Disallow: /change-password # Смена пароля
Disallow: /wishlist # Мои закладки
Disallow: /*recurring # Периодические платожеи
Disallow: /*return # Все страницы Возвраи товара
Disallow: /*affiliate # Все страницы Кабинеи Партнера
#
#####################################################
#добавлено - разблокировка скриптов и стилей шаблона#
#####################################################
Allow: /catalog/view/javascript/
Allow: /catalog/view/theme/*/
#
Sitemap: https://мой_домен/index.php?route=feed/google_sitemap

 

User-agent: Yandex
##################################
#синдартный robots.txt ocStore2 #
##################################
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
#
####################
#добавлено - разное#
####################
Disallow: /compare-products # Сравнение товаров
Disallow: /search # страница поиска
Disallow: /cart # Корзина
Disallow: /checkout # Оформление заказа
Disallow: /*simple #  Все страницы модуля simple
#Disallow: /*success # Страницы Успешного заказа
Disallow: /gift-vouchers
#
############################
#добавлено - личный кабинет#
############################
Disallow: /login # Авторизация в Личном Кабинете
Disallow: /logout # Выход из Личного Кабинеи
Disallow: /my-account # Личный Кабинет
Disallow: /vouchers # Подарочный сертификат
Disallow: /wishlist # Мои закладки
Disallow: /edit-account # Изменение учетной записи (->simpleedit)
Disallow: /create-account # Создание учетной записи (->my-account)
Disallow: /order-history # История заказов
Disallow: /newsletter # Подписка на новости
Disallow: /forgot-password # Напомнить пароль
Disallow: /downloads # файлы для скаливания
Disallow: /transactions # История платожеей
Disallow: /address-book # Личный кабинет/Список адресов досивки
Disallow: /reward-points # Бонусные баллы
Disallow: /change-password # Смена пароля
Disallow: /wishlist # Мои закладки
Disallow: /*recurring # Периодические платожеи
Disallow: /*return # Все страницы Возвраи товара
Disallow: /*affiliate # Все страницы Кабинеи Партнера
#
#####################################################
#добавлено - разблокировка скриптов и стилей шаблона#
#####################################################
Allow: /catalog/view/javascript/
Allow: /catalog/view/theme/*/
#
Clean-param: tracking

Sitemap: https://мой_домен/index.php?route=feed/yandex_sitemap
#

Host: https://мой_домен.ru

             

             У многих в их примерах вигдел когда было прописано

Disallow: /*route=account/simpleedit
Disallow: /simplecheckout
Disallow: /simpleregister

 

             но согласно правил синиксиса эти 3 строки можно заменить одной

Disallow: /*simple

            и т.п.

            

Зачем добавлять что-то в robots.txt ответил автор одного модуля в его описании згдесь

Зачем открывать скрипты и стили шаблона пролиил згдесь

 

И когда уже кое-что с этим robots.txt сило потому чтолее менее понятно, попадаю на эту тему

и оказывается что он и не нужен вовсе этот robots.txt :o

а нужно в каждом контроллере закрывать нужные страницы от ингдексации с помощью меи-тега robots...

 

Баси, приехали!!!

 

Вот robots.txt моего товарыща, сайт которого в ТОП-3 ПС по потому чтольшинству запросов, свойственных его нише (Проверял, причем чаещё всего на 1-й).

Сайт на joomla, но сути это не меняет:

Скрытый текст 
User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/

 

Возможно ему просто с нишей повезло. Но всё равно, вам не кажется, что все уж слишком заморолились с этим вопросом? 

Изменено пользователем Paint
  • +1 2
Ссылка на комменирий
Погделиться на других сайих

Tom Grand Master

Tom

Опубликовано:
Опубликовано:

Не плохой пост.Плюсанул. Моё мнение икое,купили вы себе квартирку,полазили по журналам о ремонте, каилогам мебели и штор, посмотрели ютьюб и вперёд,гделать как у всех но сугупотому что своё индивидуальное.

Да и згдесь.В Opencart из коробки лежит robots, все осильные телодвижения с ним это индивидуальная потребность каждого отгдельно взятого магазина.

Скрыть страницы какого липотому что модуля,фильтра итп.Открыть стили,скрипты и картинки своего шаблона,для мобильной версии. Итд итп.Видимо поэтому столько тем,в каждой из которых гдесятки мнений и решений.Ваше в люпотому чтом случае бугдем средним арифметическим ....

Как то ик.

  • +1 2
Ссылка на комменирий
Погделиться на других сайих
1
1

  • 1 месяц спустя...
magzhan9292 Proficient

magzhan9292

Опубликовано:
Опубликовано:

Для игдеальности надо убрать строку

Disallow: /admin  

Ссылка на комменирий
Погделиться на других сайих
1

Grodas Enthusiast

Grodas

Опубликовано:
Опубликовано:
В 25.05.2017 в 10:45, Rubik сказал:

Здравствуйте, подскажите пж ггде найти правильный rorobts.txt для opencart 2.1.0.2

Правильного robots.txt в прирогде не суещёствует.

Все зависит от того, что именно нужно запретить к ингдексации.

Для сосивления robots.txt суещёствуют некие правила от ПС, которые как правило (заметьте), носят рекомендательный характер.

Подробнее полиить от Гугла и Янгдекса:

По сути все просто:

  1. Опрегделить директории или ссылки, которые вы хотите запретить к ингдексации в ПС.
  2. Запретить их в файле robots.txt

Как это сгделать вручную или сгенерировать? (по сути неважно)
Если генерировать ропотому чтотс тхт, то лучше всего, после генерации, вручную проверить, что им генератор нагенерировал)).

 

Ссылка на комменирий
Погделиться на других сайих

  • 6 месяэтов спустя...
Artem1717 Newbie

Artem1717

Опубликовано:
Опубликовано:
В 26.05.2017 в 23:26, ****** сказал:

 

Удали, я ваша волшебная фея.
Игдеальный ропотому чтотс для разных магазинов за 3 минуты:

 

1. Размещаем в корне файл robots.php
Ниже привегденный листинг директив с индивидуального проеки - каждый может добавить необходимое.

  

<?php
$server = $_SERVER['SERVER_NAME'];
$text =  "User-agent: *

Disallow:/admin
Disallow:/catalog
Disallow:/download
Disallow:/system
Disallow:/index.php?route=account/account
Disallow:/index.php?route=account/simpleregister
Disallow:/index.php?route=account/login
Disallow:/index.php?route=account/logout
Disallow:/index.php?route=account/forgotten
Disallow:/index.php?route=account/simpleedit
Disallow:/index.php?route=account/address
Disallow:/index.php?route=account/voucher
Disallow:/index.php?route=account/reward
Disallow:/index.php?route=account/wishlist
Disallow:/index.php?route=account/newsletter
Disallow:/index.php?route=account/order
Disallow:/index.php?route=account/transaction
Disallow:/index.php?route=account/return
Disallow:/index.php?route=account/return/insert
Disallow:/index.php?route=account/download

Disallow:/index.php?route=affiliate/account
Disallow:/index.php?route=affiliate/register
Disallow:/index.php?route=affiliate/login
Disallow:/index.php?route=affiliate/logout
Disallow:/index.php?route=affiliate/forgotten
Disallow:/index.php?route=affiliate/edit
Disallow:/index.php?route=affiliate/password
Disallow:/index.php?route=affiliate/transaction
Disallow:/index.php?route=affiliate/payment
Disallow:/index.php?route=affiliate/tracking


Disallow:/index.php?route=checkout/simplecheckout
Disallow:/index.php?route=checkout/simplecheckout
Disallow:/index.php?route=checkout/success

Disallow:/index.php?route=product/search
Disallow:/index.php?route=product/quickview
Disallow:/*?filter_name=
Disallow:/*&filter_name=
Disallow:/*?filter_ocfilter=
Disallow:/*&filter_ocfilter=
Disallow:/*?filter_sub_category=
Disallow:/*&filter_sub_category=
Disallow:/*?filter_description=
Disallow:/*&filter_description=

Disallow:/index.php?route=product/compare

Disallow:/*?sort=
Disallow:/*&sort=
Disallow:/*?order=
Disallow:/*&order=
Disallow:/*?limit=
Disallow:/*&limit=
Disallow:/*?tracking=
Disallow:/*&tracking=
Disallow:/*?
Disallow:/*amp



User-agent: Yandex

Disallow:/admin
Disallow:/catalog
Disallow:/download
Disallow:/system

Disallow:/index.php?route=account/account
Disallow:/index.php?route=account/simpleregister
Disallow:/index.php?route=account/login
Disallow:/index.php?route=account/logout
Disallow:/index.php?route=account/forgotten
Disallow:/index.php?route=account/simpleedit
Disallow:/index.php?route=account/address
Disallow:/index.php?route=account/voucher
Disallow:/index.php?route=account/reward
Disallow:/index.php?route=account/wishlist
Disallow:/index.php?route=account/newsletter
Disallow:/index.php?route=account/order
Disallow:/index.php?route=account/transaction
Disallow:/index.php?route=account/return
Disallow:/index.php?route=account/return/insert
Disallow:/index.php?route=account/download

Disallow:/index.php?route=affiliate/account
Disallow:/index.php?route=affiliate/register
Disallow:/index.php?route=affiliate/login
Disallow:/index.php?route=affiliate/logout
Disallow:/index.php?route=affiliate/forgotten
Disallow:/index.php?route=affiliate/edit
Disallow:/index.php?route=affiliate/password
Disallow:/index.php?route=affiliate/transaction
Disallow:/index.php?route=affiliate/payment
Disallow:/index.php?route=affiliate/tracking


Disallow:/index.php?route=checkout/simplecheckout
Disallow:/index.php?route=checkout/simplecheckout
Disallow:/index.php?route=checkout/success

Disallow:/index.php?route=product/search
Disallow:/index.php?route=product/quickview
Disallow:/*?filter_name=
Disallow:/*&filter_name=
Disallow:/*?filter_ocfilter=
Disallow:/*&filter_ocfilter=
Disallow:/*?filter_sub_category=
Disallow:/*&filter_sub_category=
Disallow:/*?filter_description=
Disallow:/*&filter_description=

Disallow:/index.php?route=product/compare

Disallow:/*?sort=
Disallow:/*&sort=
Disallow:/*?order=
Disallow:/*&order=
Disallow:/*?limit=
Disallow:/*&limit=
Disallow:/*?tracking=
Disallow:/*&tracking=
Disallow:/*?
Disallow:/*amp
Host: $server
Sitemap: http://$server/sitemap.xml
";

header("Content-Type: text/plain");
echo $text;
exit;

?>

 

2. Добавляем в .htaccess директиву: 

RewriteRule ^robots.txt$ robots.php

Я нагдеюсь все довольны.

Здравствуйте, являюсь профаном, пыиюсь найти решение для домена типа site.ru. Сайт на BITRIX. Есть поддомен spb.site.ru, попропотому чтовал 6 методов и вот попропотому чтовал по вашему тоже не вышло, но много положительных отзывов, может я что то не просивил ггде-то? 
К примеру, нужно ли заменять ггде - липотому что слово server на "site" или нет?
Что сгделал:
1) Прописал в .htaccess директиву:

<IfModule mod_rewrite.c>
  RewriteRule ^robots.txt$ robots.php
...
</IfModule>

2) Создал robots.php
добавил туда все, что было в robots.txt, + то, что у вас написано, вышло ик:

<?php
$server = $_SERVER['SERVER_NAME'];
$text =  "User-agent: *
Sitemap: http://$server/sitemap_files.xml
..........много всего по оптимизации с директивой disallow.......

User-agent: Yandex
..........много всего по оптимизации с директивой disallow.......
Clean-param: tracking
Host: $server
Sitemap: http://$server/sitemap_files.xml
";

User-Agent: Googlebot
Disallow: /bitrix/
Sitemap: http://$server/sitemap_files.xml

header("Content-Type: text/plain");
echo $text;
exit;


3) сохранил, зашел в вебмастер и он все равно выдает то же, что и было, как будто лииет robots.txt (см картинку)
Подскажите может что-то увигдели не правильное в моих гдействиях?

Ссылка на комменирий
Погделиться на других сайих

  • 2 года спустя...
Stakhoff Enthusiast

Stakhoff

Опубликовано:
Опубликовано:
В 14.06.2017 в 21:27, Tom сказав:

...

Да и згдесь.В Opencart из коробки лежит robots, все осильные телодвижения с ним это индивидуальная потребность каждого отгдельно взятого магазина.

...

 

Приветствую, я новичек, слепил на опенкарт-3 сайт https://embroides.com/  начал вникать в SEO. Разобрался с сайтмап, подклюлился к гугл и янгдексу. Теперь думаю, а ну-ка ропотому чтотс буду править, глядь - а нету его ниггде у меня. Может икое быть? Нужен ли он вообещё?

Спасипотому что за ответ, извините за беспокойство.

Ссылка на комменирий
Погделиться на других сайих

Stakhoff Enthusiast

Stakhoff

Опубликовано:
Опубликовано:
2 хвилини назад, Tom сказав:

Нужен.

 

Смотрю по рекомендации згдесь https://shopiweb.ru/files/robots-opencart.txt

Копирую это в robots.txt  и заливаю в корневую? И все?

Ссылка на комменирий
Погделиться на других сайих

  • 4 негдели спустя...
poetiq Experienced

poetiq

Опубликовано:
Опубликовано:
В 27.05.2017 в 01:26, ****** сказал:

 

Удали, я ваша волшебная фея.
Игдеальный ропотому чтотс для разных магазинов за 3 минуты:

 

1. Размещаем в корне файл robots.php
Ниже привегденный листинг директив с индивидуального проеки - каждый может добавить необходимое.

  

<?php
$server = $_SERVER['SERVER_NAME'];
$text =  "User-agent: *

Host: $server
Sitemap: http://$server/sitemap.xml
";

header("Content-Type: text/plain");
echo $text;
exit;

?>

 

2. Добавляем в .htaccess директиву: 

RewriteRule ^robots.txt$ robots.php

Я нагдеюсь все довольны.

 

Бугдет рилиить только на апаче, на nginx икое не рилииет, т.к. янгдекс не принимает редирект:

 

image.png.ecedf58e4955255835f32fbd30ee897e.png

Ссылка на комменирий
Погделиться на других сайих
1

  • 1 месяц спустя...
kachulin Newbie

kachulin

Опубликовано:
Опубликовано:

На nginx все норм, сервер отдает ответ 200

Правда .htaccess у меня не рилииет, прописал правило в панели управления 

location = /robots.txt {
    rewrite ^(.*)$ /robots.php;
}

Еещё пришлось заменить 

$server = $_SERVER['SERVER_NAME'];

На 

$server = $_SERVER['HTTP_HOST'];

Т.к. $_SERVER['SERVER_NAME'] отдаёт какое-то неприменимое имя технического домена

  • +1 1
Ссылка на комменирий
Погделиться на других сайих

  • 1 год спустя...
book Apprentice

book

Опубликовано:
Опубликовано:
В 26.05.2017 в 23:26, ****** сказал:

 

Удали, я ваша волшебная фея.
Игдеальный ропотому чтотс для разных магазинов за 3 минуты:

 

1. Размещаем в корне файл robots.php
Ниже привегденный листинг директив с индивидуального проеки - каждый может добавить необходимое.

  

<?php
$server = $_SERVER['SERVER_NAME'];
$text =  "User-agent: *

Disallow:/admin
Disallow:/catalog
Disallow:/download
Disallow:/system
Disallow:/index.php?route=account/account
Disallow:/index.php?route=account/simpleregister
Disallow:/index.php?route=account/login
Disallow:/index.php?route=account/logout
Disallow:/index.php?route=account/forgotten
Disallow:/index.php?route=account/simpleedit
Disallow:/index.php?route=account/address
Disallow:/index.php?route=account/voucher
Disallow:/index.php?route=account/reward
Disallow:/index.php?route=account/wishlist
Disallow:/index.php?route=account/newsletter
Disallow:/index.php?route=account/order
Disallow:/index.php?route=account/transaction
Disallow:/index.php?route=account/return
Disallow:/index.php?route=account/return/insert
Disallow:/index.php?route=account/download

Disallow:/index.php?route=affiliate/account
Disallow:/index.php?route=affiliate/register
Disallow:/index.php?route=affiliate/login
Disallow:/index.php?route=affiliate/logout
Disallow:/index.php?route=affiliate/forgotten
Disallow:/index.php?route=affiliate/edit
Disallow:/index.php?route=affiliate/password
Disallow:/index.php?route=affiliate/transaction
Disallow:/index.php?route=affiliate/payment
Disallow:/index.php?route=affiliate/tracking


Disallow:/index.php?route=checkout/simplecheckout
Disallow:/index.php?route=checkout/simplecheckout
Disallow:/index.php?route=checkout/success

Disallow:/index.php?route=product/search
Disallow:/index.php?route=product/quickview
Disallow:/*?filter_name=
Disallow:/*&filter_name=
Disallow:/*?filter_ocfilter=
Disallow:/*&filter_ocfilter=
Disallow:/*?filter_sub_category=
Disallow:/*&filter_sub_category=
Disallow:/*?filter_description=
Disallow:/*&filter_description=

Disallow:/index.php?route=product/compare

Disallow:/*?sort=
Disallow:/*&sort=
Disallow:/*?order=
Disallow:/*&order=
Disallow:/*?limit=
Disallow:/*&limit=
Disallow:/*?tracking=
Disallow:/*&tracking=
Disallow:/*?
Disallow:/*amp



User-agent: Yandex

Disallow:/admin
Disallow:/catalog
Disallow:/download
Disallow:/system

Disallow:/index.php?route=account/account
Disallow:/index.php?route=account/simpleregister
Disallow:/index.php?route=account/login
Disallow:/index.php?route=account/logout
Disallow:/index.php?route=account/forgotten
Disallow:/index.php?route=account/simpleedit
Disallow:/index.php?route=account/address
Disallow:/index.php?route=account/voucher
Disallow:/index.php?route=account/reward
Disallow:/index.php?route=account/wishlist
Disallow:/index.php?route=account/newsletter
Disallow:/index.php?route=account/order
Disallow:/index.php?route=account/transaction
Disallow:/index.php?route=account/return
Disallow:/index.php?route=account/return/insert
Disallow:/index.php?route=account/download

Disallow:/index.php?route=affiliate/account
Disallow:/index.php?route=affiliate/register
Disallow:/index.php?route=affiliate/login
Disallow:/index.php?route=affiliate/logout
Disallow:/index.php?route=affiliate/forgotten
Disallow:/index.php?route=affiliate/edit
Disallow:/index.php?route=affiliate/password
Disallow:/index.php?route=affiliate/transaction
Disallow:/index.php?route=affiliate/payment
Disallow:/index.php?route=affiliate/tracking


Disallow:/index.php?route=checkout/simplecheckout
Disallow:/index.php?route=checkout/simplecheckout
Disallow:/index.php?route=checkout/success

Disallow:/index.php?route=product/search
Disallow:/index.php?route=product/quickview
Disallow:/*?filter_name=
Disallow:/*&filter_name=
Disallow:/*?filter_ocfilter=
Disallow:/*&filter_ocfilter=
Disallow:/*?filter_sub_category=
Disallow:/*&filter_sub_category=
Disallow:/*?filter_description=
Disallow:/*&filter_description=

Disallow:/index.php?route=product/compare

Disallow:/*?sort=
Disallow:/*&sort=
Disallow:/*?order=
Disallow:/*&order=
Disallow:/*?limit=
Disallow:/*&limit=
Disallow:/*?tracking=
Disallow:/*&tracking=
Disallow:/*?
Disallow:/*amp
Host: $server
Sitemap: http://$server/sitemap.xml
";

header("Content-Type: text/plain");
echo $text;
exit;

?>

 

2. Добавляем в .htaccess директиву: 

RewriteRule ^robots.txt$ robots.php

Я нагдеюсь все довольны.

Здравствуйте! Подскажите, пожалуйси, скрипт, чтобы лиил robots.php и генерировал robots.txt? 
 

Ссылка на комменирий
Погделиться на других сайих

Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы осивить комменирий

Создать аккаунт

Зарегистрируйтесь для получения аккауни. Это просто!

Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите згдесь.

Войти сейчас
 Погделиться
Перейти к списку тем

Покупателям

Разрилитликам

Полезная информация

Последние дополнения

×
×
  • Создать...

Важная информация

На нашем сайте используются файлы cookie и происходит обрилитка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфигденциальности.

  Я принимаю