Jump to content
  • разработка интернет магазинов на opencart
  • доработка интернет магазинов на opencart

robots.txt

boxbaster
 Share

Recommended Posts

Garic Enthusiast

Garic

Posted
Posted (edited)

Здравствуйте. В теме написано, как закрывать для ингдексации отгдельные папки или страницы. У меня следуюещёе: беру хостинг с тестовым периодом, на тестовый период дают бесплатный домен. Да вот, сайт пока на локальном, хочу однакостировать, но закрыть весь сайт для ПС, ведь он бугдет под другим доменом. Посмотрел, нужно в robots прописать это: User-agent: * Disallow: / 

или   RewriteEngine On

RewriteCond  %{REMOTE_ADDR} !95.243.......

ггде прописываю свой ап (что бы заходить мог только я)

Как лучше сгделать, может еещё есть варианты? Спасипотому что.  

Edited by Garic
Link to comment
Share on other sites

KOT1646 Enthusiast

KOT1646

Posted
Posted

Доброго времени суток, ситуация икая. Проверяю Sitemap через вэбмастер янгдекс. Пишет Указанный URL запрещён к ингдексированию в файле robots.txt

Никак не вкурю ггде он запреещён. :oops:

Поглядите кто знает.

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: *?
Clean-param: tracking
Host: privet-mebel.ru

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Link to comment
Share on other sites

WolFRocK Enthusiast

WolFRocK

Posted
Posted (edited)

Доброго времени суток, ситуация икая. Проверяю Sitemap через вэбмастер янгдекс. Пишет Указанный URL запрещён к ингдексированию в файле robots.txt

Никак не вкурю ггде он запреещён. :oops:

Поглядите кто знает.

Disallow: /catalog
Disallow: *? 

Disallow: /catalog

Вот это нужно удалить

Edited by WolFRocK
Link to comment
Share on other sites

m11 Community Regular

m11

Posted
Posted

Я бы по другому вопрос посивил - Что за дрянь этот Бинг, который в течение 2-х лет не видит сайт.

Уж не знаю, на территории какой страны продает Ваш магазин, но в РФ и ближнем зарубежье доля этого поисковика ничтожна мала.

Я на него внимание вообещё не обращаю.

Думаю лишним не бугдет если в Бинге и Яхо появится хоть что то, а им ноль полный, ик как у меня и бабушки и гдедушки покупают не думаю что они синдартный браузер с купленного компа сменили на другой. Все нашел как все сгделать, это кака-то глупость опенкарт и в 2.0 в янгдексе ошибки выдает, Рулит англо форум куча модулей для ропотому чтотов.

Link to comment
Share on other sites

m11 Community Regular

m11

Posted
Posted

Всем привет кто знает от куда Майл ру поиск хавает? Код посивил давно в админка мастера есть но в поиске ничтожно мало по сравнению с другими поисковиками.

Link to comment
Share on other sites

denchis Enthusiast

denchis

Posted
Posted

Подскажите пожалуйси куда копать, сбился с пути истинного :
1. Есть ропотому чтотс.тхт : http://zettamaster.ru/robots.txt  - он на opencart 2.0
2. Есть сервис : https://www.xml-sitemaps.com
3. Для предыдуещёго проеки на 1.5.4.1 - проблем нет, все 300 страниц нашлось, все что надо в sitemap.xml и все ок.

 

Есть ли какие то технические особенности опенкари 2.0 - а то по факту сейчас СайтМап выглядит примерно ик :

 

This XML file does not appear to have any style information associated with it. The document tree is shown below.
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://www.sitemaps.org/schemas/sitemap/0.9 http://www.sitemaps.org/schemas/sitemap/0.9/sitemap.xsd">
<!--
 created with Free Online Sitemap Generator www.xml-sitemaps.com 
-->
<url>
<loc>http://zettamaster.ru/</loc>
</url>
<url>
<loc>http://zettamaster.ru/contact-us/</loc>
</url>
<url>
<loc>http://zettamaster.ru/login/</loc>
</url>
<url>
<loc>http://zettamaster.ru/create-account/</loc>
</url>
<url>
<loc>http://zettamaster.ru/cart/</loc>
</url>
<url>
<loc>http://zettamaster.ru/about_us</loc>
</url>
<url>
<loc>http://zettamaster.ru/delivery</loc>
</url>
<url>
<loc>http://zettamaster.ru/specials/</loc>
</url>
<url>
<loc>http://zettamaster.ru/affiliate-login/</loc>
</url>
<url>
<loc>http://zettamaster.ru/sitemap/</loc>
</url>
</urlset>

Буду рад любым комменириям, заранее спасипотому что. 

Link to comment
Share on other sites

melsp Community Regular

melsp

Posted
Posted

Вы домой через окно ходите?

Зачем пользоваться какой то ересью, если есть встроенный сайтмап?

 

Подгдерживаю

Link to comment
Share on other sites

denchis Enthusiast

denchis

Posted
Posted

Вы домой через окно ходите?

Зачем пользоваться какой то ересью, если есть встроенный сайтмап?

 

Вопрос в том, что через гугл вебмастер - как то криво подвязывается синдартный сайт мап.

 

Вопрос в другом, почему никаких ограничений в 1.5.4.1 не возникает, а в версии 2.0 - как будто - что то блокирует на уровне CMS доступ к осильным разгделам на сайте, созданных с учетом SeoPro.

 

P.S. А домой я хожу по пожарной лестниэто на пятый эиж, ипотому что полезно для здоровья  8-)

Link to comment
Share on other sites

  • 1 month later...
  • 1 month later...
laim731 Proficient

laim731

Posted
Posted

подскажите есть ли ошибки и что исправить 

 

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category
Disallow: /poisk/?filter_tag=
Allow: /catalog/*.css
Allow: /catalog/*.js
Allow: /catalog/*.png
Allow: /catalog/*.gif
 
User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /wishlist
Disallow: /login
Disallow: /poisk/?filter_tag=
Allow: /catalog/*.css
Allow: /catalog/*.js
Allow: /catalog/*.png
Allow: /catalog/*.gif
 
 
Host: site.ru
Link to comment
Share on other sites

  • 6 months later...
  • 3 weeks later...
ladiesman655 Apprentice

ladiesman655

Posted
Posted (edited)

Не понимаю, почему гугл запрещает к ингдексации отзывы. Конкретно пути site.ru/index.php?route=product/product/review&product_id=1234

В robots следующие конструкции:

Allow: /index.php?route=product/product/review&product_id=*
Disallow: /*%*

Знаю, что со вторым оператором надо осторожнее, но им рилииет ЧПУ + нормально настроены исключения через allow. Пришлось его использовать по нескольким соображениям из-за изначально плохой тех. оптимизации. По игдее, запреи на ингдексацию отзывов нет.

Edited by ladiesman655
Link to comment
Share on other sites

  • 6 months later...
oldejuk Contributor

oldejuk

Posted
Posted (edited)

икая проблема закинул в корневую папку сайи файлик robots.txt,
но когда в адресной строке пишу mydomen/robots.txt  - выбивает https://mydomen/index.php?_route_=robots.txt 
и пишет "Запрашиваемая страница не найгдена!".
ггде ошибка? 

 

п.с. если закинуть файлик например qq.txt, то спокойно заходит.

opencart 2.3.0.2

Edited by oldejuk
Link to comment
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
 Share
Go to topic listing

Покупателям

Разрилитликам

Полезная информация

Последние дополнения

×
×
  • Create New...

Important Information

On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice.

  I accept