Поиск по сайту

Добрый день, форумчане. Думаю над robots.txt. Выкурил уже весь форум, но решения как такового нет. Для того чтобы избавиться от дублей планирую закрыть категории товаров с надеждой на то, что будут индексироваться товары по прямым ссылкам. Посмотрите мой robots.txt, пожалуйста, всё ли так делаю. User-agent: * Disallow: /cache Disallow: /catalog Disallow: /download Disallow: /system Disallow: /index.php?route=account/* Disallow: /index.php?route=checkout/* Disallow: /index.php?route=common/home Disallow: /index.php?route=product/product/captcha Disallow: /index.php?route=information/contact/captcha Disallow: /index.php?route=information/information&information_id= Disallow: /index.php?route=account/login Disallow: /*route=account/* Disallow: /*route=checkout/* Disallow: /*route=affiliate/ Disallow: /*route=product/search Disallow: /*?* Disallow: /*&* Disallow: /matreshki Disallow: /matreshki/semenovskaya Disallow: /matreshki/tradicionnye Disallow: /matreshki/avtorskaya Disallow: /matreshki/neobychnye Disallow: /matreshki/futlyary-matreshki Disallow: /beresta Disallow: /beresta/posuda Disallow: /beresta/nabory-dlya-speciy Disallow: /beresta/salfetnicy Disallow: /hohloma Disallow: /hohloma/nabory-predmetov Disallow: /hohloma/doski Disallow: /shkatulki Disallow: /shkatulki/mstyora Disallow: /shkatulki/paleh User-agent: Yandex Disallow: /cache Disallow: /catalog Disallow: /download Disallow: /system Disallow: /index.php?route=account/* Disallow: /index.php?route=checkout/* Disallow: /index.php?route=common/home Disallow: /index.php?route=product/product/captcha Disallow: /index.php?route=information/contact/captcha Disallow: /index.php?route=information/information&information_id= Disallow: /index.php?route=account/login Disallow: /*route=account/* Disallow: /*route=checkout/* Disallow: /*route=affiliate/ Disallow: /*route=product/search Disallow: /*?* Disallow: /*&* Disallow: /matreshki Disallow: /matreshki/semenovskaya Disallow: /matreshki/tradicionnye Disallow: /matreshki/avtorskaya Disallow: /matreshki/neobychnye Disallow: /matreshki/futlyary-matreshki Disallow: /beresta Disallow: /beresta/posuda Disallow: /beresta/nabory-dlya-speciy Disallow: /beresta/salfetnicy Disallow: /hohloma Disallow: /hohloma/nabory-predmetov Disallow: /hohloma/doski Disallow: /shkatulki Disallow: /shkatulki/mstyora Disallow: /shkatulki/paleh Host: www.rusgifts.com

Много читали про robots txt в итоге у нас содержимое файла выглядит следующим образом ВОПРОС ВОТ В ЧЕМ: у нас интернет-магазин, нужно, чтобы индексировались страницы с товаром, производителями, в общем весь товар...правильный ли у нас для этого файл??????????????посмотрите пожалуйста....... User-agent: * Disallow: /*route=account/ Disallow: /*route=affiliate/ Disallow: /*route=checkout/ Disallow: /*route=product/search Disallow: /index.php?route=product/product*&manufacturer_id= Disallow: /admin Disallow: /catalog Disallow: /download Disallow: /system Disallow: /*?sort= Disallow: /*&sort= Disallow: /*?order= Disallow: /*&order= Disallow: /*?limit= Disallow: /*&limit= Disallow: /*?filter_name= Disallow: /*&filter_name= Disallow: /*?filter_sub_category= Disallow: /*&filter_sub_category= Disallow: /*?filter_description= Disallow: /*&filter_description= Disallow: /*?tracking= Disallow: /*&tracking= Disallow: /*?page= Disallow: /*&page= Disallow: /wishlist Disallow: /login Disallow: /index.php?route=product/manufacturer Disallow: /index.php?route=product/compare Disallow: /index.php?route=product/category User-agent: Yandex Disallow: /*route=account/ Disallow: /*route=affiliate/ Disallow: /*route=checkout/ Disallow: /*route=product/search Disallow: /index.php?route=product/product*&manufacturer_id= Disallow: /admin Disallow: /catalog Disallow: /download Disallow: /export Disallow: /system Disallow: /*?sort= Disallow: /*&sort= Disallow: /*?order= Disallow: /*&order= Disallow: /*?limit= Disallow: /*&limit= Disallow: /*?tracking= Disallow: /*&tracking= Disallow: /*route=product/search Disallow: /*?page= Disallow: /*&page= Clean-param: tracking Clean-param: filter_name Clean-param: filter_sub_category Clean-param: filter_description Disallow: /wishlist Disallow: /login Disallow: /index.php?route=product/manufacturer Disallow: /index.php?route=product/compare Disallow: /index.php?route=product/category Host: www.chelovechek-baby.ru

Извините за дикость! Только начинаю разбираться в данном вопросе. Но может подскажите, что делать с этой ошибкой? Гоша ругается на роботс а именно на строку Clean-param: tracking, Вопрос? как исправить или просто не обращать внимания, все таки директива для Яндекса.

Здравствуйте! Пожалуйста помогите подружиться с роботом Яндекс :-) при создании сайта, прописала в файле robots.txt такие строки Теперь, когда мне необходима индексация, внесла изменения в robots.txt Так же загрузила всё в вебмастер, в том числе и sitemap. Робот заходит, но не хочет индексировать ссылаясь на всё тот же файл robots.txt....Подскажите, что делать? Количество проиндексированных страниц - 0! Может кто уже сталкивался с такой же проблемой? Время очень дорого :(

Здравствуйте. После установки Версия ocStore 2.1.0.1 стоит такой robots.txt: User-agent: * Disallow: /*route=account/ Disallow: /*route=affiliate/ Disallow: /*route=checkout/ Disallow: /*route=product/search Disallow: /index.php?route=product/product*&manufacturer_id= Disallow: /admin Disallow: /catalog Disallow: /system Disallow: /*?sort= Disallow: /*&sort= Disallow: /*?order= Disallow: /*&order= Disallow: /*?limit= Disallow: /*&limit= Disallow: /*?filter= Disallow: /*&filter= Disallow: /*?filter_name= Disallow: /*&filter_name= Disallow: /*?filter_sub_category= Disallow: /*&filter_sub_category= Disallow: /*?filter_description= Disallow: /*&filter_description= Disallow: /*?tracking= Disallow: /*&tracking= User-agent: Yandex Disallow: /*route=account/ Disallow: /*route=affiliate/ Disallow: /*route=checkout/ Disallow: /*route=product/search Disallow: /index.php?route=product/product*&manufacturer_id= Disallow: /admin Disallow: /catalog Disallow: /system Disallow: /*?sort= Disallow: /*&sort= Disallow: /*?order= Disallow: /*&order= Disallow: /*?limit= Disallow: /*&limit= Disallow: /*?filter= Disallow: /*&filter= Disallow: /*?filter_name= Disallow: /*&filter_name= Disallow: /*?filter_sub_category= Disallow: /*&filter_sub_category= Disallow: /*?filter_description= Disallow: /*&filter_description= Clean-param: tracking Подскажите, нашел вот такой, стоит ли заменить?: User-agent: * Disallow: /*route=account/ Disallow: /*route=affiliate/ Disallow: /*route=checkout/ Disallow: /*route=product/search Disallow: /index.php?route=product/product*&manufacturer_id= Disallow: /admin Disallow: /catalog Disallow: /download Disallow: /export Disallow: /system Disallow: /*?sort= Disallow: /*&sort= Disallow: /*?order= Disallow: /*&order= Disallow: /*?limit= Disallow: /*&limit= Disallow: /*?filter_name= Disallow: /*&filter_name= Disallow: /*?filter_sub_category= Disallow: /*&filter_sub_category= Disallow: /*?filter_description= Disallow: /*&filter_description= Disallow: /*?tracking= Disallow: /*&tracking= Disallow: /*?page= Disallow: /*&page= Disallow: /wishlist Disallow: /login Disallow: /index.php?route=product/manufacturer Disallow: /index.php?route=product/compare Disallow: /index.php?route=product/category User-agent: Yandex Disallow: /*route=account/ Disallow: /*route=affiliate/ Disallow: /*route=checkout/ Disallow: /*route=product/search Disallow: /index.php?route=product/product*&manufacturer_id= Disallow: /admin Disallow: /catalog Disallow: /download Disallow: /export Disallow: /system Disallow: /*?sort= Disallow: /*&sort= Disallow: /*?order= Disallow: /*&order= Disallow: /*?limit= Disallow: /*&limit= Disallow: /*?tracking= Disallow: /*&tracking= Disallow: /*route=product/search Disallow: /*?page= Disallow: /*&page= Clean-param: tracking Clean-param: filter_name Clean-param: filter_sub_category Clean-param: filter_description Disallow: /wishlist Disallow: /login Disallow: /index.php?route=product/manufacturer Disallow: /index.php?route=product/compare Disallow: /index.php?route=product/category Host: Vash_domen Sitemap: http://Vash_domen/sitemap.xml

Всем доброго времени суток, уважаемые форумчане. Поставил свой сайт на индексацию. Гугл проверил и начал свое дело. Все вроде хорошо, каждый день по 100 - 150 ссылок индексируется, но меня смутила одна вещь, откуда у меня в магазине аж СТОЛЬКО ссылок - 2481. Товаров 522, + категории 200, + производители 190 ну и так, по мелочам. В лучшем случае - 1500. http://gyazo.com/887535548334a97cc3da2d5d23b7cec9 В robots.txt по скрывал все что не надо: User-agent: * Disallow: /admin Disallow: /catalog Disallow: /download Disallow: /export Disallow: /system Disallow: /wishlist Disallow: /login Disallow: /checkout Disallow: /simpleregister Disallow: /simplecheckout Disallow: /vqmod Disallow: /account Host: alcosale.org Да и еще. Исправил ссылки типа /index.php?route=product/product&product_id=43 на нормальные: /product. Использовал для этого инструкцию [url=http://loco.ru/materials/204-opencart-custom-seo-urls]http://loco.ru/materials/204-opencart-custom-seo-urls Грешу на то, что данным способом просто скрыл их от глаз (я имею ввиду /index.php?route=product/product&product_id=43), но они все равно остались и уверенно себя чувствуют. А поисковики их успешно индексируют. Кто что думает по этому поводу?

- Ребята, стандартный Sitemap сам автоматический обновляется? - Именно такую ссылку надо указывать в Robots.txt? - Когда перехожу просто http://sunny888.ru/sitemap.xml - тоже самое открывает, хотя там нет в корне такого файла. пример: http://sunny888.ru/index.php?route=feed/google_sitemap

Предположим, есть у меня страница акриловых ванн. Ссылка на эту страницу: index.php?route=product/category&path=25_32 Чпу ссылка этой страницы: /vanny/akrilovye/ Вопрос: Если в robots.txt я напишу: Disallow: index.php?route=product/category&path=25_32 Таким образом я запрещу поисковику индексировать страницу акриловых ванн совсем? или только её не-чпу дубль? Мне просто не совсем понятно, как это дело работает. Запрет идет на индексацию содержимого страницы или ссылок на содержимое?

User-agent: * Disallow: /*route=checkout/ Disallow: /index.php?route=product/product*&manufacturer_id= Disallow: /admin Disallow: /catalog Disallow: /download Disallow: /export Disallow: /system Disallow: /*?order= Disallow: /*&order= Disallow: /*?filter_name= Disallow: /*&filter_name= Disallow: /*?filter_sub_category= Disallow: /*&filter_sub_category= Disallow: /*?filter_description= Disallow: /*&filter_description= Disallow: /*?tracking= Disallow: /*&tracking= Disallow: /*?currency= Disallow: /*?route=product Disallow: /*?keyword Disallow: /*?product/product&product_id= Disallow: /*?product/category&path= Disallow: /*?route=common/home Disallow: /*?product_id Disallow: /&coolfilter* Disallow: /?coolfilter* User-agent: Yandex Disallow: /*route=checkout/ Disallow: /index.php?route=product/product*&manufacturer_id= Disallow: /admin Disallow: /catalog Disallow: /download Disallow: /export Disallow: /system Disallow: /*?order= Disallow: /*&order= Disallow: /*?filter_name= Disallow: /*&filter_name= Disallow: /*?filter_sub_category= Disallow: /*&filter_sub_category= Disallow: /*?filter_description= Disallow: /*&filter_description= Disallow: /*?currency= Disallow: /*?route=product Disallow: /*?keyword Disallow: /*?product/product&product_id= Disallow: /*?product/category&path= Disallow: /*?route=common/home Disallow: /*?product_id Disallow: /&coolfilter* Disallow: /?coolfilter* Host: www.micma.ru Sitemap: http://micma.ru/index.php?route=feed/google_sitemap

Подскажите пожалуйста.Начал долго грузиться сайт stroymarket-online.com.ua . Не могу понять в чем дело.В поддержке хоста сказали: - Ваш сайт очень интенсивно индексирует бот яндекса. Если это не прекратится в течении суток - ограничьте его работу через robots.txt. Что здесь исправить? User-agent: * Disallow: /*route=account/ Disallow: /*route=affiliate/ Disallow: /*route=checkout/ Disallow: /*route=product/search Disallow: /index.php?route=product/product*&manufacturer_id= Disallow: /admin Disallow: /catalog Disallow: /download Disallow: /system Disallow: /*?sort= Disallow: /*&sort= Disallow: /*?order= Disallow: /*&order= Disallow: /*?limit= Disallow: /*&limit= Disallow: /*?filter_name= Disallow: /*&filter_name= Disallow: /*?filter_sub_category= Disallow: /*&filter_sub_category= Disallow: /*?filter_description= Disallow: /*&filter_description= Disallow: /*?tracking= Disallow: /*&tracking= User-agent: Yandex Disallow: /*route=account/ Disallow: /*route=affiliate/ Disallow: /*route=checkout/ Disallow: /*route=product/search Disallow: /index.php?route=product/product*&manufacturer_id= Disallow: /admin Disallow: /catalog Disallow: /download Disallow: /system Disallow: /*?sort= Disallow: /*&sort= Disallow: /*?order= Disallow: /*&order= Disallow: /*?limit= Disallow: /*&limit= Disallow: /*?filter_name= Disallow: /*&filter_name= Disallow: /*?filter_sub_category= Disallow: /*&filter_sub_category= Disallow: /*?filter_description= Disallow: /*&filter_description= Clean-param: tracking

Добрый день! Нужна помощь! Перелопапил весь инет, но результата не получил. Проблема в выдаче ошибки "HTTP ERROR 500" при загрузке sitemap по предоставленной модулем ссылке - /index.php?route=extension/feed/google_sitemap. Очень нужна помощь. Может я что-то неправильно указал в htaccess?. Спасибо!

Добрый день. Требуется настроить robots.txt, чтобы закрыть от индексации все служебные страницы и прочие папки, куда соваться яндексу и гуглу не стоит))), в общем, привести файл в человеческий вид. Сейчас есть только стандартный robots.txt. Понимаю, что там все несложно, но нет времени разбираться, поэтому хотелось бы получить помощь профессионала, кто в этом разбирается досконально. Предложения просьба писать в личку с указанием стоимости работы.

Здравствуйте. Столкнулся с проблемой. Не индексируются статьи. Пробовал разные способы ускорения - через инструменты вебмастеров и пр. Подозреваю, что дело в robots.txt, но сам разобраться не могу. Прошу специалистов проверить и подсказать. Ссылки вида http://krovatki.biz/articles/chto-takoe-krovatka-transformer. Заранее спасибо.

Друзья, есть такое указание: Необходимо, чтобы при запросе любых некорректных URLs вида http://site.ru/?N, где N любой численный или строковый параметр, сервер отдавал HTTP/1.1 404 Not Found, либо HTTP/1.1 301 Moved Permanently с переадресацией на главную... Каким образом составить код для .htaccess и robots.txt ?

Всем добрый день, извиняюсь если что то написал неправильно или слишком слюнтяво, но сам только начинаю пытаться осваивать SEO. Помогите пожалуйста один вопрос решить. Нужно запрещать главную страницу к индексации или нет? Весь смысл в том что сайт является магазином. Товар и прочая информация обновляется с регулярностью 2 дня и все это отображается на главной. Если нужно запретить главную к индексации, то как написать директиву в robots.txt? Заранее Спасибо! Ссылка на главную магазина http://www.zolywka.ru/ не является рекламой.

Уважаемые специалисты! Требуется доработать действующий магазин на Opencart 1.5.5: 1. Добавить Https протокол (SSL ключ получен) . Прописать редиректы на новую версию. 2. Добавить кроссбраузерную мобильную версию сайта, оптимизировать под стандарту. 3. Обновить установленные модули отзывов, новостей, оплаты, доставки (магазин давно не обновлялся). 4. Исправить внутренние ошибки сайта в css и javascript. Отредактировать robots.txt \ sitemap.xml 5. Настроить 301 редирект на неработающие страницы. Определить все битые бэклинки. 6. Оптимизация загрузки страниц сайта. 7. Дать рекомендации для дальнейшего развития магазина. Интересует долгосрочное сотрудничество. Ссылку на сайт предоставим в л.с. Успехов.

Кто как считает, какие страницы следует скрывать от ПС в robots.txt? На некоторых сайтах скрыто чуть ли не половина сайта (и корзина, и восстановление логина, и рега и т.д.).

Здравствуйте. Недавно гугл бот просканировал сайт, но в индекс не "выложил". Я проверил через Search Console как отдельно страницы товаров так и категории, показывает в отчете что запрещены для добавление в индекс. Причина запрета пишет - файл роботс. Ниже мой файл. Что тут поменять?

Меня интересует правильная настройка sitemap. Сейчас динамическая карта находится https://gemelli.com.ua/index.php?route=extension/feed/google_sitemap, а для search console показывается карта с url sitemap.xml - статическая. Мне нужно что-бы динамическая карта попадала в статическую и для googl показывалась с правильным ЧПУ. Настроить приоритеты и время обновления, а также правильно настроить robots.txt.

Добрый день! Ребят, столкнулись с такой проблемой, что в сеч консоли не индексируются страницы товаров и еще часть страниц сайта, по подсказке в сеч консоли пишет, что индексация заблокирована в файле Robots.txt. 1.Не могу понять ,что закрыто или что не дописали, (есть подозрение , что его составляли от фонаря) файл выглядит так : User-agent: * Disallow: /*route=account/ Disallow: /*route=affiliate/ Disallow: /*route=checkout/ Disallow: /*route=product/search Disallow: /index.php?route=product/product*&manufacturer_id= Disallow: /admin Disallow: /catalog Disallow: /system Disallow: /*?sort= Disallow: /*&sort= Disallow: /*?order= Disallow: /*&order= Disallow: /*?limit= Disallow: /*&limit= Disallow: /*?filter= Disallow: /*&filter= Disallow: /*?filter_name= Disallow: /*&filter_name= Disallow: /*?filter_sub_category= Disallow: /*&filter_sub_category= Disallow: /*?filter_description= Disallow: /*&filter_description= Disallow: /*?tracking= Disallow: /*&tracking= User-agent: Yandex Disallow: /*route=account/ Disallow: /*route=affiliate/ Disallow: /*route=checkout/ Disallow: /*route=product/search Disallow: /index.php?route=product/product*&manufacturer_id= Disallow: /admin Disallow: /catalog Disallow: /system Disallow: /*?sort= Disallow: /*&sort= Disallow: /*?order= Disallow: /*&order= Disallow: /*?limit= Disallow: /*&limit= Disallow: /*?filter= Disallow: /*&filter= Disallow: /*?filter_name= Disallow: /*&filter_name= Disallow: /*?filter_sub_category= Disallow: /*&filter_sub_category= Disallow: /*?filter_description= Disallow: /*&filter_description= Clean-param: tracking Host: https://bogema2002.com.ua/

Всем привет. Подскажите пожалуйста правильно ли настроен robots.txt движок сайта ocstore 1.5.5.1.2 ?? User-agent: Yandex User-agent: * Disallow: /*route=account/ Disallow: /*route=affiliate/ Disallow: /*route=checkout/ Disallow: /*route=product/search Disallow: /download Disallow: /system Disallow: /*?sort= Disallow: /*&sort= Disallow: /*?order= Disallow: /*&order= Disallow: /*?limit= Disallow: /*&limit= Disallow: /*?coolfilter= Disallow: /*?filter_name= Disallow: /*&filter_name= Disallow: /*?filter_sub_category= Disallow: /*&filter_sub_category= Disallow: /*?filter_description= Disallow: /*&filter_description= Disallow: /*?tracking= Disallow: /*&tracking= Disallow: /*compare-products Disallow: /*search Disallow: /*cart Disallow: /*checkout Disallow: /*login Disallow: /*logout Disallow: /*vouchers Disallow: /*wishlist Disallow: /*my-account Disallow: /*order-history Disallow: /*newsletter Disallow: /*return-add Disallow: /*forgot-password Disallow: /*downloads Disallow: /*returns Disallow: /*transactions Disallow: /*create-account Disallow: /*recurring Disallow: /*address-book Disallow: /*reward-points Disallow: /*affiliate-forgot-password Disallow: /*create-affiliate-account Disallow: /*affiliate-login Disallow: /*affiliates User-agent: Yandex Crawl-delay: 10 Host: https://**** Sitemap: https://****/sitemap.xml

Такое сообщение выдает в инструментах веб мастера. GOOGLE (Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.) ИСПОЛЬЗУЮ СТАНДАРТНЫЙ Sitemap_Google в Каналах продвижения админки. Вот robots.txt., в чем может быть проблема, первый раз работаю с опенкартом. ПОМОГИТЕ РАЗОБРАТЬСЯ User-agent: * Disallow: /*route=account/ Disallow: /*route=affiliate/ Disallow: /*route=checkout/ Disallow: /*route=product/search Disallow: /index.php?route=product/product*&manufacturer_id= Disallow: /admin Disallow: /system Disallow: /*?sort= Disallow: /*&sort= Disallow: /*?order= Disallow: /*&order= Disallow: /*?limit= Disallow: /*&limit= Disallow: /*?filter_name= Disallow: /*&filter_name= Disallow: /*?filter_sub_category= Disallow: /*&filter_sub_category= Disallow: /*?filter_description= Disallow: /*&filter_description= Disallow: /*?tracking= Disallow: /*&tracking= Disallow: /wishlist Disallow: /user Disallow: /login Disallow: /index.php?route=product/manufacturer Disallow: /index.php?route=product/compare Disallow: /index.php?route=product/category Host: sunny888.ru Sitemap: http://sunny888.ru/index.php?route=feed/google_sitemap Sitemap: http://sunny888.ru/sitemap.xml

Что сделать, чтобы поисковик не индексировал страницу панели управления хостингом? Поисковая система проиндексировала такой url адрес: http://my_domain.ru:2222/ Кто знает, как правильно закрыть от индексации данный url через robots.txt, что именно прописать нужно? Я бы сделал так: Disallow: /2222/, но, вначале стоит двоеточие, у меня возникают сомнения в правильности. Вот и не знаю, как правильно прописать: Disallow: /2222/ или Disallow: :2222/ или еще как-то.

Допустим robots.txt ... Allow: /категория1 # здесь разрешаю поисковикам видеть категорию, ибо гуглится по описанию Allow: /категория1/подкатегория1 Disallow: /категория1/(здесь хз что ставить) # чтобы запретить поисковикам видеть любые страницы с символом после слеша в категории1 ... Возможно ли это? :oops: