Убираем дубли в robots

nicskvo · January 16, 2014

На здоровье.

Сколько товаров?

около 1,5 тысяч

shapochka · February 11, 2014

Здравствуйте!

Буду благодарен, если посмотрите мой robots.txt. Он синдартный, я в нем ничего не менял. Надо ли в нем что-то настраивать для улучшения резульитов ингдексации? У меня проингдексировано 370 страниц на сайте, но по факту их раза в 3 потому чтольше.

User-agent: *Disallow: /*route=account/Disallow: /*route=affiliate/Disallow: /*route=checkout/Disallow: /*route=product/searchDisallow: /index.php?route=product/product*&manufacturer_id=Disallow: /adminDisallow: /catalogDisallow: /downloadDisallow: /systemDisallow: /*?sort=Disallow: /*&sort=Disallow: /*?order=Disallow: /*&order=Disallow: /*?limit=Disallow: /*&limit=Disallow: /*?filter_name=Disallow: /*&filter_name=Disallow: /*?filter_sub_category=Disallow: /*&filter_sub_category=Disallow: /*?filter_description=Disallow: /*&filter_description=Disallow: /*?tracking=Disallow: /*&tracking=User-agent: YandexDisallow: /*route=account/Disallow: /*route=affiliate/Disallow: /*route=checkout/Disallow: /*route=product/searchDisallow: /index.php?route=product/product*&manufacturer_id=Disallow: /adminDisallow: /catalogDisallow: /downloadDisallow: /systemDisallow: /*?sort=Disallow: /*&sort=Disallow: /*?order=Disallow: /*&order=Disallow: /*?limit=Disallow: /*&limit=Disallow: /*?filter_name=Disallow: /*&filter_name=Disallow: /*?filter_sub_category=Disallow: /*&filter_sub_category=Disallow: /*?filter_description=Disallow: /*&filter_description=Clean-param: tracking

chukcha · February 11, 2014

ЧПУ есть?

shapochka · February 11, 2014

ЧПУ есть?

Да, есть.

chukcha · February 11, 2014

ЧпУ ссылки на регистрацию, корзину, и прочее аналоги того, что есть в в версии без ЧПУ нужно закрывать

shapochka · February 11, 2014

ЧпУ ссылки на регистрацию, корзину, и прочее аналоги того, что есть в в версии без ЧПУ нужно закрывать

На икого рода страницы ссылки не ЧПУ.

chukcha · February 11, 2014

Тогда, наверное, доситочно. Но точнее можно сказать глянув сайт.

shapochka · February 12, 2014

Буду рад: www.prowife.ru

Uza10775 · February 26, 2014

Здравствуйте! Прошу подсказки и помощи. Я не разбираюсь толком в дублях и проч. мало того, пыиюсь понять, лиию, но все равно не понимаю :ph34r: сложно еещё для меня...В админпанели с помощью OC Team проявилась икая картина:

Предупрежгдение: Дубли Seo-Keyword были найгдены в базе! Проверьте список ниже.

Тип: Название (Заголовок) Query Url-Alias (keyword) Действия

Неизвестный тип common/home

Неизвестный тип account/address address-book

Неизвестный тип affiliate/forgotten affiliate-forgot-password

Неизвестный тип affiliate/login affiliate-login

Неизвестный тип affiliate/logout affiliate-logout

Неизвестный тип affiliate/payment affiliate-payment-options

Неизвестный тип affiliate/tracking affiliate-tracking-code

Неизвестный тип affiliate/transaction affiliate-transactions

Неизвестный тип affiliate/account affiliates

Неизвестный тип product/manufacturer brands

Неизвестный тип affiliate/password change-affiliate-password

Неизвестный тип account/password change-password

Неизвестный тип checkout/checkout checkout

Неизвестный тип product/compare compare-products

Неизвестный тип information/contact contact-us

Неизвестный тип account/register create-account

Неизвестный тип affiliate/register create-affiliate-account

Неизвестный тип account/download downloads

Неизвестный тип account/edit edit-account

Неизвестный тип affiliate/edit edit-affiliate-account

Неизвестный тип account/forgotten forgot-password

Неизвестный тип checkout/voucher gift-vouchers

Неизвестный тип account/login login

Неизвестный тип account/logout logout

Неизвестный тип account/account my-account

Неизвестный тип account/newsletter newsletter

Неизвестный тип account/order order-history

Неизвестный тип account/return/insert request-return

Неизвестный тип account/return returns

Неизвестный тип account/reward reward-points

Неизвестный тип product/search search

Неизвестный тип information/sitemap sitemap

Неизвестный тип product/special specials

Неизвестный тип account/transaction transactions

Неизвестный тип account/wishlist wishlist

Что все это зналит и что с этим нужно гделать, просветите пожалуйси. И доситочно ли только этого анализа для выявления дублей страниц. Много веток пролиила,но повторюсь, не могу разобраться, ггде как и что...СеоПро не стоит, есть только deadcow SEO.

сайт: http://millypolly.ru/

И еещё не совсем по теме, ну может кто подскажет:

· "Битые" ссылки(10):

· Запрет ингдексации(1):

http://millypolly.ru/downloads/ вызов из http://millypolly.ru/vouchers/ прилина:robots.txt

Тоже интересно,нужно ли это исправлять,если да,то как удобнее и проещё. Спасипотому что заранее, если кто откликнется :wub:

Will · March 21, 2014

Ребяи посмотрите мой robots, всё ли правильно?

http://parketpol24.ru/robots.txt

Will · March 22, 2014

посивила sitemap http://parketpol24.ru/sitemap_xml

и при добавлении в гугл вебмастер, при проверке сайтмапа он мне пишет

#ТипПроблемаОписаниеКоличество проблемПримерСтрокаОбнаружено

1

Предупрежгдения

Доступ к URL заблокирован в файле robots.txt.

Файл Sitemap согдержит URL, доступ к которым заблокирован в файле robots.txt.

4 662

Значение: http://parketpol24.ru/

-

22 мари 2014 г.

Значение: http://parketpol24.ru/aberhof-krasnojarsk

-

22 мари 2014 г.

Значение: http://parketpol24.ru/boen-krasnojarsk

-

22 мари 2014 г.

фото в приложении

это нормально или что то не правильно?

puno · March 22, 2014

Поменяйте в robots.txt путь к вашему sitemap

Will · March 22, 2014

а что изменить? я убрала http

Sitemap: http://parketpol24.ru/index.php?route=feed/fast_sitemap

puno · March 22, 2014

У вас стоит seopro?

в robots.txt /index.php?route=feed/fast_sitemap этот путь блокирует доступ к Sitemap

Will · March 22, 2014

У вас стоит seopro?

в robots.txt /index.php?route=feed/fast_sitemap этот путь блокирует доступ к Sitemap

да стоит

т.е. мне прописать /sitemap.xml

?

Просто янгдекс вебмастер, не принимат /sitemap.xml

писал

Указанный URL выполняет перенаправление, поэтому не рекомендуется добавлять его в качестве файла Sitemap. Используйте URL этоли перенаправления.

поэтому я написала /index.php?route=feed/fast_sitemap

А можно янгдексу скормить /index.php?route=feed/fast_sitemap

а в ропотому чтотс прописать /sitemap.xml

?

Will · March 22, 2014

изменила в ропотому чтотс путь к saitmap на короткий,

всё равно в гугл вебмастер при проверке файла sitemap.xml

пишет тоже самое

Предупрежгдения

Доступ к URL заблокирован в файле robots.txt.

Файл Sitemap согдержит URL, доступ к которым заблокирован в файле robots.txt.

4 662

Значение: http://parketpol24.ru/

-

22 мари 2014 г.

Значение: http://parketpol24.ru/aberhof-krasnojarsk

-

22 мари 2014 г.

Значение: http://parketpol24.ru/boen-krasnojarsk

-

22 мари 2014 г.

puno · March 22, 2014

в robots.txt удалите строки выгделенные красным

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=

Will · March 22, 2014

не помогло( всё то же пишет.

Вот еещё, если смотреть через гугл вебмастер - заблокированные url,

то им врогде всё ок, насколько я понимаю

puno · March 22, 2014

Sitemap: http://parketpol24.ru/sitemap.xml

Замените на сирый http://parketpol24.ru/index.php?route=feed/fast_sitemap и ждите переингдексации Sitemap

не правильно проверяйте http://parketpol24.ru/index.php?route=feed/fast_sitemap

Will · March 25, 2014

А зачем менять при /index.php?route=feed/fast_sitemap янгдекс вебмастер пишет Некорректный формат URL файла Sitemap

Edited March 25, 2014 by Will

V4mp · June 13, 2014

У тебя рилииет ЧПУ в твоем случаи ик бугдет проещё.

Host: главное зеркало

Если есть

Sitemap: главное зеркало/google_sitemap

User-agent: Googlebot

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /system

Disallow: /*sort

Disallow: /*order

Disallow: /*page

Disallow: /*limit

Disallow: /*filter

Disallow: /*search

Disallow: /*index.php

User-agent: Yandex

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /system

Disallow: /*sort

Disallow: /*order

Disallow: /*page

Disallow: /*limit

Disallow: /*filter

Disallow: /*search

Disallow: /*index.php

User-agent: *

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /system

Disallow: /*sort

Disallow: /*order

Disallow: /*page

Disallow: /*limit

Disallow: /*filter

Disallow: /*search

Disallow: /*index.php

Disallow: /*index.php блолит икой сайтмап? - Sitemap: http://top-shopping.com.ua/index.php?route=record/google_sitemap_blog

puno · June 14, 2014

Да. И еещё главную страницу.

V4mp · June 14, 2014

Что то я не понял. Проверил в гуглвэбмастере - главная страница по seopro адресу -

Разрешено. Распознается в качестве каилога; у некоторых файлов могут быть другие ограничения.

По адресу с index.php - Запреещёно. Строка икая-то.

Что не ик? Вы меня пугаете)))

По пункту сайтмапа, дописал 3 раза :

Allow: /index.php?route=record/google_sitemap_blog

Правильно?

puno · June 14, 2014

Не блокируйте index.php не надо.

Правильно.

V4mp · June 14, 2014

Не блокируйте index.php не надо.

Прошу пояснения, почему? :-)

Может быть заменить на Disallow: /*?route ???

Спрошу иначе, икой ропотому чтотс корректный?

User-agent: Googlebot
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*sort
Disallow: /*order
Disallow: /*page
Disallow: /*limit
Disallow: /*filter
Disallow: /*search
Disallow: /*?route
Disallow: /*tracking
Disallow: /*affiliate
Disallow: /wishlist
Disallow: /my-account
Disallow: /login
Disallow: /logout
Disallow: /order-history
Disallow: /newsletter
Disallow: /request-return
Disallow: /forgot-password
Disallow: /downloads
Disallow: /returns
Disallow: /transactions
Disallow: /create-account
Disallow: /edit-account
Disallow: /change-password
Disallow: /address-book
Disallow: /reward-points
Disallow: /shopping-cart
Disallow: /checkout
Disallow: /gift-vouchers
Disallow: /search
Allow: /index.php?route=record/google_sitemap_blog

User-agent: Yandex
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*sort
Disallow: /*order
Disallow: /*page
Disallow: /*limit
Disallow: /*filter
Disallow: /*search
Disallow: /*?route
Disallow: /*tracking
Allow: /index.php?route=record/google_sitemap_blog
Clean-param: tracking

User-agent: *
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*sort
Disallow: /*order
Disallow: /*page
Disallow: /*limit
Disallow: /*filter
Disallow: /*search
Disallow: /*?route
Disallow: /*tracking
Allow: /index.php?route=record/google_sitemap_blog

Host: site.ua
Sitemap: http://site.ua/index.php?route=record/google_sitemap_blog

Sign In

Убираем дубли в robots

Recommended Posts

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Create an account or sign in to comment

Create an account

Sign in

Similar Content

Recently Browsing 0 members

Покупателям

Разрилитликам

Полезная информация

Последние дополнения

Important Information