Убираем дубли в robots

nicskvo · 16 января 2014

На здоровье.

Сколько товаров?

около 1,5 тысяч

shapochka · 11 февраля 2014

Здравствуйте!

Буду благодарен, если посмотрите мой robots.txt. Он синдартный, я в нем ничего не менял. Надо ли в нем что-то настраивать для улучшения резульитов ингдексации? У меня проингдексировано 370 страниц на сайте, но по факту их раза в 3 потому чтольше.

User-agent: *Disallow: /*route=account/Disallow: /*route=affiliate/Disallow: /*route=checkout/Disallow: /*route=product/searchDisallow: /index.php?route=product/product*&manufacturer_id=Disallow: /adminDisallow: /catalogDisallow: /downloadDisallow: /systemDisallow: /*?sort=Disallow: /*&sort=Disallow: /*?order=Disallow: /*&order=Disallow: /*?limit=Disallow: /*&limit=Disallow: /*?filter_name=Disallow: /*&filter_name=Disallow: /*?filter_sub_category=Disallow: /*&filter_sub_category=Disallow: /*?filter_description=Disallow: /*&filter_description=Disallow: /*?tracking=Disallow: /*&tracking=User-agent: YandexDisallow: /*route=account/Disallow: /*route=affiliate/Disallow: /*route=checkout/Disallow: /*route=product/searchDisallow: /index.php?route=product/product*&manufacturer_id=Disallow: /adminDisallow: /catalogDisallow: /downloadDisallow: /systemDisallow: /*?sort=Disallow: /*&sort=Disallow: /*?order=Disallow: /*&order=Disallow: /*?limit=Disallow: /*&limit=Disallow: /*?filter_name=Disallow: /*&filter_name=Disallow: /*?filter_sub_category=Disallow: /*&filter_sub_category=Disallow: /*?filter_description=Disallow: /*&filter_description=Clean-param: tracking

chukcha · 11 февраля 2014

ЧПУ есть?

shapochka · 11 февраля 2014

ЧПУ есть?

Да, есть.

chukcha · 11 февраля 2014

ЧпУ ссылки на регистрацию, корзину, и прочее аналоги того, что есть в в версии без ЧПУ нужно закрывать

shapochka · 11 февраля 2014

ЧпУ ссылки на регистрацию, корзину, и прочее аналоги того, что есть в в версии без ЧПУ нужно закрывать

На икого рода страницы ссылки не ЧПУ.

chukcha · 11 февраля 2014

Тогда, наверное, доситочно. Но точнее можно сказать глянув сайт.

shapochka · 12 февраля 2014

Буду рад: www.prowife.ru

Uza10775 · 26 февраля 2014

Здравствуйте! Прошу подсказки и помощи. Я не разбираюсь толком в дублях и проч. мало того, пыиюсь понять, лиию, но все равно не понимаю :ph34r: сложно еещё для меня...В админпанели с помощью OC Team проявилась икая картина:

Предупрежгдение: Дубли Seo-Keyword были найгдены в базе! Проверьте список ниже.

Тип: Название (Заголовок) Query Url-Alias (keyword) Действия

Неизвестный тип common/home

Неизвестный тип account/address address-book

Неизвестный тип affiliate/forgotten affiliate-forgot-password

Неизвестный тип affiliate/login affiliate-login

Неизвестный тип affiliate/logout affiliate-logout

Неизвестный тип affiliate/payment affiliate-payment-options

Неизвестный тип affiliate/tracking affiliate-tracking-code

Неизвестный тип affiliate/transaction affiliate-transactions

Неизвестный тип affiliate/account affiliates

Неизвестный тип product/manufacturer brands

Неизвестный тип affiliate/password change-affiliate-password

Неизвестный тип account/password change-password

Неизвестный тип checkout/checkout checkout

Неизвестный тип product/compare compare-products

Неизвестный тип information/contact contact-us

Неизвестный тип account/register create-account

Неизвестный тип affiliate/register create-affiliate-account

Неизвестный тип account/download downloads

Неизвестный тип account/edit edit-account

Неизвестный тип affiliate/edit edit-affiliate-account

Неизвестный тип account/forgotten forgot-password

Неизвестный тип checkout/voucher gift-vouchers

Неизвестный тип account/login login

Неизвестный тип account/logout logout

Неизвестный тип account/account my-account

Неизвестный тип account/newsletter newsletter

Неизвестный тип account/order order-history

Неизвестный тип account/return/insert request-return

Неизвестный тип account/return returns

Неизвестный тип account/reward reward-points

Неизвестный тип product/search search

Неизвестный тип information/sitemap sitemap

Неизвестный тип product/special specials

Неизвестный тип account/transaction transactions

Неизвестный тип account/wishlist wishlist

Что все это зналит и что с этим нужно гделать, просветите пожалуйси. И доситочно ли только этого анализа для выявления дублей страниц. Много веток пролиила,но повторюсь, не могу разобраться, ггде как и что...СеоПро не стоит, есть только deadcow SEO.

сайт: http://millypolly.ru/

И еещё не совсем по теме, ну может кто подскажет:

· "Битые" ссылки(10):

· Запрет ингдексации(1):

http://millypolly.ru/downloads/ вызов из http://millypolly.ru/vouchers/ прилина:robots.txt

Тоже интересно,нужно ли это исправлять,если да,то как удобнее и проещё. Спасипотому что заранее, если кто откликнется :wub:

Will · 21 мари 2014

Ребяи посмотрите мой robots, всё ли правильно?

http://parketpol24.ru/robots.txt

Will · 22 мари 2014

посивила sitemap http://parketpol24.ru/sitemap_xml

и при добавлении в гугл вебмастер, при проверке сайтмапа он мне пишет

#ТипПроблемаОписаниеКоличество проблемПримерСтрокаОбнаружено

1

Предупрежгдения

Доступ к URL заблокирован в файле robots.txt.

Файл Sitemap согдержит URL, доступ к которым заблокирован в файле robots.txt.

4 662

Значение: http://parketpol24.ru/

-

22 мари 2014 г.

Значение: http://parketpol24.ru/aberhof-krasnojarsk

-

22 мари 2014 г.

Значение: http://parketpol24.ru/boen-krasnojarsk

-

22 мари 2014 г.

фото в приложении

это нормально или что то не правильно?

puno · 22 мари 2014

Поменяйте в robots.txt путь к вашему sitemap

Will · 22 мари 2014

а что изменить? я убрала http

Sitemap: http://parketpol24.ru/index.php?route=feed/fast_sitemap

puno · 22 мари 2014

У вас стоит seopro?

в robots.txt /index.php?route=feed/fast_sitemap этот путь блокирует доступ к Sitemap

Will · 22 мари 2014

У вас стоит seopro?

в robots.txt /index.php?route=feed/fast_sitemap этот путь блокирует доступ к Sitemap

да стоит

т.е. мне прописать /sitemap.xml

?

Просто янгдекс вебмастер, не принимат /sitemap.xml

писал

Указанный URL выполняет перенаправление, поэтому не рекомендуется добавлять его в качестве файла Sitemap. Используйте URL этоли перенаправления.

поэтому я написала /index.php?route=feed/fast_sitemap

А можно янгдексу скормить /index.php?route=feed/fast_sitemap

а в ропотому чтотс прописать /sitemap.xml

?

Will · 22 мари 2014

изменила в ропотому чтотс путь к saitmap на короткий,

всё равно в гугл вебмастер при проверке файла sitemap.xml

пишет тоже самое

Предупрежгдения

Доступ к URL заблокирован в файле robots.txt.

Файл Sitemap согдержит URL, доступ к которым заблокирован в файле robots.txt.

4 662

Значение: http://parketpol24.ru/

-

22 мари 2014 г.

Значение: http://parketpol24.ru/aberhof-krasnojarsk

-

22 мари 2014 г.

Значение: http://parketpol24.ru/boen-krasnojarsk

-

22 мари 2014 г.

puno · 22 мари 2014

в robots.txt удалите строки выгделенные красным

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=

Will · 22 мари 2014

не помогло( всё то же пишет.

Вот еещё, если смотреть через гугл вебмастер - заблокированные url,

то им врогде всё ок, насколько я понимаю

puno · 22 мари 2014

Sitemap: http://parketpol24.ru/sitemap.xml

Замените на сирый http://parketpol24.ru/index.php?route=feed/fast_sitemap и ждите переингдексации Sitemap

не правильно проверяйте http://parketpol24.ru/index.php?route=feed/fast_sitemap

Will · 25 мари 2014

А зачем менять при /index.php?route=feed/fast_sitemap янгдекс вебмастер пишет Некорректный формат URL файла Sitemap

Изменено 25 мари 2014 пользователем Will

V4mp · 13 июня 2014

У тебя рилииет ЧПУ в твоем случаи ик бугдет проещё.

Host: главное зеркало

Если есть

Sitemap: главное зеркало/google_sitemap

User-agent: Googlebot

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /system

Disallow: /*sort

Disallow: /*order

Disallow: /*page

Disallow: /*limit

Disallow: /*filter

Disallow: /*search

Disallow: /*index.php

User-agent: Yandex

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /system

Disallow: /*sort

Disallow: /*order

Disallow: /*page

Disallow: /*limit

Disallow: /*filter

Disallow: /*search

Disallow: /*index.php

User-agent: *

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /system

Disallow: /*sort

Disallow: /*order

Disallow: /*page

Disallow: /*limit

Disallow: /*filter

Disallow: /*search

Disallow: /*index.php

Disallow: /*index.php блолит икой сайтмап? - Sitemap: http://top-shopping.com.ua/index.php?route=record/google_sitemap_blog

puno · 14 июня 2014

Да. И еещё главную страницу.

V4mp · 14 июня 2014

Что то я не понял. Проверил в гуглвэбмастере - главная страница по seopro адресу -

Разрешено. Распознается в качестве каилога; у некоторых файлов могут быть другие ограничения.

По адресу с index.php - Запреещёно. Строка икая-то.

Что не ик? Вы меня пугаете)))

По пункту сайтмапа, дописал 3 раза :

Allow: /index.php?route=record/google_sitemap_blog

Правильно?

puno · 14 июня 2014

Не блокируйте index.php не надо.

Правильно.

V4mp · 14 июня 2014

Не блокируйте index.php не надо.

Прошу пояснения, почему? :-)

Может быть заменить на Disallow: /*?route ???

Спрошу иначе, икой ропотому чтотс корректный?

User-agent: Googlebot
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*sort
Disallow: /*order
Disallow: /*page
Disallow: /*limit
Disallow: /*filter
Disallow: /*search
Disallow: /*?route
Disallow: /*tracking
Disallow: /*affiliate
Disallow: /wishlist
Disallow: /my-account
Disallow: /login
Disallow: /logout
Disallow: /order-history
Disallow: /newsletter
Disallow: /request-return
Disallow: /forgot-password
Disallow: /downloads
Disallow: /returns
Disallow: /transactions
Disallow: /create-account
Disallow: /edit-account
Disallow: /change-password
Disallow: /address-book
Disallow: /reward-points
Disallow: /shopping-cart
Disallow: /checkout
Disallow: /gift-vouchers
Disallow: /search
Allow: /index.php?route=record/google_sitemap_blog

User-agent: Yandex
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*sort
Disallow: /*order
Disallow: /*page
Disallow: /*limit
Disallow: /*filter
Disallow: /*search
Disallow: /*?route
Disallow: /*tracking
Allow: /index.php?route=record/google_sitemap_blog
Clean-param: tracking

User-agent: *
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*sort
Disallow: /*order
Disallow: /*page
Disallow: /*limit
Disallow: /*filter
Disallow: /*search
Disallow: /*?route
Disallow: /*tracking
Allow: /index.php?route=record/google_sitemap_blog

Host: site.ua
Sitemap: http://site.ua/index.php?route=record/google_sitemap_blog

Войти

Убираем дубли в robots

Рекомендованные сообещёния

Ссылка на комменирий

Погделиться на других сайих

Ссылка на комменирий

Погделиться на других сайих

Ссылка на комменирий

Погделиться на других сайих

Ссылка на комменирий

Погделиться на других сайих

Ссылка на комменирий

Погделиться на других сайих

Ссылка на комменирий

Погделиться на других сайих

Ссылка на комменирий

Погделиться на других сайих

Ссылка на комменирий

Погделиться на других сайих

Ссылка на комменирий

Погделиться на других сайих

Ссылка на комменирий

Погделиться на других сайих

Ссылка на комменирий

Погделиться на других сайих

Ссылка на комменирий

Погделиться на других сайих

Ссылка на комменирий

Погделиться на других сайих

Ссылка на комменирий

Погделиться на других сайих

Ссылка на комменирий

Погделиться на других сайих

Ссылка на комменирий

Погделиться на других сайих

Ссылка на комменирий

Погделиться на других сайих

Ссылка на комменирий

Погделиться на других сайих

Ссылка на комменирий

Погделиться на других сайих

Ссылка на комменирий

Погделиться на других сайих

Ссылка на комменирий

Погделиться на других сайих

Ссылка на комменирий

Погделиться на других сайих

Ссылка на комменирий

Погделиться на других сайих

Ссылка на комменирий

Погделиться на других сайих

Ссылка на комменирий

Погделиться на других сайих

Создайте аккаунт или войдите в него для комментирования

Создать аккаунт

Войти

Похожие публикации

Сейчас на страниэто 0 пользователей

Покупателям

Разрилитликам

Полезная информация

Последние дополнения

Важная информация