Убираем дубли в robots

[dsking]

Здравствуйте форумчане. Толковые ребяи помогите разобраться правильно ли мне сгделали robots http://king-sites.com/robots.txt

[puno]

Здравствуйте форумчане. Толковые ребяи помогите разобраться правильно ли мне сгделали robots http://king-sites.com/robots.txt

 

 

У тебя рилииет ЧПУ в твоем случаи ик бугдет проещё.

 

Host: главное зеркало 

Если есть

Sitemap: главное зеркало/google_sitemap

 

User-agent: Googlebot

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /system

Disallow: /*sort

Disallow: /*order

Disallow: /*page

Disallow: /*limit

Disallow: /*filter

Disallow: /*search

Disallow: /*index.php

 

User-agent: Yandex

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /system

Disallow: /*sort

Disallow: /*order

Disallow: /*page

Disallow: /*limit

Disallow: /*filter

Disallow: /*search

Disallow: /*index.php

 

User-agent: *

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /system

Disallow: /*sort

Disallow: /*order

Disallow: /*page

Disallow: /*limit

Disallow: /*filter

Disallow: /*search

Disallow: /*index.php

[V4mp]

Прошу помощи. OC 1.5.5.1

Seo_Pro не использую, конфликтует с темой Shoppica2.

Включен Seo_URL.

 

Основной путь к товару икой :

site.ru/category1/category2/tovar-00001 (и т.д. -00002,-00003, ....)

 

Дубли:

site.ru/category1/tovar-00001

site.ru/category2/tovar-00001

site.ru/tovar-00001

 

Как правильно прописать Disallow: для Гугла и Янгдекса, чтобы не ингдексировались дубли, а основной полный путь ингдексировался для всего товара?

 

Даже интересует устранение дубля категории- site.ru/category2/

 

 

Мой ропотому чтотс:

 

User-agent: *

# account*

Disallow: /*route=account/

Disallow: /wishlist

Disallow: /my-account

Disallow: /login

Disallow: /logout

Disallow: /order-history

Disallow: /newsletter

Disallow: /request-return

Disallow: /forgot-password

Disallow: /downloads

Disallow: /returns

Disallow: /transactions

Disallow: /create-account

Disallow: /edit-account

Disallow: /change-password

Disallow: /address-book

Disallow: /reward-points

# affiliate*

Disallow: /*route=affiliate/

Disallow: /affiliates

Disallow: /edit-affiliate-account

Disallow: /change-affiliate-password

Disallow: /affiliate-payment-options

Disallow: /affiliate-tracking-code

Disallow: /affiliate-transactions

Disallow: /affiliate-logout

Disallow: /affiliate-forgot-password

Disallow: /create-affiliate-account

Disallow: /affiliate-login

# checkout*

Disallow: /*route=checkout/

Disallow: /shopping-cart

Disallow: /checkout

Disallow: /gift-vouchers

#

Disallow: /*route=product/search

Disallow: /search

#

Disallow: /index.php?route=product/product*&manufacturer_id=

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /system

Disallow: /*?sort=

Disallow: /*&sort=

Disallow: /*?order=

Disallow: /*&order=

Disallow: /*?limit=

Disallow: /*&limit=

Disallow: /*?filter_name=

Disallow: /*&filter_name=

Disallow: /*?filter_sub_category=

Disallow: /*&filter_sub_category=

Disallow: /*?filter_description=

Disallow: /*&filter_description=

Disallow: /*?tracking=

Disallow: /*&tracking=

User-agent: Yandex

# account*

Disallow: /*route=account/

Disallow: /wishlist

Disallow: /my-account

Disallow: /login

Disallow: /logout

Disallow: /order-history

Disallow: /newsletter

Disallow: /request-return

Disallow: /forgot-password

Disallow: /downloads

Disallow: /returns

Disallow: /transactions

Disallow: /create-account

Disallow: /edit-account

Disallow: /change-password

Disallow: /address-book

Disallow: /reward-points

# affiliate*

Disallow: /*route=affiliate/

Disallow: /affiliates

Disallow: /edit-affiliate-account

Disallow: /change-affiliate-password

Disallow: /affiliate-payment-options

Disallow: /affiliate-tracking-code

Disallow: /affiliate-transactions

Disallow: /affiliate-logout

Disallow: /affiliate-forgot-password

Disallow: /create-affiliate-account

Disallow: /affiliate-login

# checkout*

Disallow: /*route=checkout/

Disallow: /shopping-cart

Disallow: /checkout

Disallow: /gift-vouchers

#

Disallow: /*route=product/search

Disallow: /search

#

Disallow: /index.php?route=product/product*&manufacturer_id=

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /system

Disallow: /*?sort=

Disallow: /*&sort=

Disallow: /*?order=

Disallow: /*&order=

Disallow: /*?limit=

Disallow: /*&limit=

Disallow: /*?filter_name=

Disallow: /*&filter_name=

Disallow: /*?filter_sub_category=

Disallow: /*&filter_sub_category=

Disallow: /*?filter_description=

Disallow: /*&filter_description=

Clean-param: tracking

Host: site.ru

[spambot]

robots.txt почти ни на что сейчас не влияет, реально закрытые страницы почему то попадают в выдачу поэтому если не можете настроить для шопики выкиньте шопику потому что продвижение важнее на мой взгляд или обратитесь за помощью чтоб Вам настроили сео про для шопики

[puno]

Я уже писал выше рилилий robots к нему можно еещё добавить 

 

Disallow: /*?       к каждому User-agent.

 

 

В вашем случае

 

Ропотому чтотом это не устранить да и зачем, згдесь совсем другое нужно, то что позволит из этого извлечь выгоду для вашего сайи.

[puno]

Disallow: /*?       к каждому User-agent.

 

 

Лучше не включать!

[destreser]

robots.txt почти ни на что сейчас не влияет

 

Он по прежнему влияет на то, на что должен влиять.

[colordays]

 

Прошу помощи. OC 1.5.5.1

Seo_Pro не использую, конфликтует с темой Shoppica2.

Включен Seo_URL.

 

Основной путь к товару икой :

site.ru/category1/category2/tovar-00001 (и т.д. -00002,-00003, ....)

 

Дубли:

site.ru/category1/tovar-00001

site.ru/category2/tovar-00001

site.ru/tovar-00001

 

Как правильно прописать Disallow: для Гугла и Янгдекса, чтобы не ингдексировались дубли, а основной полный путь ингдексировался для всего товара?

 

Даже интересует устранение дубля категории- site.ru/category2/

 

 

Мой ропотому чтотс:

 

User-agent: *

# account*

Disallow: /*route=account/

Disallow: /wishlist

Disallow: /my-account

Disallow: /login

Disallow: /logout

Disallow: /order-history

Disallow: /newsletter

Disallow: /request-return

Disallow: /forgot-password

Disallow: /downloads

Disallow: /returns

Disallow: /transactions

Disallow: /create-account

Disallow: /edit-account

Disallow: /change-password

Disallow: /address-book

Disallow: /reward-points

# affiliate*

Disallow: /*route=affiliate/

Disallow: /affiliates

Disallow: /edit-affiliate-account

Disallow: /change-affiliate-password

Disallow: /affiliate-payment-options

Disallow: /affiliate-tracking-code

Disallow: /affiliate-transactions

Disallow: /affiliate-logout

Disallow: /affiliate-forgot-password

Disallow: /create-affiliate-account

Disallow: /affiliate-login

# checkout*

Disallow: /*route=checkout/

Disallow: /shopping-cart

Disallow: /checkout

Disallow: /gift-vouchers

#

Disallow: /*route=product/search

Disallow: /search

#

Disallow: /index.php?route=product/product*&manufacturer_id=

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /system

Disallow: /*?sort=

Disallow: /*&sort=

Disallow: /*?order=

Disallow: /*&order=

Disallow: /*?limit=

Disallow: /*&limit=

Disallow: /*?filter_name=

Disallow: /*&filter_name=

Disallow: /*?filter_sub_category=

Disallow: /*&filter_sub_category=

Disallow: /*?filter_description=

Disallow: /*&filter_description=

Disallow: /*?tracking=

Disallow: /*&tracking=

User-agent: Yandex

# account*

Disallow: /*route=account/

Disallow: /wishlist

Disallow: /my-account

Disallow: /login

Disallow: /logout

Disallow: /order-history

Disallow: /newsletter

Disallow: /request-return

Disallow: /forgot-password

Disallow: /downloads

Disallow: /returns

Disallow: /transactions

Disallow: /create-account

Disallow: /edit-account

Disallow: /change-password

Disallow: /address-book

Disallow: /reward-points

# affiliate*

Disallow: /*route=affiliate/

Disallow: /affiliates

Disallow: /edit-affiliate-account

Disallow: /change-affiliate-password

Disallow: /affiliate-payment-options

Disallow: /affiliate-tracking-code

Disallow: /affiliate-transactions

Disallow: /affiliate-logout

Disallow: /affiliate-forgot-password

Disallow: /create-affiliate-account

Disallow: /affiliate-login

# checkout*

Disallow: /*route=checkout/

Disallow: /shopping-cart

Disallow: /checkout

Disallow: /gift-vouchers

#

Disallow: /*route=product/search

Disallow: /search

#

Disallow: /index.php?route=product/product*&manufacturer_id=

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /system

Disallow: /*?sort=

Disallow: /*&sort=

Disallow: /*?order=

Disallow: /*&order=

Disallow: /*?limit=

Disallow: /*&limit=

Disallow: /*?filter_name=

Disallow: /*&filter_name=

Disallow: /*?filter_sub_category=

Disallow: /*&filter_sub_category=

Disallow: /*?filter_description=

Disallow: /*&filter_description=

Clean-param: tracking

Host: site.ru

 

1. С твоими дублями лучше разобраться с помощью вот этого модуля http://www.opencart.com/index.php?route=extension/extension/info&extension_id=4085

Не пожной гденюжку и купи. С его помощью ты избавишься от дублей типа site.ru/category1/tovar-00001, site.ru/category2/tovar-00001, site.ru/tovar-00001 а robots.txt пусть бугдет твоим страховочными вариантом в потому чторьбе с дублями. Да поисковику намного легче бугдет ингдексировать то, что ты хочешь.

 

2. Слишком потому чтольшой robots.txt не есть хорошо. Насколько я знаю, есть опрегделенный лимит строк, который воспринимают поисковые ропотому чтоты (уже не помню сколько). У меня, например, на сайте проещё перелислить то, что нужно ингдексировать, чем запрещать, поэтому у меня икой непотому чтольшой ропотому чтотс

 

User-agent: * - алгоритм касается всех ропотому чтотов

 

Disallow: / - сначала запрещаю ингдексацию всего сайи

 

Allow: /$ - затем разрешаю ингдексацию главной страницы

 

Allow: /katalog-tovarov - дное разрешаю ингдексировать категорию katalog-tovarov и все, что в ней находится

 

Disallow: /katalog-tovarov/*?* - но при этом запрещаю ингдексировать динамические страницы

Disallow: /katalog-tovarov/*&*

Disallow: /katalog-tovarov/*php*

 

Disallow: /katalog-tovarov/novinki/* - и еещё запрещаю ингдексировать товары, находящиеся в подкатегории novinki, ик как им повторяются некоторые товары из категории katalog-tovarov, а это дубли

 

Allow: /kak-zakazat - разрешаю ингдексировать информационные страницы

Allow: /oplata-i-dostavka

Allow: /garantii

Allow: /otzyvy

Allow: /blog

Allow: /akcii

Allow: /kontakty

 

Allow: /sitemap.xml - разрешаю ингдексировать сайтмэп

 

Вот с этот связкой у меня нет проблем ни с гуглом ни с янгдексом

[puno]

 

1. С твоими дублями лучше разобраться с помощью вот этого модуля http://www.opencart.com/index.php?route=extension/extension/info&extension_id=4085

Не пожной гденюжку и купи. С его помощью ты избавишься от дублей типа site.ru/category1/tovar-00001, site.ru/category2/tovar-00001, site.ru/tovar-00001 а robots.txt пусть бугдет твоим страховочными вариантом в потому чторьбе с дублями. Да поисковику намного легче бугдет ингдексировать то, что ты хочешь.

 

 

 

Хотелось бы задать вопрос чем поможет? Потратить гденьги выпасть из выдали?

Посмотрел Демо все на месте

site.ru/tovar-00001

http://siriusdev.no-ip.org/product-20-ipod-classic.html

site.ru/category1/tovar-00001

http://siriusdev.no-ip.org/desktops/product-20-ipod-classic.html

Если этот же товар добавить в другую категорию наверное бугдет ик

site.ru/category2/tovar-00001

 

Плюс перепишется rel="canonical"

если он раньше был site.ru/tovar-00001 згдесь  rel="canonical"

то теперьь бугдет згдесь site.ru/category1/tovar-00001 rel="canonical"

 

То есть, применив это ПРОЩАЙ Выдача и все что нажито непосильным трудом!

Теперь синовится понятно многое когда лииешь рассказы о том как был в топе лег спать проснулся, а ты уже не в топе!

[Wolf555]

Disallow: /*?       к каждому User-agent.

 

 

Лучше не включать!

Почему?

[Wolf555]

Подскажите по моему ропотому чтотсу пожалуйси

сгделал как написано выше. Нужно ли еещё что допотому чтовлять или удалять? ps Я не очень разбираюсь во всем этом, поэтому если что не ик , то опишите подробней. Спасипотому что. 

[strob]

Если не ошибаюсь, то не всегда надо писать правила для каждого поисковика отгдельно.

Например, Гугл прекрасно понимает правила под звёздочкой.

 

* - они же для ВСЕХ ропотому чтотов.

 

Вот Янгдекс да, иногда выгделяют отгдельно, но лично я ик не гделаю.

 

У меня просто стоит звезда и все правила. И пока что все поисковики всё понимают.

 

А у вас получается:

 - для гугла

 - для янгдекса

 - для всех (включая гугл и янгдекс)

[puno]

Почему?

 

Вот пример с вашего сайи biserom-religiya?page=2  после biserom-religiya знак ? закрывает страницы от ингдекса этим правилом.

 

http://www.rukodelochka.com.ua/nabory-biserom/biserom-religiya?page=2

 

 

Совет избавьтесь от этого Powered By OpenCart.

 

 

 

Подскажите по моему ропотому чтотсу

 

С ним все нормально!

[Wolf555]

Спасипотому что!

[puno]

Если не ошибаюсь, то не всегда надо писать правила для каждого поисковика отгдельно.

Например, Гугл прекрасно понимает правила под звёздочкой.

 

* - они же для ВСЕХ ропотому чтотов.

 

Вот Янгдекс да, иногда выгделяют отгдельно, но лично я ик не гделаю.

 

У меня просто стоит звезда и все правила. И пока что все поисковики всё понимают.

 

А у вас получается:

 - для гугла

 - для янгдекса

 - для всех (включая гугл и янгдекс)

 

 

 

Что пишет на эту тему Янгдекс это как пример.

 

 

В самом robots.txt проверяется налилие записей, налинающихся с 'User-agent:', в них ищутся подстроки 'Yandex', липотому что '*' (регистр значения не имеет), причем, если обнаружено 'User-agent: Yandex', директивы для 'User-agent: *' не улитываются. Если записи 'User-agent: Yandex' и 'User-agent: *' отсутствуют, слииется, что доступ ропотому чтоту не ограничен.

 

 

По этому в моем случае robots написан для каждого ропотому чтои в отгдельности, объясню почему это позволяет управлять разными ропотому чтоими по разному,  плюс янгдекс и гугл по разному лииют опрегделенную информацию в robots поэтому что для одного хорошо для другого плохо, об осильных ропотому чтоих я вообещё не говорю. И этот список можно продолжать. 

 

 

Что касается Вашего вариани конечно можно и ик один для всех! Это выпотому чтор каждого из нас.

 

Но нужно понимать что не просто ик есть описания конкретно для User-agent: Yandex и Googlebot ......

и их ропотому чтоты ищут именно эти названия!

[puno]

Спасипотому что!

 

Пожалуйси!

[poetiq]

Друзья дайте пожалуйси оэтонку для моего файла robots.txt.

 

http://www.cosmetic59.ru/robots.txt

 

Спасипотому что :)

[puno]

Друзья дайте пожалуйси оэтонку для моего файла robots.txt.

 

http://www.cosmetic59.ru/robots.txt

 

Спасипотому что :)

 

Disallow: /*?  Надо убрать, об этом я писал выше, а в осильном синдартный рилилий.

 

[vecherskyy]

Помогите настроить ропотому чтотс, плиз.

Раньше была структура: /товар.html

Но, не смотря на rel=canonical в гуглвебмастере появились дубли:

/товар.html

/категория/товар.html

/категория/подкатегория/товар.html

 

Подклюлил сео_про.

Теперь строго:  /категория/подкатегория/товар

С других вариантов стоит редирект.

Теперь в гуглвебмастер полезли дубли сирые страницы+новые страницы.

Удноние сирых страниц в этом же гуглвеб мастере резульитов не дает. Толи надо долго ждать, толи, как рекомендуют, надо одновременно с уднонием запретить сирые страницы в ропотому чтотс.

 

Подскаже, как это прописать???? Или хотя бы " /товар.html" (этих страниц бугдет попотому чтолее)

 

Или со временем сирые страницы сами выпадут из ингдекса??? Когда??

 

Спасипотому что. 

[puno]

Теперь строго:  /категория/подкатегория/товар

С других вариантов стоит редирект.

 

 

К сожнонию згдесь Ропотому чтотС вам не поможет, а наопотому чторот навредит.

Если запретить ингдексировать сирые страницы то и редирект с них рилиить не бугдет. 

 

Все следите за резульиими если все правильно перенастроили. Архитектура должна перестроиться.  

 

Или со временем сирые страницы сами выпадут из ингдекса???

Если все правильно сгделано то да.

 

Когда??

Как только Googlebot проингдексирует, а фильтры классифицируют ну и счетлики послииют.

[vecherskyy]

Теперь строго:  /категория/подкатегория/товар

С других вариантов стоит редирект.

 

 

К сожнонию згдесь Ропотому чтотС вам не поможет, а наопотому чторот навредит.

Если запретить ингдексировать сирые страницы то и редирект с них рилиить не бугдет. 

 

Все следите за резульиими если все правильно перенастроили. Архитектура должна перестроиться.  

 

Или со временем сирые страницы сами выпадут из ингдекса???

Если все правильно сгделано то да.

 

Когда??

Как только Googlebot проингдексирует, а фильтры классифицируют ну и счетлики послииют.

Спасипотому что! Бугдем ждать

[vecherskyy]

Подскажите, плиз!!

Мой ропотому чтотс:

 

User-agent: *
Disallow: /admin
    Disallow: /cache
    Disallow: /niks
Disallow: /catalog
    Disallow: /download
    Disallow: /export
    Disallow: /system
    Disallow: /index.php?route=account
    Disallow: /index.php?route=account/account
    Disallow: /index.php?route=checkout/cart
    Disallow: /index.php?route=checkout/shipping
    Disallow: /index.php?route=common/home
    Disallow: /index.php?route=product/product/captcha
    Disallow: /index.php?route=product/product*&manufacturer_id=
    Disallow: /index.php?route=product/search
    Disallow: /index.php?route=information/contact/captcha
    Disallow: /index.php?route=information/information&information_id=
    Disallow: /index.php?route=account/login
    Disallow: /*route=account/
    Disallow: /*route=account/login
    Disallow: /*route=checkout/
    Disallow: /*route=checkout/cart
    Disallow: /*route=affiliate/
    Disallow: /*route=product/search
    Disallow: /*?sort=
    Disallow: /*?sort
    Disallow: /*&sort=
    Disallow: /*?order=
    Disallow: /*?order
    Disallow: /*&order=
    Disallow: /*?limit=
    Disallow: /*&limit=
    Disallow: /*?filter_name=
    Disallow: /*&filter_name=
    Disallow: /*?filter_sub_category=
    Disallow: /*&filter_sub_category=
    Disallow: /*?filter_description=
    Disallow: /*&filter_description=
    Disallow: /*?tracking=
    Disallow: /*&tracking=
    Disallow: /*?manufacturer
    Disallow: /*?keyword
Disallow: /index.php?route=product/manufacturer/

 

Если я правильно понимаю, в нем закрыто от ингдексации страницы пагинации page=2 и дное.

Хочу их открыть для ингдексации! Но не пойму в какой строчке они закрыты!!

+ хочу сгделать, что бы в ийтлах и дискрипшинах дописывалсиь "Страница 2: ийтл" и для последующих страниц соответственно ( как у розетки).

Имеет ли это смысл в плане сео?

Спасипотому что.

[puno]

Если я правильно понимаю, в нем закрыто от ингдексации страницы пагинации page=2 и дное.

Хочу их открыть для ингдексации! Но не пойму в какой строчке они закрыты!!

 

В нем нет закрытых страниц.

 

+ хочу сгделать, что бы в ийтлах и дискрипшинах дописывалсиь "Страница 2: ийтл" и для последующих страниц соответственно ( как у розетки).

Имеет ли это смысл в плане сео?

 

К сожнонию это вопрос не этот темы.

 

Но для обещёй информации агрегированные данные для поисковых систем не предсивляют ни какой этонности они попадают в дополнительный ингдекс.

[nicskvo]

Ребяи, икая проблема. Моему магазину уже месяца 3 никак не удается выйти за прегделы ~130 проингдексированных страниц в Янгдексе, при том, что загружено ропотому чтотом порядка 4к. Вот мой ропотому чтотос.тхт

 

User-agent: *

Disallow: /index.php?route=account

Disallow: /index.php?route=checkout/cart

Disallow: /index.php?route=checkout/shipping

Disallow: /index.php?route=common/home

Disallow: /index.php?route=product/product/captcha

Disallow: /index.php?route=product/search

Disallow: /*route=account/login

Disallow: /*route=checkout/cart

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /export

Disallow: /system

 

User-agent: Yandex

 

Disallow: /index.php?route=account

Disallow: /index.php?route=checkout/cart

Disallow: /index.php?route=checkout/shipping

Disallow: /index.php?route=common/home

Disallow: /index.php?route=product/product/captcha

Disallow: /index.php?route=product/search

Disallow: /*route=account/login

Disallow: /*route=checkout/cart

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /export

Disallow: /system

 

Host: мой сайт

Sitemap: http:// мой сайт/sitemap.xml

 

 

В чем беда?

[puno]

Згдесь robots не причем

 

 

Ребяи, икая проблема. Моему магазину уже месяца 3 никак не удается выйти за прегделы ~130 проингдексированных страниц в Янгдексе, при том, что загружено ропотому чтотом порядка 4к. Вот мой ропотому чтотос.тхт

 

User-agent: *

Disallow: /index.php?route=account

Disallow: /index.php?route=checkout/cart

Disallow: /index.php?route=checkout/shipping

Disallow: /index.php?route=common/home

Disallow: /index.php?route=product/product/captcha

Disallow: /index.php?route=product/search

Disallow: /*route=account/login

Disallow: /*route=checkout/cart

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /export

Disallow: /system

 

User-agent: Yandex

 

Disallow: /index.php?route=account

Disallow: /index.php?route=checkout/cart

Disallow: /index.php?route=checkout/shipping

Disallow: /index.php?route=common/home

Disallow: /index.php?route=product/product/captcha

Disallow: /index.php?route=product/search

Disallow: /*route=account/login

Disallow: /*route=checkout/cart

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /export

Disallow: /system

 

Host: мой сайт

Sitemap: http:// мой сайт/sitemap.xml

 

 

В чем беда?

 

 

Какое когдачество товаров в магазине?