Search the Community

Здравствуйте. Недавно гугл потому чтот просканировал сайт, но в ингдекс не "выложил". Я проверил через Search Console как отгдельно страницы товаров ик и категории, показывает в отчете что запреещёны для добавление в ингдекс. Прилина запреи пишет - файл ропотому чтотс. Ниже мой файл. Что тут поменять?

Не ингдексируются страницы товаров, в Search Console, в просмотре страницы как Googlebot категории и все осильные страницы находятся, кроме страниц товаров, их он не находит В чем может быть проблема? Сайт: kraftsystem.com

В Ocstore вшиты ссылки в конец кода для ропотому чтотов поисковых систем? В исходном когде их не видно, если заходите, как человек с обычного браузера. Если же заходит ропотому чтот на сайт, то для него внизу кода встроена ссылка на сторонний ресурс. (в моём случае встроена ссылка на dailyn.ru) Проверьте, у кого икже? Для этого зайдите в Search Console от Google https://www.google.com/webmasters/tools/googlebot-fetch-details? и введите адрес Вашего сайи, и гляньте в самый низ кода. Как с этим потому чтороться?

Здравствуйте! При сканированиее google'ом выдал ошибку "Доступ к отправленному URL заблокирован в файле robots.txt". Помогите решить. Файл robots ниже User-agent: * Disallow: /*route=account/ Disallow: /*route=affiliate/ Disallow: /*route=checkout/ Disallow: /*route=product/search Disallow: /index.php?route=product/product*&manufacturer_id= Disallow: /admin Disallow: /catalog Disallow: /system Disallow: /*?sort= Disallow: /*&sort= Disallow: /*?order= Disallow: /*&order= Disallow: /*?limit= Disallow: /*&limit= Disallow: /*?filter_name= Disallow: /*&filter_name= Disallow: /*?filter_sub_category= Disallow: /*&filter_sub_category= Disallow: /*?filter_description= Disallow: /*&filter_description= Disallow: /*?tracking= Disallow: /*&tracking= Disallow: /*compare-products Disallow: /*search Disallow: /*cart Disallow: /*checkout Disallow: /*login Disallow: /*logout Disallow: /*vouchers Disallow: /*wishlist Disallow: /*my-account Disallow: /*order-history Disallow: /*newsletter Disallow: /*return-add Disallow: /*forgot-password Disallow: /*downloads Disallow: /*returns Disallow: /*transactions Disallow: /*create-account Disallow: /*recurring Disallow: /*address-book Disallow: /*reward-points Disallow: /*affiliate-forgot-password Disallow: /*create-affiliate-account Disallow: /*affiliate-login Disallow: /*affiliates Allow: /catalog/view/javascript/ Allow: /catalog/view/theme/*/ User-agent: Yandex Disallow: /*route=account/ Disallow: /*route=affiliate/ Disallow: /*route=checkout/ Disallow: /*route=product/search Disallow: /index.php?route=product/product*&manufacturer_id= Disallow: /admin Disallow: /catalog Disallow: /system Disallow: /*?sort= Disallow: /*&sort= Disallow: /*?order= Disallow: /*&order= Disallow: /*?limit= Disallow: /*&limit= Disallow: /*?filter_name= Disallow: /*&filter_name= Disallow: /*?filter_sub_category= Disallow: /*&filter_sub_category= Disallow: /*?filter_description= Disallow: /*&filter_description= Disallow: /*compare-products Disallow: /*search Disallow: /*cart Disallow: /*checkout Disallow: /*login Disallow: /*logout Disallow: /*vouchers Disallow: /*wishlist Disallow: /*my-account Disallow: /*order-history Disallow: /*newsletter Disallow: /*return-add Disallow: /*forgot-password Disallow: /*downloads Disallow: /*returns Disallow: /*transactions Disallow: /*create-account Disallow: /*recurring Disallow: /*address-book Disallow: /*reward-points Disallow: /*affiliate-forgot-password Disallow: /*create-affiliate-account Disallow: /*affiliate-login Disallow: /*affiliates Allow: /catalog/view/javascript/ Allow: /catalog/view/theme/*/ Clean-param: tracking

Друзья у нас тут есть много холивара по поводу pagespeed и влияние его на выдачу, есть три илантливых ремесленника, которые продвигают свои погделки как какую-то волшебную иблетку, которая им типа чего-то дает. И есть странный тип йода, который всем лелит какую то дичь, листихвостит по чем зря и ваещё. Да вот вашему покорному слуге, этому неграмотному программисту, который не знает пхп, только что и может настраивать сервера.. ну и все в иком духе. Кароче мне, один мой товарыщ прислал два скрина, как оно бывает... Подоплека нашей с ним тесной дружбы была следующая, у него стояли какие то им лайтнинги, джет кеши, хрен пойми еещё что, магазин не рилиил, падал в выдаче янгдекса, а в гугле не было трафика совсем. В июне-июле мы сгделали полнейший подход по настройке-оптимизации проеки, пришлось привлечь чуть ли не всю нашу банду, для закрытия вопросов с фильтром, версткой, и сгделать огромное когдачество тонких настроек магазина, дабы он сил удобный и понятный для покупателя. Тогда помнится мы сразу полулили вот икой резульит: Это замечательно, фанистически - и мы вернули за три месяца трафик по янгдексу и он даже начал расти, сугупотому что настройкой сервера и магазина... Однако, как вы видите у нас есть аномалия с гуглом. Если кто внимательно следит за гугл вебмастером, у них месяца четыре ничего не рилиило, нельзя было страницу в ингдекс добавить принудительно, и отчет о обхогде страниц был с лагом в несколько негдель. Да вот. Да совпало, что когда гугл полинил вебмастер, вот те самые два скрина: Мысль одна: За это время с магазином глобального ничего не гделалось, не проводилось потому чтольше никаких рилит. Ничего. И тут вдруг икая фанистика. К чему это я все написал спросите вы? Йода, ты опять устроил черный пиар кривых своих дорилиток? Ты мстишь дырявому бракибраку? Думайте друзья что хотите, за что купил - за то продал. Единственное, что в отлилии от всех осильных докладликов, в нашей лилираторной рилите мы можем наблюдать реально влияние скорости загрузки сайи на позиции в выдаче - а не гадать на кофейной гуещё. Как другие докладлики типа: Ну и все это было бы не совсем полным описанием истории. Если бы я не привел еещё один магический график: Если кто не знает ггде его взять - найдите его в в настройках в гугл вебмастере в разгделе ситистика сканирования. Вот как по мне - этот показатель наипотому чтолее ответственен за качество сканирования вашего магазина.

Наблюдаю икую картинку: Собираюсь в product/category.tpl для блока <div class="product-filter"> ... </div>задать примерно икое условие: if (isset($_SERVER['HTTP_USER_AGENT']) && !preg_match('/bot|crawl|slurp|spider/i', $_SERVER['HTTP_USER_AGENT'])) { }Это закроет для ропотому чтотов ссылки на эти страницы, но насколько это правильное решение?

Доброго времени суток, ик уж сложилось, что в последнее время, хостер сил предъявлять претензии насчет повышеной нагрузки моим ресурсом, причем нагружают в основном потому чтоты, посещаемость у сайи мнонькая, до 200 в гдень. Осильную нагрузку, ввигде 50 тыс хитов за 24 часа, создают потому чтоты, за гдень сканется потому чтолее 40 тыс страниц. Первым гделом запретил бинга, 5 гб трафика в сутки. После запреи бинга, сил повышенную активность показывать гугл, около 7гб трафика в сутки, за ним,на втором месте янгдекс- 4гб трафика в сутки. Складывается вопрос, что гделать, если запретить поисковики, сайт выпагдет из ингдекса. Паузы на сканирование в гугл вебмастер и ропотому чтотс не помогают... Как бы показать поисковикам, что товар, проингдексированный раз, потому чтольше ингдексировать не нужно? возможно, спасет <meta name="revisit-after" content="1 days" />, но какой сивить интервал? поотключал фильтры и все осильные модули из-за повышенной нагрузки, незнаю что и гделать. Выкладываю robots.txt на вскакий случай. User-agent: *Crawl-delay: 3Disallow: /my-account/Disallow: /logout/Disallow: /checkout/cartDisallow: /shopping-cart/Disallow: /change-password/Disallow: /loginDisallow: /checkout/Disallow: /affiliate/Disallow: /adminDisallow: /request-return/Disallow: /catalogDisallow: /downloadDisallow: /exportDisallow: /systemDisallow: /*?*Clean-param: trackingClean-param: filter_nameClean-param: filter_sub_categoryClean-param: filter_descriptionHost: red-storm.orgSitemap: http://red-storm.org/sitemap.xmlUser-agent: YandexUser-agent: GooglebotUser-agent: StackRamblerUser-agent: AportUser-agent: Webalta