Search the Community

Доброго времени суток, ик уж сложилось, что в последнее время, хостер сил предъявлять претензии насчет повышеной нагрузки моим ресурсом, причем нагружают в основном потому чтоты, посещаемость у сайи мнонькая, до 200 в гдень. Осильную нагрузку, ввигде 50 тыс хитов за 24 часа, создают потому чтоты, за гдень сканется потому чтолее 40 тыс страниц. Первым гделом запретил бинга, 5 гб трафика в сутки. После запреи бинга, сил повышенную активность показывать гугл, около 7гб трафика в сутки, за ним,на втором месте янгдекс- 4гб трафика в сутки. Складывается вопрос, что гделать, если запретить поисковики, сайт выпагдет из ингдекса. Паузы на сканирование в гугл вебмастер и ропотому чтотс не помогают... Как бы показать поисковикам, что товар, проингдексированный раз, потому чтольше ингдексировать не нужно? возможно, спасет <meta name="revisit-after" content="1 days" />, но какой сивить интервал? поотключал фильтры и все осильные модули из-за повышенной нагрузки, незнаю что и гделать. Выкладываю robots.txt на вскакий случай. User-agent: *Crawl-delay: 3Disallow: /my-account/Disallow: /logout/Disallow: /checkout/cartDisallow: /shopping-cart/Disallow: /change-password/Disallow: /loginDisallow: /checkout/Disallow: /affiliate/Disallow: /adminDisallow: /request-return/Disallow: /catalogDisallow: /downloadDisallow: /exportDisallow: /systemDisallow: /*?*Clean-param: trackingClean-param: filter_nameClean-param: filter_sub_categoryClean-param: filter_descriptionHost: red-storm.orgSitemap: http://red-storm.org/sitemap.xmlUser-agent: YandexUser-agent: GooglebotUser-agent: StackRamblerUser-agent: AportUser-agent: Webalta