Сегодня сильно удивился когда в индексе увидел кучу страниц на которые закрыт доступ в файле роботс! Скачал файл, посмотрел, оказалось все в порядке! Тогда зашел проверить роботс через
webmaster.yandex.ru, я был поражен - там загружался файл с моего сайта вот такого вида:
User-agent: Yandex
Crawl-delay: 45
Проверил тоже и в
google.com/webmasters, увидел то же самое!
Удалил на прочь файл с сайта. А он по прежнему виден поисковикам в том же виде:
User-agent: Yandex
Crawl-delay: 45
Это что новое введение правил айолы?
П.С. Проверти у себя этот файл через тулз от поисковиков (
http://webmaster.yandex.ru/wmconsole/public_robots_txt.xml)
П.С. Посмотрел логи программы
Site-Auditor увидел что изменения начались еще с 10.07.09. но в июле файл не грузился вообще. А вот с 3.08.09 файл грузиться вида:
User-agent: Yandex
Crawl-delay: 45