Файл robots.txt

[solt]

Сегодня сильно удивился когда в индексе увидел кучу страниц на которые закрыт доступ в файле роботс! Скачал файл, посмотрел, оказалось все в порядке! Тогда зашел проверить роботс через webmaster.yandex.ru, я был поражен - там загружался файл с моего сайта вот такого вида:

User-agent: Yandex
Crawl-delay: 45

Проверил тоже и в google.com/webmasters, увидел то же самое!
Удалил на прочь файл с сайта. А он по прежнему виден поисковикам в том же виде:

User-agent: Yandex
Crawl-delay: 45

Это что новое введение правил айолы?

П.С. Проверти у себя этот файл через тулз от поисковиков (http://webmaster.yandex.ru/wmconsole/public_robots_txt.xml)
П.С. Посмотрел логи программы Site-Auditor увидел что изменения начались еще с 10.07.09. но в июле файл не грузился вообще. А вот с 3.08.09 файл грузиться вида:

User-agent: Yandex
Crawl-delay: 45

[atimur]

Это хостинг добавляет файл автоматом (даже если его нет у клиентов). Дабы замедлить работу Паука Яндекса, который бродит по сайтам хостинга якобы нагружая [бла бла] своей работой.

[myth]

У меня такая же проблема.Это же разводилово полнейшее.На ЛЮБЫХ хостингах имеется возможность создания файла robots.txt.Ввожу в адресе www.rscomp.sk6.ru/robots.txt И мне выдается либо файл не найден,либо как у топикстартера.Но стоит переименовать его в любое другое имя или приписать другое расширение,то он начинает видиться браузером(показывает содержимое),но поисковиками,естественно,не видиться.Так дела не делаются.

[solt]

Получил ответ на тикет, сказали что это вынужденная мера!

[DoomeR]

хм... видимо у хостера с мощностями полный звиздец. меня заставили убрать чат, дважды банили игру... теперь это... хватит, я сваливаю с этого хоста... на платник)))

[dimon2242]

У меня тоже самое даже посетителей стало в 3 раза меньше((((

[swer]

кто уходит с хоста может поделитесь акками если не нужны=D

[aidka]

Со мной тоже
Заранее благодарен