Ayola.net
Новости: В связи с обилием спама, постинг на форуме временно закрыт.

Для связи с поддержкой используйте тикеты в панели управления.
 
*
Добро пожаловать, Гость. Пожалуйста, войдите или зарегистрируйтесь. Ноябрь 20, 2017, 01:35:49


Войти


Страниц: [1]
  Печать  
Автор Тема: Файл robots.txt  (Прочитано 4763 раз)
0 Пользователей и 1 Гость смотрят эту тему.
solt
Новичёк
*

Карма: 0
Сообщений: 24


Просмотр профиля
« : Август 06, 2009, 10:29:15 »

Сегодня сильно удивился когда в индексе увидел кучу страниц на которые закрыт доступ в файле роботс! Скачал файл, посмотрел, оказалось все в порядке! Тогда зашел проверить роботс через webmaster.yandex.ru, я был поражен - там загружался файл с моего сайта вот такого вида:

Цитировать
User-agent: Yandex
Crawl-delay: 45

Проверил тоже и в google.com/webmasters, увидел то же самое!
Удалил на прочь файл с сайта. А он по прежнему виден поисковикам в том же виде:


Цитировать
User-agent: Yandex
Crawl-delay: 45

Это что новое введение правил айолы?

П.С. Проверти у себя этот файл через тулз от поисковиков (http://webmaster.yandex.ru/wmconsole/public_robots_txt.xml)
П.С. Посмотрел логи программы Site-Auditor увидел что изменения начались еще с 10.07.09. но в июле файл не грузился вообще. А вот с 3.08.09 файл грузиться вида:

Цитировать
User-agent: Yandex
Crawl-delay: 45
Записан
atimur
Просветлённый
****

Карма: 59
Сообщений: 990


Живу в SanCity


Просмотр профиля WWW
« Ответ #1 : Август 06, 2009, 11:21:14 »

Это хостинг добавляет файл автоматом (даже если его нет у клиентов). Дабы замедлить работу Паука Яндекса, который бродит по сайтам хостинга якобы нагружая [бла бла] своей работой.
Записан

- Правда, она всегда глаза режет...
- Капча - Идите лесом...
myth
Новичёк
*

Карма: 0
Сообщений: 1


Просмотр профиля
« Ответ #2 : Август 06, 2009, 15:55:26 »

У меня такая же проблема.Это же разводилово полнейшее.На ЛЮБЫХ хостингах имеется возможность создания файла robots.txt.Ввожу в адресе www.rscomp.sk6.ru/robots.txt И мне выдается либо файл не найден,либо как у топикстартера.Но стоит переименовать его в любое другое имя или приписать другое расширение,то он начинает видиться браузером(показывает содержимое),но поисковиками,естественно,не видиться.Так дела не делаются.
Записан
solt
Новичёк
*

Карма: 0
Сообщений: 24


Просмотр профиля
« Ответ #3 : Август 06, 2009, 18:13:57 »

Получил ответ на тикет, сказали что это вынужденная мера!
Записан
DoomeR
Старший Новичёк
**

Карма: 3
Сообщений: 74


Черный Странник


Просмотр профиля WWW
« Ответ #4 : Август 06, 2009, 18:54:56 »

хм... видимо у хостера с мощностями полный звиздец. меня заставили убрать чат, дважды банили игру... теперь это... хватит, я сваливаю с этого хоста... на платник)))
Записан

Hope lives again! Оn http://andromeda-tv.com
MMORTS - спаси Содружетсво Систем!
dimon2242
Просветлённый
****

Карма: -3
Сообщений: 252



Просмотр профиля
« Ответ #5 : Август 07, 2009, 18:41:42 »

У меня тоже самое даже посетителей стало в 3 раза меньше((((
Записан

Зайди на мой сайт

Бесплатная регистрация доменов здесь
swer
Просветлённый
****

Карма: 14
Сообщений: 460


Просмотр профиля WWW
« Ответ #6 : Август 08, 2009, 03:17:14 »

кто уходит с хоста может поделитесь акками если не нужны=D
Записан

Homo homini lupus est!(Человек человеку волк)
Фильмы DivX->Закачаешся>
aidka
Старший Новичёк
**

Карма: 0
Сообщений: 51


Просмотр профиля
« Ответ #7 : Август 08, 2009, 03:41:26 »

Со мной тоже Веселый
Заранее благодарен Подмигивающий
Записан
Страниц: [1]
  Печать  
 
Перейти в:  

Powered by MySQL Powered by PHP Powered by SMF 1.1.13 | SMF © 2006, Simple Machines LLC

2003-2008 © ООО "Инфотур" - Бесплатный хостинг Ayola.net
Valid XHTML 1.0! Valid CSS! Dilber MC Theme by HarzeM
Страница сгенерирована за 0.058 секунд. Запросов: 17.