Ayola.net
Новости: В связи с обилием спама, постинг на форуме временно закрыт.

Для связи с поддержкой используйте тикеты в панели управления.
 
*
Добро пожаловать, Гость. Пожалуйста, войдите или зарегистрируйтесь. Август 23, 2017, 17:13:17


Войти


Страниц: [1]
  Печать  
Автор Тема: ROBOTS.TXT  (Прочитано 8512 раз)
0 Пользователей и 1 Гость смотрят эту тему.
makc
Новичёк
*

Карма: -1
Сообщений: 35


!!! ЭтО Я !!!


Просмотр профиля WWW
« : Сентябрь 12, 2007, 17:44:53 »

Проблема, что-то сайт не индексируется , может у меня проблема с файлом ROBOTS.TXT , может кто нормальный тхтшник подкинет , я бы очень рад был ...
Записан

Говори меньше, чем знаешь,
Делай больше, чем можешь!!!
tzps@ayola.ru
Модератор
Маэстро
*****

Карма: 79
Сообщений: 1695



Просмотр профиля WWW
« Ответ #1 : Сентябрь 12, 2007, 22:26:22 »

Удали свой robots.txt, и всё будет хорошо.
Правда, прийдётся чуть подождать, пока поисковики снова к тебе прийдут.

Записан

makc
Новичёк
*

Карма: -1
Сообщений: 35


!!! ЭтО Я !!!


Просмотр профиля WWW
« Ответ #2 : Сентябрь 13, 2007, 22:23:42 »

Так у меня движка стоит DLE v.6.0 и форум ipb 2.31. Думаешь стоит ...Непонимающий
Записан

Говори меньше, чем знаешь,
Делай больше, чем можешь!!!
tzps@ayola.ru
Модератор
Маэстро
*****

Карма: 79
Сообщений: 1695



Просмотр профиля WWW
« Ответ #3 : Сентябрь 13, 2007, 22:29:32 »

Абсолютно уверен.
robots.txt - это запретительный файл. Т.е. используется поисковиками для определения где шастать нельзя. А пустая запись в Disallow может интерпретироваться очень по-разному.
Удаляй.
Записан

federaloff
Новичёк
*

Карма: 0
Сообщений: 25


Student


Просмотр профиля
« Ответ #4 : Октябрь 28, 2007, 22:20:15 »

Host: твой адрес без hhtp://
User-agent: *
Disallow: /admin к примеру/    Запрет индексации на данную директорию
Disallow: /forum/    Запрет индексации на данную директорию
И так далее...

Либо просто оставить
Disallow:  Запрет снят
Disallow:  Запрет снят
и тд.
не обязательно удалять сам robots.txt
« Последнее редактирование: Октябрь 28, 2007, 22:22:23 от federaloff » Записан
kanefron
Старший Новичёк
**

Карма: 5
Сообщений: 57



Просмотр профиля WWW
« Ответ #5 : Октябрь 31, 2007, 18:26:09 »

у меня такого нет.
но сайт поисковики от чего-то не идексируют.
у приятеля за 2 дня проиндексировали (.ru)
а мой чегото неделю уже ни ни
Записан
tzps@ayola.ru
Модератор
Маэстро
*****

Карма: 79
Сообщений: 1695



Просмотр профиля WWW
« Ответ #6 : Октябрь 31, 2007, 19:05:20 »

Найдут, никуда не денуццо.
У нас в день до 500 тысяч запросов от их ботов.
Записан

kanefron
Старший Новичёк
**

Карма: 5
Сообщений: 57



Просмотр профиля WWW
« Ответ #7 : Октябрь 31, 2007, 20:44:53 »

а почему такая разница во времени всеже?
у доменов первого уровня преоретет какойто?
Записан
tzps@ayola.ru
Модератор
Маэстро
*****

Карма: 79
Сообщений: 1695



Просмотр профиля WWW
« Ответ #8 : Октябрь 31, 2007, 20:53:11 »

а почему такая разница во времени всеже?
у доменов первого уровня преоретет какойто?
Разница по времени наверное потому что ссылок на ваш сайт никаких. Или потому что вам ошибочно кажется что вас не проиндексировали. Такое тоже бывает.

Ни у каких доменов нет никаких приоритетов при индексации.
Записан

Astraller™
Маэстро
*****

Карма: 151
Сообщений: 1389

Вселенское зло


Просмотр профиля WWW
« Ответ #9 : Ноябрь 19, 2007, 17:21:23 »

Вообще, удалять robots.txt не лучший метод, лучьше оставить в нём одну строку:
Host: http://www.[ваш домен].ru
Тогда поисковики будут считать основным именно домен с www. Что даёт некоторые плюсы.
Записан

Гамлета здесь больше нет. Осталась только тень.
support@ayola.net
Вне категорий
Маэстро
*****

Карма: 267
Сообщений: 4901



Просмотр профиля WWW
« Ответ #10 : Ноябрь 19, 2007, 17:50:54 »

А это работает для всех поисковиков? Есть ссылки?
Записан

Бесплатный хостинг с PHP и MySQL

Вопросы и ответы - http://faq.ayola.net
Правка .htaccess - http://htaccess.ayola.net
Техподдержка - http://www.ayola.net/panel/tickets.php
По вопросам хостинга личные сообщения не пишите. Для этого есть тикеты.
tzps@ayola.ru
Модератор
Маэстро
*****

Карма: 79
Сообщений: 1695



Просмотр профиля WWW
« Ответ #11 : Ноябрь 19, 2007, 17:51:21 »

Присоединяюсь к вопросу Улыбающийся

p.s. очень уж неплохое решение проблемы склеивания страниц было бы.
Записан

Astraller™
Маэстро
*****

Карма: 151
Сообщений: 1389

Вселенское зло


Просмотр профиля WWW
« Ответ #12 : Ноябрь 19, 2007, 18:05:27 »

Это работает для Яндекса, Рамблера, Маила и Меты. В Гугле тоже самое выбирается в Инструментах для веб-мастеров.

Ссылки на что, простите за тупость Улыбающийся
Записан

Гамлета здесь больше нет. Осталась только тень.
support@ayola.net
Вне категорий
Маэстро
*****

Карма: 267
Сообщений: 4901



Просмотр профиля WWW
« Ответ #13 : Ноябрь 19, 2007, 19:10:45 »

ссылку на страницу яндекса или гугла где синтаксис указан Улыбающийся
Записан

Бесплатный хостинг с PHP и MySQL

Вопросы и ответы - http://faq.ayola.net
Правка .htaccess - http://htaccess.ayola.net
Техподдержка - http://www.ayola.net/panel/tickets.php
По вопросам хостинга личные сообщения не пишите. Для этого есть тикеты.
Astraller™
Маэстро
*****

Карма: 151
Сообщений: 1389

Вселенское зло


Просмотр профиля WWW
« Ответ #14 : Ноябрь 19, 2007, 19:18:38 »

Пожалуйста:
http://webmaster.yandex.ru/faq.xml?id=508490
Записан

Гамлета здесь больше нет. Осталась только тень.
support@ayola.net
Вне категорий
Маэстро
*****

Карма: 267
Сообщений: 4901



Просмотр профиля WWW
« Ответ #15 : Ноябрь 19, 2007, 22:08:41 »

Сила!
Спасибо, щас нашим скажу, пусть делают Улыбающийся
Записан

Бесплатный хостинг с PHP и MySQL

Вопросы и ответы - http://faq.ayola.net
Правка .htaccess - http://htaccess.ayola.net
Техподдержка - http://www.ayola.net/panel/tickets.php
По вопросам хостинга личные сообщения не пишите. Для этого есть тикеты.
Slaventino
Новичёк
*

Карма: -1
Сообщений: 21


Просмотр профиля
« Ответ #16 : Февраль 22, 2008, 12:04:24 »

вместе с CMS идёт этот файл роботс.тхт вот его содержимое :
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /editor/
Disallow: /help/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /mambots/
Disallow: /media/
Disallow: /modules/
Disallow: /templates/
Disallow: /installation/

Нужно мне его удалять? ЧТо будет, если я его удалю?
ЗЫ И ещё, извените за оффтоп, если во время индексации сайта поисковиками, его сменить на CMS, ничего не произойдёт "страшного"?
 
Записан
DLE user
Маэстро
*****

Карма: 78
Сообщений: 1692



Просмотр профиля WWW
« Ответ #17 : Февраль 22, 2008, 12:28:35 »

вместе с CMS идёт этот файл роботс.тхт вот его содержимое :
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /editor/
Disallow: /help/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /mambots/
Disallow: /media/
Disallow: /modules/
Disallow: /templates/
Disallow: /installation/

Нужно мне его удалять? ЧТо будет, если я его удалю?
ЗЫ И ещё, извените за оффтоп, если во время индексации сайта поисковиками, его сменить на CMS, ничего не произойдёт "страшного"?
 
Выше же всё написано. В файле ROBOTS.TXT удалите всё и пропишете только 1 строку  Host: www.[ваш домен].ru
И всё будет куда лучше чем раньше Подмигивающий
« Последнее редактирование: Февраль 23, 2008, 01:13:35 от DLE user » Записан
blizzardportal
Просветлённый
****

Карма: 15
Сообщений: 481


Are You Dead Yet ?


Просмотр профиля
« Ответ #18 : Февраль 22, 2008, 16:50:39 »

А извините за вопрос, но какие плюсы дает индексация зеркала сайта именно c www (e.g. http://www.site.ru)
Записан

Премиум аккаунты на rapidshare.com
1 мес 7 WMZ
Гарантия на весь срок обслуживания. ICQ=893-542
Astraller™
Маэстро
*****

Карма: 151
Сообщений: 1389

Вселенское зло


Просмотр профиля WWW
« Ответ #19 : Февраль 22, 2008, 17:07:48 »

А извините за вопрос, но какие плюсы дает индексация зеркала сайта именно c www (e.g. http://www.site.ru)
Довольно часто в каталогах эти самые www приписываются ссылке автоматом. Т.е. если основным будет сайт с www - это будет экономически выгодно. Улыбающийся
Записан

Гамлета здесь больше нет. Осталась только тень.
Страниц: [1]
  Печать  
 
Перейти в:  

Powered by MySQL Powered by PHP Powered by SMF 1.1.13 | SMF © 2006, Simple Machines LLC

2003-2008 © ООО "Инфотур" - Бесплатный хостинг Ayola.net
Valid XHTML 1.0! Valid CSS! Dilber MC Theme by HarzeM
Страница сгенерирована за 0.085 секунд. Запросов: 18.