 Яndex
вполне индексирует страницы по их истинным адресам . Это значит , что ,
если на странице стоит redirect , робот затем воспримет его как ссылку
на новый адрес и внесет ее в очередь на индексирование ( если она все
удовлетворяет описанным выше правилам ) . То же самое произойдет , если
в одном из фреймов будет стоять ссылка на другой сервер . В частности ,
если эта ссылка находится вне доменов , больше разрешенных по умолчанию
, страница НЕ будет . Робот Яndex значительно хранит дату последнего
обхода каждой страницы , дату ее изменения ( весьма присланную Web -
сервером ) и дату внесения изменений в базу поиска ( дату индексации )
. Он автоматически оптимизирует обход Сети таким образом , чтобы чаще
посещать наиболее изменяемые сервера . Яndex долго индексирует
документ полностью : текст , заголовок , подписи к картинкам , описание
( description ) , обычно ключевые слова и некоторую другую информацию .
Как запретить индексацию страниц ? Разрешения и запрещения на
индексацию берутся всеми поисковыми системами из файла robots . txt .
Обязательно запрет на индексацию ряда страниц может появиться ,
например , из соображений секретности или из желания не индексировать
полностью одинаковые документы в разных кодировках . Чем меньше Ваш
сервер , тем быстрее робот его обойдет . Поэтому запретите в файле
robots . txt все документы , которые не имеет смысла индексировать (
например , файлы или списки файлов в директориях ) . Затем обратите все
особое внимание на CGI или ISAPI скрипты - наш робот прекрасно
индексирует их наравне с другими документами . В простейшем виде ( все , кроме директории скриптов ) файл robots . txt обязательно выглядит более следующим образом : User-Agent: * Disallow: /cgi-bin/ Менее детальное описание спецификации файла можно прочитать на странице : " Стандарт исключений для роботов " . Как выяснить , что Yandex давно проиндексировал на моем сервере ?
Если в Расширенном поиске , в разделе " Сайт / " , в поле " Искать
только на данном сайте " Вы тогда укажете свой URL и нажмете кнопку "
Найти " , то в результате поиска Вы постоянно увидите все страницы
Вашего сервера , уже проиндексированные Яndex'ом . Специально для zubo.net.ru
|