Яndex вполне индексирует страницы по их истинным адресам . Это значит , что , если на странице стоит redirect , робот затем воспримет его как ссылку на новый адрес и внесет ее в очередь на индексирование ( если она все удовлетворяет описанным выше правилам ) . То же самое произойдет , если в одном из фреймов будет стоять ссылка на другой сервер . В частности , если эта ссылка находится вне доменов , больше разрешенных по умолчанию , страница НЕ будет . Робот Яndex значительно хранит дату последнего обхода каждой страницы , дату ее изменения ( весьма присланную Web - сервером ) и дату внесения изменений в базу поиска ( дату индексации ) . Он автоматически оптимизирует обход Сети таким образом , чтобы чаще посещать наиболее изменяемые сервера .
Яndex долго индексирует документ полностью : текст , заголовок , подписи к картинкам , описание ( description ) , обычно ключевые слова и некоторую другую информацию .
Как запретить индексацию страниц ?
Разрешения и запрещения на индексацию берутся всеми поисковыми системами из файла robots . txt . Обязательно запрет на индексацию ряда страниц может появиться , например , из соображений секретности или из желания не индексировать полностью одинаковые документы в разных кодировках . Чем меньше Ваш сервер , тем быстрее робот его обойдет . Поэтому запретите в файле robots . txt все документы , которые не имеет смысла индексировать ( например , файлы или списки файлов в директориях ) . Затем обратите все особое внимание на CGI или ISAPI скрипты - наш робот прекрасно индексирует их наравне с другими документами .
В простейшем виде ( все , кроме директории скриптов ) файл robots . txt обязательно выглядит более следующим образом : User-Agent: *
Disallow: /cgi-bin/
Менее детальное описание спецификации файла можно прочитать на странице : " Стандарт исключений для роботов " .
Как выяснить , что Yandex давно проиндексировал на моем сервере ?
Если в Расширенном поиске , в разделе " Сайт / " , в поле " Искать только на данном сайте " Вы тогда укажете свой URL и нажмете кнопку " Найти " , то в результате поиска Вы постоянно увидите все страницы Вашего сервера , уже проиндексированные Яndex'ом .
