Добавлено (21.06.2009, 7:09:54)
---------------------------------------------
Dic,

User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search

Далее, этот документ загрузи себе в корень сайта.

роботы сейчас не обращают внимания почти на мета теги
все что им нужно это роботс тхт который указывает ПУТЬ поисковому боту(что ему индексировать, а что нет) и конечноже сайтмап

С помощью файла Sitemap веб-мастеры могут сообщать поисковым системам о веб-страницах, которые доступны для сканирования. Файл Sitemap представляет собой XML-файл, в котором перечислены URL-адреса веб-сайта в сочетании с метаданными, связанными с каждым URL-адресом (дата его последнего изменения; частота изменений; его приоритетность на уровне сайта), чтобы поисковые системы могли более грамотно сканировать этот сайт.

штмл сайтмапы тоже применяются в связи тупости некоторых ботов

заметка: бот гугла не всегда распознает пробелы в сайтмапе
тоесть если в назвнии файла(страницы) имеются пробелы то гугл скажет вам "эммм....да пошол ты"..
в то время как яндекс это скушает

ссылка вида .../мой файл должны быть такая ../мой20%файл
тогда гугл не ругается

20% я не уверен что это правильно обозначение)