Четверг, 06.08.2026, 07:08
[ Новые сообщения · Участники · Правила форума · Поиск · RSS ]
  • Страница 1 из 1
  • 1
Как правильно составить Robots.txt
SkKiperДата: Среда, 10.03.2010, 20:40 | Сообщение # 1
Нубский человек!
Группа: Проверенные
Сообщений: 491
Репутация: 1
Статус: Offline
Доброго времени суток! в этой статье вы узнаете как правильно и быстро составить Robots.txt для этого нужно: Создать файл в блокноте в формате .txt а назвать его Robots должно получится так: Robots.txt
Вставляем туда следующий код:
Code

User-agent: *
Disallow: /panel/
Disallow: /admin/
Disallow: /search
Host: Ссылка на сайт
Sitemap:Ваш_домен/sitemap.xml
Sitemap:Ваш_домен/sitemap-forum.xml

Это 90% правильно оформленный robots.txt

Автор: Smiley

Пс я бы еще пару страниц запретил пример: стр.регистрацие,мини профиль и там еще пару страниц но так не плохо сделано =)


Explorer - это такая программа, с помощью которой можно зайти на сайт http://mozilla-russia.org/ и скачать браузер....

Сообщение отредактировал SkKiper - Среда, 10.03.2010, 20:40
 
iBlueДата: Среда, 10.03.2010, 20:48 | Сообщение # 2
Генерал-майор
Группа: Друзья
Сообщений: 345
Репутация: 180
Статус: Offline
SkKiper, спасибо!Буду знать
 
ILLEGALДата: Суббота, 13.03.2010, 04:31 | Сообщение # 3
Ганжолог
Группа: Гости
Сообщений: 2253
Репутация: 1325
Статус: Offline
Quote (SkKiper)
Disallow: /search

зачем запрещать страницу с поиском?
 
SkKiperДата: Суббота, 13.03.2010, 10:24 | Сообщение # 4
Нубский человек!
Группа: Проверенные
Сообщений: 491
Репутация: 1
Статус: Offline
ILLEGAL, а зачем она?если они не могут нефига искать

Explorer - это такая программа, с помощью которой можно зайти на сайт http://mozilla-russia.org/ и скачать браузер....
 
iRelaxДата: Суббота, 13.03.2010, 10:42 | Сообщение # 5
Mr.Woot
Группа: Гости
Сообщений: 1015
Репутация: 287
Статус: Offline
ILLEGAL, для этого поиска нужно добавлять теги к материалу, а не все это делают

★ Just do it... ★
★ What fuck is this...? ★
★ Here are the best: ★

CCUMC
Dambass
Skkiper
explosiveua
Bondsport
Julia_1
 
SmertnikcsДата: Суббота, 13.03.2010, 10:57 | Сообщение # 6
Seo Blog'ger
Группа: Гости
Сообщений: 393
Репутация: 106
Статус: Offline
SkKiper, мда, думаешь никто это не умеет? + еще страница поиска важна, если ты будешь продавать ссылки с сайта. Желательно в disallow можно добавить index/8 . Так как поисковики могут проиндексировать профили пользователей, могут увидеть icq. И это дает спаммерам заспамить твою icq.

Seo Blog
Продажа статьи по оптимизаций
 
SkKiperДата: Суббота, 13.03.2010, 10:59 | Сообщение # 7
Нубский человек!
Группа: Проверенные
Сообщений: 491
Репутация: 1
Статус: Offline
Smertnikcs, я и написал что надо добавить и страницу реги,профиля

Explorer - это такая программа, с помощью которой можно зайти на сайт http://mozilla-russia.org/ и скачать браузер....
 
antiseptДата: Суббота, 13.03.2010, 11:27 | Сообщение # 8
Генерал-майор
Группа: Проверенные
Сообщений: 269
Репутация: 144
Статус: Offline
Quote (Smertnikcs)
могут увидеть icq.

Smertnikcs, хуже будет, если они увидят ссылки на сайты пользователей.


Если эта надпись уменьшается, значит твой монитор уносят :)
 
BondSportДата: Суббота, 13.03.2010, 11:33 | Сообщение # 9
★ IsuCoz ★
Группа: Проверенные
Сообщений: 1205
Репутация: 402
Статус: Offline
Quote (antisept)
Smertnikcs, хуже будет, если они увидят ссылки на сайты пользователей.

Поддерживаю , робот засчитает спамом.


Я слежу за вами.
 
sTar11Дата: Суббота, 13.03.2010, 11:58 | Сообщение # 10
Mr.GoLoVa
Группа: Гости
Сообщений: 2320
Репутация: 33
Статус: Offline
старье но спасибо

Зароботок и раскрутка

Не учи меня жить лучше помоги материально ;O
 
  • Страница 1 из 1
  • 1
Поиск: