Вторник, 15.07.2025, 15:45
Меню сайта
    Форма входа
    Категории раздела
    скрипты для ucoz сайта [3099]
    шаблоны для ucoz скачать [2660]
    Иконки групп для форума [25]
    Графика для сайта [1953]
    шаблоны psd для фотошопа [27]
    кисти для фотошопа [39]
    уроки фотошопа на русском языке [4]
    стили для фотошопа [3]
    шрифты для фотошопа cs4 [12]
    Web-master [3058]
    Поиск
    Календарь
    «  Май 2009  »
    Пн Вт Ср Чт Пт Сб Вс
        123
    45678910
    11121314151617
    18192021222324
    25262728293031
    Архив записей
    Наш опрос
    Умеете ли вы писать скрипты для ucoz?
    Всего ответов: 73
    Мини-чат
    200
    Друзья сайта
  • Официальный блог
  • Сообщество uCoz
  • FAQ по системе
  • Инструкции для uCoz
  • Статистика

    Онлайн всего: 1
    Гостей: 1
    Пользователей: 0
    Главная » 2009 » Май » 1 » Как поисковые боты индексят сайты 2
    16:39
    Как поисковые боты индексят сайты 2
    В первой части статьи рассказывалось, как сделать, чтобы бот проиндексил ваш сайт и выдавал его первым-третьим в результатах поиска.

    При этом не были затронуты некоторые моменты, на которые мы обратим внимание сейчас.

    Момент первый.

    Что делать, если ваш сайт использует фреймы?

    Есть такой известный анекдот:

    «Книга Windows для чайников. Глава первая. Надо было ставить Unix.»

    С фреймами то же самое. Замечание первое - от фреймов надо отказываться.

    Ну, например, то же меню, без которого автор жить не может, можно писать каждый раз на каждой странице, а не пихать его в отдельный файл. Впрочем, как отказаться от фреймов - это отдельный разговор, и сейчас мы его касаться не будем.

    Вообще то, я полагала, что все давно поняли, что фреймы должны уйти в прошлое, и отказались от них, однако в форуме со мной стали спорить по данному вопросу, потому я и пишу все это.

    Причин, по которым стоит отказаться от фреймов, много.

    Во-первых, традиционное использование фреймов - для вынесения меню навигации в отдельный файл, делает дизайн сайта грубым и неизящным.

    Извращения с изменением цвета, ширины и прочих характеристик полосы прокрутки не меняют положение координально, да и работают чаще всего только в одном из двух наиболее распространенных браузеров (либо под MS Internet Explorer, либо по Netscape Navigator), причем только старших версий. А как говорит корифей сайтостроительства Артемий Лебедев, если для просмотра вашего сайта пользователь должен отвечать каким-то определенным вами условиям, будь то высокая скорость соединения, определенное разрешение экрана или последняя версия конкретного браузера, то это не есть правильно. Пользователь не обязан менять привычную ему конфигурацию машины лишь для того, чтобы иметь счастье любоваться вашим творением. Это задача web-маза обеспечить корректное отображение его детища всеми или подавляющим большинством пользователей.

    Например, у меня именно по этой причине рабочие версии сайтов тестируются на IE 4.0 и NN 4.73, а не на IE 5.5 и NN 6.0. Ибо старшие братья-браузеры поймут код, написанный для младших, но не наоборот.

    Конечно, если ваш сайт сделан для кучки близких друзей, об остальных пользователях Инета можно и не беспокоиться. Но тогда на кой вам индексация сайта поисковиками?

    Вторая причина, по которой следует оказаться от использования фреймов - это нагрузка на сервер, а точнее на канал связи.

    При запросе фреймового документа серверу посылается, не один, а как минимум 3 запроса - запрос на структурный файл и запрос минимум на 2 (а то и больше) файла, которые будут размещены в структурном.

    Поскольку фреймы сейчас используются в основном на непрофессиональных сайтах, пользующихся часто услугами бесплатного (читай: глючного и/или перегруженного) хостинга, повышение количества запросов в единицу времени не в интересах владельца сайта. Например, один документ может загрузиться во фрейм, другой - нет.

    Если меню навигации расположить в каждом файле, это увеличит вес каждого файла на 2 кб, а если вынести меню навигации в отдельный файл, его размер (вместе со служебной информацией, тегами

    Code
    <html><head><title>title</title></head><body bgcolor="#ffffff"> и т.д.) будет не 2 кб, а, скажем, 5 кб.

    Итого, по сети будет литься, на один файл размером 10 кб, а 3 файла, размером, например, 3 кб (структурный), 5 кб (меню) и 8 кб (основная инфа).

    Ну, и наконец, причина третья, побуждающая отказаться от фреймов -

    поисковые боты не любят фреймы всеми фибрами своей ботовской души.

    Разберем, почему бот не любит фреймы.

    Предположим, бот зашел на фреймовый документ:

    Code
    <html>
    <head>
    <title>Самый классный сайт в Инете по компьютерным играм</title>
    <meta name="description" content="Лучшие компьютерные игры">
    <meta name="keywords" content="игры, компьютер, игра, компьютерные игры, лучшие игры">
    <meta name="Robots" content="index, follow">
    </head>

    <frameset rows="30%,*">
    <frame src="menu.html">
    <frame src="body.html">
    </frameset>
    </html>

    Из всего выше написанного бот прочтет title, понюхает остальное, не увидит там для себя ничего интересного (ибо то, что в description и keywords он давно уже не учитывает при индексации), обидится и возможно уйдет по follow на menu.html и body.html. Повторяю - возможно! А возможно и нет.

    Главное, что бот пометит для себя, что данный ресурс состоит только из title'a и потому никакого интереса не представляет!

    А если вы пропишите:

    <meta name="revisit-after" content="20 days">

    его уверенность может еще больше укрепиться.

    Предположим лучшее - приходит бот на menu.html и видит:

    Code
    <textarea cols=50 rows=14>
    <html>
    <head>
    <title>Лучшие компьютерные игры </title>
    <meta name="description" content=" Самый классный сайт в Инете по компьютерным играм">
    <meta name="keywords" content="игры, компьютер, игра, компьютерные игры, лучшие игры">
    <meta name="Robots" content="index, follow">
    </head>
    <body>
    <a href="body1.html">Игра 1</a>
    <a href="body2.html">Игра 2</a>
    <a href="body3.html">Игра 3</a>
    </body>
    </html>

    Опять-таки, кроме title'a и слов Игра 1, Игра 2, Игра 3, ничто не греет ботовскую душу. А запихнуть в ссылки более подробное описание может не позволить желание не использовать скроллинг.

    Что сделает бот? Возможно (!), пойдет на body1.html, body2.html и body3.html, отметив для себя, что и этот документ особого интереса не представляет.

    Дальше, приходит бот на body.html или body1.html (body2.html, body3.html) и наконец видит, что документ чего-то стоит! Текст есть, хотя бы немножко (а для Яндекса это важно), слова, имеющиеся в title, встречаются и в body (повышается релевантность). Ну, и представьте себе, из всех пройденных документов бот возьмет и проиндексит только body[1-3].html.

    Как вам такое? Не встречалось ни разу? А мне так попадалось.

    Найдется документ по запросу, придет на него пользователь и решит, что больше тут ничего нет (ни меню, ни ссылок). Не каждый же догадается в location стереть body.html и набрать index.html. А даже если и догадается, уважение и доверие к инфе на сайте потеряно, ибо сайт слеплен непрофессионально.

    Можно, конечно, поставить скриптину:

    Code
    <script type="text/javascript" language="JavaScript">
    <!--
    function only_frame(){
    if(self.parent.frames.length==0){
    self.location.href='index.html';
    }
    }
    //-->
    </script>
    </head>
    <body onLoad="javascript:only_frames()">

    Скриптинка определит, открыт ли документ во фрейме, и если не - загрузит структурный документ.

    И все же это не лучший способ.

    Скриптину надо пихать в каждый документ, что увеличивает его размер. Либо в каждый документ пихать ссылку на эту скриптину, что повышает нагрузку на сервак (на канал связи), особенно, если в документ грузятся и другие скрипты. Кроме того, скриптина может не подгрузится, и пользователю выдастся ошибка. А это не редкий случай при плохой связи.

    Другая проблема того, что бот проиндексил только файлы с текстом, проигнорировав структурный файл и файл с меню.

    Пользователь пошел по ссылке, которую ему дал поисковик, на body3.html, а его перекинуло на index.html, и в индексе прописано, что в основное окошечко должен грузиться body.html, а не body3.html. Получается, что пользователь пошел почитать про Игру 1, а его перекинуло на Игру 2, которая ему вовсе не интересна. Это не хорошо само по себе, и может отпугнуть пользователя с другой стороны.

    Вас никогда не раздражало, что вы кликаете на найденном поисковиком документе, а попадаете совсем не туда, куда бы хотели? Вот и других так же.

    Итак, фреймы - это некрасиво, нерационально и непривлекательно для бота.

    Но если все-таки я не убедила вас не использовать фреймы, открою маленький секрет, впрочем, давно известный.

    Боты очень любят то, что находится между тегами <noframe></noframe>.

    Итого, если вы не смогли заставить себя отказаться от фреймов, приманить бота можно так:

    Code
    <frameset rows="30%,*">
    <frame src="menu.html">
    <frame src="body.html">
    </frameset>
    <noframe>
    <h1>Ключевые слова</h1>
    <a href="body1.html"><img src="однопиксельный_прозрачный_гиф" alt="Ключевые слова"></a>
    <a href="body2.html"><img src="однопиксельный_прозрачный_гиф" alt="Ключевые слова"></a>
    <a href="body3.html"><img src="однопиксельный_прозрачный_гиф" alt="Ключевые слова"></a>
    </noframe>
    </html>

    Бот проиндексит title, <h1>, alt и точно пройдет по ссылкам.

    Момент второй.

    Что делать, если линки даны скриптами?

    Предположим, у вас есть такая конструкция:

    Code
    <a href="javascript:self.open('http://www.document.html','target',properties)">текст линка</a>

    Если вероятность того, что бот пройдет по ссылкам в структурном фреймовом файле (<frame src="url">)достаточно велика, то ссылки, загнанные в скрипты бот совсем не понимает.

    А между тем popup'ы достаточно частый случай и многие авторы желают, чтобы эти документы были проиндектированы.

    Как ни парадоксально, особенно любят делать линки с помощью JS те авторы, которые используют фреймы. :)) Ибо JS позволяет по одному клику загрузить два (и более) разных документа в разные окошки фреймов.

    Примерно так:

    Code
    <script type="text/javascript" language="JavaScript">
    <!--
    function open_link(){
    self.parent.frames[0].location.href='document1.html';
    self.parent.frames[1].location.href='document2.html';
    }
    //-->
    </head>
    <body>
    <a href="javascript:open_link()">линк</a>

    Если не предпринять мер, то бот вряд ли когда-нибудь доберется до этих документов.

    Ну, меры в данном случае простые и вы о них уже наверняка догадались - нужно дать альтернативную простую ссылку. Проще это сделать однопиксельным прозрачным гифом в неприметном месте сайта, либо использовать конструкции, описанные в первой части настоящей статьи (цвет ссылок одинаковый с цветом текста, свойства hide и hidden DHTML и т.д.).

    Момент три.

    Если на сайте используется редирект (перенаправление).

    Нередко авторы делают редирект с одной страницы сайта на другую. Например, тот же Мелкософт, редиректнет вас с http://www.microsoft.com
    на, скажем, http://www.microsoft.com/rus/.

    Чаще всего, редирект делается с индексных страниц на новостные, либо на зеркало сайта, расположенное на другом, более работоспособном домене (скажем, когда сайт переезжает). Так сделано у Батвы ( попробуйте набрать http://www.batva.f2s.com ).

    Правда, в обоих случаях (и у Батвы, и у Мелкософта), редирект сделан не так, как я буду описывать ниже. smile

    Используя только конструкции, исполняемые на стороне клиента (скажем, исполнение на стороне сервера вам недоступно, или вы не умеете этого делать), можно сделать редирект двумя способами.

    Первый способ - java-скриптом, как описывалось выше.

    Code
    <body onLoad="javascript:self.location.href='drugoy_doc.html'">

    Полагаю, не надо повторять, что бот не идет по таким ссылкам. Чтобы он прошел, нужно делать альтернативную простую ссылку в теле документа.

    Следует сказать, Яндекс грозится, что распознает редирект, созданный java-скриптом и банит такой документ, но если честно, то я этого не замечала. Впрочем, может, у кого-то есть другой опыт.

    Второй способ - редирект с помощью директивы refresh тега meta.

    Примерно так:

    Quote
    <head>
    <meta http-equiv="refresh" content="число секунд" url="drugoy_doc.html">

    Если задать число секунд равным 0, редирект произойдет практически мгновенно. Но! В этом же случае бот сочтет себя оскорбленным и скорее всего не пойдет по этой ссылке! Он даже может добавить такой документ в черный список.

    А потому, такую конструкцию лучше не использовать. Если же вы все-таки ее используете, то документ, с которого делается редирект, должен иметь информативный body (чтобы боту было стыдно его банить), там же должны быть традиционным образом продублированы важные ссылки.

    Кстати, по причине нелюбви ботов к редиректам, многие авторы делают его не автоматом, а в тексте, примерно так: «Документ переехал. Нажмите сюда»

    Вот, вроде, и все.

    Категория: Web-master | Просмотров: 559 | Добавил: softkey | Теги: рэкамендацыйны, светобумага | Рейтинг: 5.0/1
    Всего комментариев: 7
    7 berg1328  
    0
    бугага ни чего не понял куда пихать я тупой

    6 steame  
    0
    спс

    5 dazer  
    0
    ухахахаахахахах softkey ты такой смешной какие у тебя там авторские права не смеши меня ты что зарегил потент платишь нужной конторе каждый месяц за скрипт или зашитую тобой статью gg читай АВТОРСКИЕ ПРАВА!

    4 softkey  
    0
    А если статья чуть изменена это за что считается ?

    2 softkey  
    0
    При создании книги обязательно ссылку на сайт http://crocuz.ucoz.ru
    Это моя статья написана мною!
    Ты несешь Авторское право

    3 Bogdan4eg  
    1
    Многоуважаемый softkey! Прошу отнестись к этому сообщению серьезно и с пониманием. Запомни, что "источник" - это автор и создатель чего-либо. Это может быть либо просто имя автора, либо если у него есть сайт, то ссылка на сайт. Если-же ты скопировал выше написанный материал на свой ресурс и не указал автора, то никто не обязан ставить ссылку на твой ресурс как на источник, поскольку он им не является. Да, ты указал автора. Это http://ru-board.com/ и также ты указал ссылку на свой ресурс. Ссылка http://ru-board.com/ являлась источником, а твоя ссылка не чем иным как просто рекламой и спамом. И тут ты неожиданно заявляешь чтобы твою ссылку (не источник) указывали в обязательном порядке. Это наглость и не уважение к автору высшей степени.
    Знаю по себе как это не приятно когда в твоем скрипте (шаблоне и т.п. )указывают левый источник.

    1 Daniil  
    1
    Статья интересная!!! cool
    Много узнал для себя biggrin
    Нужно включить в книгу!!! happy happy happy

    Добавлять комментарии могут только зарегистрированные пользователи.
    [ Регистрация | Вход ]