42
16. Вынос java-script и css в отдельные файлы. Все современные веб-
сайты используют Java-script и каскадные таблицы стилей для удобства пред-
ставления информации в документах. В результате этого объем HTML-кода
может значительно увеличиваться. Для уменьшения размера документов, ин-
дексируемых поисковым роботом, java-script и каскадные таблицы стилей
необходимо выносить в отдельные файлы [20]. Этот можно сделать, включив
в HTML-код строки:
<link href="style.css" rel="stylesheet" type="text/css">
<script language–’JavaScript” src ”index.js"><script>
17. Главное зеркало для поисковых систем. Домен с префиксом
‘www’ (http://www.site.ru и без (http://site.ru) могут быть разными веб-сайтами
для поисковых систем. При проектировании веб-сайта следует указывать
главное зеркало, используя файлы ‘robots.txt’ и ‘htaccess’ для того, чтобы ро-
бот, определяющий зеркала сайтов, сделал это правильно. Так как «апдейты»
робота-зеркальщика происходят крайне редко, неправильное определение
главного зеркала приводит к длительным проблемам в индексации. В этом
случае могут быть два варианта:
определено главное зеркало (к примеру, вместо http://www.site.ru
веб-сайт индексируется как http://site.ru;
проиндексированы и участвуют в поиске оба варианта
http://www.site.ru и http://site.ru.
Второй вариант гораздо хуже, т.к. все внешние факторы учитываются
для каждого в отдельности. Пользователи, ссылаясь на веб-сайт, ставят ссыл-
ки вида как http://www.site.ru так и http://site.ru. В результате релевантность
распределяется между двумя веб-сайтами, и позиции в результатах поиска
ниже, чем они должны быть. Для корректного указания главного зеркала по-
исковому роботу необходимо прописать следующее.
В файле ‘robots.txt’:
User–agent: *
43
Disallow: /admin
…
Disallow: /print
Host: www.site.ru
Директива ‘Host’ должна идти после директив ‘Disallow’. Между последним
‘Disallow’ и ‘Host’ не должно быть пустых строк.
В файле ‘.htaccess’:
Options +FollowSymLinks
RewriteEngine on
RewriteCond %{I1TTP_H0ST} ^site.ru
RewriteRule (.*) http://www.site.ru/$l [R=301,L]
Теперь роботу – зеркальщику указано главное зеркало как www.site.ru,
а также при наборе адресов вида: http://site.ru/news/page1
http://www.site.ru/news/page2
будет осуществляться редирект (перенаправление) на документы главного
зеркала:
http://www.site.ru/news/pagel
http://www.site.ru/news/page2
Внешние факторы поисковой оптимизации.
Группа содержит факторы, влияющие на вторую составляющую реле-
вантности – учет анкоров внешних ссылок, которые находятся на других ре-
сурсах.
К примеру, http://site.ru и http://subdomain.site.ru – различные веб-сайты
для поисковых систем. Соответственно, ссылка с первого на второй будет
считаться для http://subdomain.site.ru внешней, а анкор ссылки будет учиты-
ваться при расчете релевантности.
«Донором» именуется документ, который содержит ссылку на другой
домен; «акцептором» ─ веб-сайт, на который ведет ссылка. Не все ссылки
44
учитываются. Яндекс «понимает» HTML-тег <noindex>, который означает,
что часть документа, обрамленную между
<noindex>
Текст, изображения, ссылки
</noindex>
индексировать запрещено. Соответственно, ссылки, заключенные в этот тег,
не индексируются и не учитываются при расчете релевантности.
Текст ссылки – анкор (от англ, «anchor» – якорь), к примеру, в HTML–
коде:
<а href=http://www.site.ru>Be6–caйт</a>
анкором будет слово «веб-сайт». Это то слово, кликнув мышью по которому,
можно осуществить переход на другую страницу. Все внешние ссылки веб-
сайта в сумме именуются «анкор-листом».
Яндекс и Google в формуле расчета релевантности применяют модель
ссылочного ранжирования, в которой анкор ссылки существенно оказывает
влияние на релевантность акцептора. Донор, который поместил на своей
странице ссылку вида:
<а href=http://www.site.ru>образование</a>
увеличивает уровень релевантности донора http://www.edu.ru по запросу
«образование».
Из-за того, что веб–мастера активно размещают ссылки для повыше-
ния релевантности, поисковым системам приходится постоянно совершен-
ствовать алгоритмы учета ссылок. Они стараются принимать во внимание
только «естественные» ссылки, а искусственные ссылки игнорировать.
Итак, что собой представляет естественная ссылка? Для примера возь-
мем форум или гостевую книгу. Там пользователи общаются: а именно об-
мениваются информацией, задают вопросы и получают соответствующие от-
веты. Для удобства в ответы помещаются, перенаправляющие пользователей
на сторонний ресурс (внешние ссылки), где находится полезная информация
45
по определенной тематике. При этом пользователь, написавший ссылку, не
задумывается над тем, какой анкор поставить. Анкор может быть представ-
лен в форме URI–адреса, а может содержать любые произвольные слова:
Информацию по вопросу смотри здесь http;//www.site.ru/otvety/otvet25.html
Ответ по своему вопросу найдешь здесь.
Более подробно прочитаешь на сайте.
Кроме того ссылки указывают не только на главную, но и на всевоз-
можные страницы донора, а число может измеряться десятками и сотнями.
Рассматриваемый веб-сайт http://www.auto.ru прочно занимает одно из пер-
вых мест в результатах поиска Яндекс и Google по слову «машины». Если
выбрать все ссылки, содержащие «машины», можно установить ряд законо-
мерностей. Во–первых, словоформы ключевого слова могут различаться (па-
дежи, числа). Используется разный регистр как первой буквы, так и всего
слова (встречается написание слова полностью прописными буквами). Во–
вторых, ссылка на донор указана в двух вариантах: http://www.auto.ru и
http://auto.ru.
Чаще всего, естественные ссылки формируются в момент создания
страницы и остаются на ней навсегда. Правильнее сказать, в пределах доме-
на, поскольку добавление новых сообщении на форуме, приводит к переме-
щению текста, содержащего ссылки, на вторую, третью и последующие т.д.
страницы форума.
В данный момент времени распространение находят биржи купли–
продажи ссылок, в которых на уже созданных страницах, основное текстовое
содержание которых меняется крайне редко или вообще не меняются. По-
добного рода ссылки располагаются в блоках, а за их размещение необходи-
мо платить посуточно. Следовательно, через некоторое время содержание та-
ких блоков меняется в отличие от остального содержания страницы–донора.
Ссылки, полученные посредством такой биржи, распознаются поиско-
выми системами, в результате чего их влияние на релевантность понижается.
46
Наибольшей популярность отличается биржа Sape (http://sape.ru), кото-
рая работает с 2005 года, на протяжение почти 15 лет можно существенно
повысить релевантность по необходимым запросам.
Даже естественная ссылка не мгновенно повышает релевантность по-
сле попадания в базу поисковой системы. При этом увеличивающийся срок
нахождения ссылки в индексе поисковой системы увеличивает релевант-
ность. То есть можно отметить влияние временного фактора − в момент по-
падания в индекс поисковой системы ссылка передает 10% от максимальной
релевантности, которую она способна передать. Далее процент увеличивает-
ся, а затем наступает момент, когда ссылка «работает» на 100%, хотя, разу-
меется, точный график передачи релевантности ссылки отсутствует, но логи-
ка именно такая.
Поисковые системы могут по анкор-листу запросто распознать сайты,
где веб-мастера пытаются искусственно повысить релевантность с помощью
внешних ссылок.
Распознается это, во-первых, по той причине, что все доноры ссылают-
ся на одну или несколько страниц веб-сайта, т.е. веб-сайт содержит, к приме-
ру, 1000 страниц, а доноры ссылаются всего на 5. При ситуации с естествен-
ными ссылками такое не представляется возможным.
Во-вторых, если рассматривать анкор–лист для отдельных страниц веб-
сайта, т.е. выбрать все ссылки доноров, где акцептором будет являться одна
страница, можно обнаружить ключевые слова, с помощью которых осу-
ществляются попытки повысить релевантность. В данном примере веб-
мастер пытался влиять на релевантность запросов «свадебные платья оптом»
и «вечерние платья оптом». Существует некий порог вхождений ключевых
слов в анкор-лист, веб-сайтам, превысившим этот порог, резко понижается
релевантность по этим ключевым словам. Такой порог равен порядка 30%.
Заметим, что данный порог был запущен в Яндекс в конце 2009 года и
действовал по принципам «амнистии», это подчеркивает тот факт, что в мо-
47
мент ввода такого алгоритма учета ссылок в анкор-листе присутствующих в
базе поисковой системе веб-сайтов такое нововведение не коснулось. Хотя в
будущем при изменении анкор-листов этих веб-сайтов, релевантность их за-
просам при превышении порога крайне серьезно была снижена.
Процесс определения превышения порога крайне просто. В случае, ес-
ли определенные позиции по некоторым запросам изменились очень значи-
тельно (допусти, от 5 к 58, т.е. на 20 пунктов и более) при обновлении поис-
ковой базы Яндекс, и в течение последующих обновлений поисковой базы
позиции не возвращаются, скорее всего, вы столкнулись с превышением по-
рога. Важное замечание: позиции смещаются вниз не по всем запросам, а по
тем словам, с анкорами в виде которых размещались ссылки.
Важным фактором выступает динамика изменения количества ссылок в
анкор–листе. Классическая ситуация при «раскрутке» (рост релевантности
по необходимым запросам) – размещение веб-мастером ссылок в нужном ко-
личестве. Анкор-лист веб-сайта с естественными ссылками пополняется ре-
гулярно и постепенно, т.е. без резких скачков. При использовании искус-
ственного метода накрутки за короткий промежуток времени в анкор-листе
скапливается много ссылок, и такая ситуация при этом ранее не была харак-
терна для данного сайта. Т.к. ссылки такого веб-сайта, как правило, покупа-
ются с ежемесячной оплатой, то при исчезновении необходимости высоких
позиций в результатах поиска по нужным ключевым словам (поскольку за-
казчик отказался от раскрутки) все ссылки исчезают с такой же скоростью,
как и появились. Логично, что в истории данного сайта для поисковой систе-
мы это не останется незамеченным. При существенных и резких изменениях
в анкор-листе (на данный момент замечено только при росте количества ссы-
лок) поисковые системы также понижают релевантность, но уже всем любым
запросам. Но не редки случаи, когда подобный алгоритм задействован для
нанесения вреда веб-сайту кокурента.
48
Каждый веб-сайт характеризуется своим порогом прироста. Чаще он
находится в зависимости от возраста сайта и количества уже имеющихся
ссылок в анкор-листе. При новом домене в процессе размещении ссылок со-
блюдать правило: первые три месяца после индексации веб-сайта поисковой
системой – размещать не более 100 ссылок в месяц. После четвертого месяца
– размещать в количестве до 30% от уже проиндексированных ссылок. А вот
старым веб-сайтам с большим количеством ссылок в анкор–листе, в отличии
от «молодых», навредить практически невозможно.
Таким образом, можно представить внешние факторы поисковой опти-
мизации и их важность, определенные по методу экспертных оценок, в таб-
лице 2.2.
Таблица 2.2 – Важность внешних факторов
Фактор
Оценка
1. Анкор (разнообразие, естественность)
1.0
2, Качество донора
0.9
3. Разнообразие анкор–листа (порог по ключевым словам)
1.0
4. Динамика изменения анкор–листа (порог по приросту)
1.0
Уровень доверия к веб-сайту принято называть траст веб-сайта. С 2009
года он используется в формуле расчета релевантности Яндекс и Google. До
этого момента для определения релевантности использовали только внутрен-
ние и внешние факторы. Часть веб-сайтов может опередить прочие по реле-
вантности только лишь при упоминании ключевого слова на странице. Яркий
пример – Википедия, ссылки на её страницы можно встретить во множестве
результатов поиска в Яндекс и Google, что демонстрирует запредельный уро-
вень доверия со стороны поисковых систем.
Так как факторы указанной группы не могут быть исследованы долж-
ным образом, поскольку полный алгоритм расчета этого показателя знают
49
только разработчики поисковых систем, то информация о них формируется
на предположениях и личном опыте экспертов.
«Ассесоры» (это их название в Яндекс) выбирают наиболее качествен-
ные веб-сайты и вручную формируют перечень, содержащий сайты с
наивысшим уровнем доверия. После чего внешние ссылки этих трастовых
веб-сайтов подвергаются анализу, что позволяет рассчитать траст для всех
остальных веб-сайтов, известных поисковой системе.
Со временем значение траста может меняться как в положительную,
так и в отрицательную сторону. Так, сайт становится не релевантен сразу по
любым запросам в результате быстрого прироста внешних ссылок, что по-
нижает траст веб-сайта.
Также траст может понизиться в связи с подозрениями в продаже ссы-
лок со страниц веб-сайта.
1. Например, посредством бирж – алгоритм для поиска таких ссылок
описан во внешних факторах (общее количество внешних ссылок на сайте-
доноре регулярно меняется).
2. Содержание веб-сайта характеризуется большим количеством не-
тематических ссылок.
Траст может понижаться и при недостаточном уровне уникальности
текста.
На траст кроме того может влиять и доменная зона. Допустим, веб-
сайты в зоне .gov или .edu больше располагают к доверию, чем в зоне .info,
поскольку первые зарегистрировать могут только определенные категории
пользователей, в то время, как вторы доступны каждому желающему. С по-
ложительной стороны на траст оказывает влияние и срок существования до-
мена, а именно время нахождения в поисковой системе. Однако, такое влия-
ние длишь косвенно, так как для того, что бы новый веб-сайт занял высокое
место в результатах поиска, иногда требуется больше времени по причинам,
внешних факторов, например: «скорость прироста внешних ссылок».
50
Доверие со стороны поисковых систем может быть повышено с помо-
щью размещения в определенных каталогах. Так, для Яндекс – это Ян-
декс.Каталог (http://yaca.yandex.ru), для Google – DMOZ (http://dmoz.org). До
внедрения алгоритма «Снежинск» добавление веб-сайта в Яндекс–каталог
почти мгновенно повышало релевантность веб-сайта по всем запросам в Ян-
декс.
Таблица 2.3 – Факторы, влияющие на доверие к сайту поисковой системы
Фактор
Оценка
1. Траст
1.0
2. Возраст домена
0.7
3. Наличие в Яндекс–каталог
0.5
4. Наличие в каталоге DMOZ
0.5
Несмотря на то, что факторы, влияющие на траст, трудно охарактери-
зовать в количественной форме, выполнение всех условий, описанных в раз-
делах внутренние и внешние факторы, с течением времени повышает траст
веб-сайта, основываясь на представлении формулы текстовой релевантности,
используемой в Яндекс, а также критериев поисковой оптимизации.
Выводы по главе 2
1. Исследованы факторы поисковой оптимизации, позволяющие повы-
шать релевантность документов запросам пользователей в поисковых
системах.
2. Определены факторы, позволяющие рассчитывать общую релевант-
ность документа запросам пользователей.
3. Показано, что при оптимизации веб-сайтов в российском сегменте сети
интернет необходимо учитывать: текстовую составляющую, релевант-
ность внутренних и внешних ссылок, понижающие коэффициенты за
51
искусственную накрутку релевантности, а также коэффициент уровня
доверия поисковой системы к веб-сайту.