2
1.2 Поисковые системы Рунет ........................................................................ 15
1.3 Яндекс.......................................................................................................... 16
1.4 Google .......................................................................................................... 25
Выводы по главе 1 ............................................................................................. 26
Глава 2. Определение факторов, участвующих в формуле
ранжирования .................................................................................................. ..27
2.1 Группы факторов, влияющих на релевантность . ……………………....27
2.2 Определение факторов, участвующих в формуле ранжирования,
методом экспертных оценок ............................................................................ 28
Выводы по главе 2 ............................................................................................. 49
Глава 3. Подходы к повышению эффективности интернет-сайта
предприятия ОАО «ЭЛТЕЗА» ......................................................................... 50
3.1 Рекомендации по повышению эффективности веб-сайта .................... 50
3.2 Мероприятия по повышению эффективности веб-сайта
ОАО «Элтеза» .................................................................................................... 53
Выводы по главе 3 ............................................................................................. 60
Заключение ........................................................................................................ 61
Список литературы ........................................................................................... 65
Приложение ....................................................................................................... 71
ВВЕДЕНИЕ
Приступая к исследованию темы «Методы поисковой оптимизации
веб-сайтов в российском сегменте сети Интернет» следует обратить особен-
3
ное внимание на то, что изучение и анализ данной темы, наиболее наглядно
может быть представлен на примере конкретного сайта компании, действу-
ющей в российском сегменте Интернета (Рунете).
Необходимость привлечения примера актуализируется еще и тем, что
сами по себе методы поисковой оптимизации веб-сайтов компании делаю не
с абстрактными, а вполне конкретными целями, являющимися ответами на
запросы потребителей. Такими потребителями являются коммерческие объ-
екты (предприятия, организации, фирмы), которые представляют из себя
сложную, динамичную и управляемую систему.
При этом системой называется некоторая упорядоченная и взаимодей-
ствующая, как во внутренней среде, так и со внешним миром, совокупность
элементов всевозможного рода, а также различных значений и частей. Они
объединены в единое цело и работают прежде всего для того, что бы органи-
зация достигла определенных целей. Веб-сайт организации является важным
элементом информационной системы предприятия (организации).
Поэтому, вопрос повышения его эффективности следует исследовать
именно в увязке его с другими элементами системы коммерческого объекта.
Целью работы является повышение эффективности сайта ОАО «Элте-
за» методом поисковой оптимизации веб-сайта в российском сегменте сети
Интернет.
Реализация поставленной цели может быть достигнута посредством
решения ряда задач:
1. Изучить веб-сайт как важный элемент системы информационного
обеспечения компании.
2. Рассмотреть особенности оптимизации веб-сайта компании за
счет применения методов поисковой оптимизации.
3. Исследовать состав, структуру, особенности и управление ин-
формационной системы компании.
4
4. Исследовать методики и методологии совершенствования веб-
сайта компании.
5. Проанализировать и оценить веб-сайт как часть информационной
системы ОАО «Элтеза».
6. Определить направления развития эффективности веб-сайта ком-
пании ОАО «Элтеза».
7. Разработать рекомендации по развитию эффективности веб-сайта
предприятия ОАО «Элтеза».
Объектом исследования в работе является – методы поисковой опти-
мизации веб-сайтов в Рунете.
Предмет исследования – оптимизация веб-сайта компании на основа-
нии методов поисковой оптимизации.
Степень научной исследованности вопроса. В данный момент про-
блематика информационного обеспечения и управления информационными
системами современных организаций довольно актуальна. Представлено
большое количество литературы, посвященное вопросу влияния потоков ин-
формации на управление и работу компаний в целом, оптимизации использо-
вания информационных потоков, разработки и функционирования интернет-
сайтов компании, как элементов информационной системы организации, по-
вышения их эффективности и т.д.
При этом на практике данный вопрос организации информационных
систем в целом и интернет-сайтов в частности разработан не в полной мере.
Именно по этой причине каждое новое исследование в указанной области
существенно влияет на расширение теоретической и эмпирической информа-
ционной базы этого направления науки.
Теоретическую информационную базу исследования составили оте-
чественные и иностранные работы по вопросу организации и функциониро-
вания информационных систем управления в целом и интернет-сайтов ком-
паний в частности.
5
Практической базой исследования послужили веб-сайт предприятия
ОАО «Элтеза», материалы первичного аналитического и статистического
учёта организации ОАО «Элтеза».
В силу того, что результаты работы могут быть применены в препода-
вании основ управления информационными системами организации, а также
для разработки обоснования и создания веб-сайтов, данное исследование от-
личается высоким уровнем теоретической и практической значимости.
Теоретическая новизна и практическая значимость работы опреде-
ляется тем, что данная тема рассматривается с позиции потребностей в дан-
ной оптимизации заказчика, а не исполнителя данных работ.
В исследовании уделено существенное внимание определению и диа-
гностике потребностей заказчика в оптимизации своего веб-сайта.
Данная работа непременно должна предшествовать непосредственной
работе по оптимизации веб-сайта компании–заказчика. Поскольку только
ориентируясь на полученные данные можно точно определить необходимые
и достаточные методы поисковой оптимизации, необходимые при оптимиза-
ции конкретного веб-сайта, конкретной компании. [61]
Основные положения, выносимые на защиту.
1. Полученные итоги проведенного анализа современных поисковых си-
стем, иллюстрирующие устройство и общую схему работы поисковых
систем.
2. Метод поисковой оптимизации, обеспечивающий высокие показатели
релевантности в выдаче поисковыми системами.
3. Методика поисковой оптимизации веб-сайта ОАО «Элтеза», обеспечи-
вающая обращения новых клиентов в компанию.
Структура работы: магистерская диссертация включает в себя введе-
ние, три главы, заключение, список использованной литературы и приложе-
ния.
6
В первой главе рассматриваются теоретические аспекты исследуемой
темы с точки зрения поисковых систем.
Вторая глава посвящена Определению факторов, участвующих в фор-
муле ранжирования
Третья глава посвящена выявлению направлений и рекомендаций по
развитию интернет-сайта компании ОАО «Элтеза».
В заключении формулируются основные рекомендации и выводы.
Глава 1. Обзор и анализ поисковых систем российского сегмен-
та сети Интернет
1.1 Понятие, характеристики и устройство поисковой системы
7
Поисковая система [31] – это программно-аппаратный комплекс, про-
изводящий поиск в сети Интернет, который реагирует на сформулированный
в виде определенной текстовой фразы запрос пользователя и выдает упоря-
доченный по релевантности список ссылок на документы. Максимально
быстрая подача запрашиваемой пользователем информации – главная задача
абсолютно каждой поисковой задачи.
Среди базовых характеристик поисковых системы можно выделить
следующие:
1. Полнота.
Полнота – это соотношение документов, полученных через поисковую
систему, к общей массе документов в Интернете релевантных запросу. Пол-
нота представляет собой одну из важнейших характеристик. Приведем
наглядный пример: если предположить, что сочетание «российское образо-
вание» встречается 1000 раз в документах сети Интернет, а поисковый запрос
выдает всего 700 документов, а таком случае полнота поиска равна 0.7. Важ-
но заметить, что больший коэффициент полноты повышает шансы получить
запрашиваемый результат, если, конечно, такой документ имеется в системе
[23].
2. Точность.
Точность – следующая важная характеристика поисковой системы. Она
описывает, на сколько найденные пользователем документы соответствуют
его первоначальному запросу. Если предположить, что запрашиваемая фраза
«российское образование» приводит к 1000 результатам, но только 500 из
них содержат в себе именно фразу «российское образование», а оставшиеся
500 – «российская наука и дошкольное образование», в этом случае точность
составит 0.5. Логично, что более точный поиск поможет как можно быстрее
найти необходимые документы.
3. Актуальность.
8
Актуальность – следующая характеристика поисковой системы, кото-
рая показывает промежуток времени, который проходит от начала публика-
ции информации в виде документа в сети Интернет до размещения этой ин-
формации в поисковой базе. Как правило, поисковые системы имеется две
базы: основную и т.н. «быструю», обновляющуюся на регулярной основе и
имеющую меньший размер относительно основной. Также данные, содержа-
щиеся в ней, примерно 1–2 раза в неделю переходят в основную базу. Если
предположить, что пользователи решили найти через поисковую систему но-
вость о каком-либо законопроекте, так как до этого на большом количестве
Интернет-ресурсов появилась новость с соответствующей информацией. В
этом случае поисковая система смогла предоставить пользователю реле-
вантную информацию, поскольку документы с новостью были расположены
в «быстрой» базе.
4. Скорость поиска.
Скорость поиска напрямую связана с тем, насколько поисковая система
подвержена нагрузкам и устойчива к ним. Например, такая поисковая систе-
ма, как Яндекс регулярно получает миллионы запросов. Это требует, что бы
обработка одного запроса происходила максимально оперативно, поскольку
каждый пользователь желает получить искомую информацию как можно
быстрее, поисковой же системе необходимо дать точный ответ и перейти к
обработке следующего запроса.
5. Наглядность.
Наглядность представленной информации, прежде всего, влияет на
удобство восприятия. Чаще всего, пользователь может самостоятельно подо-
брать индивидуальные настройки, удобные именно ему. Однако, затруднять
восприятие результатов могут реклама, новости и прочие дополнительные
сервисы.
9
Далее перейдем к устройству поисковой системы, каждая из которых
характеризуется индивидуальной архитектурой, но при этом всех их объеди-
няет ряд идентичных компонентов.
Паук – программа, которая необходима для поиска новой информации
в сети Интернет. Данная программа получает нужный документ и соответ-
ствующую служебную информацию посредством направления запроса на
сервер, где находится веб-сайт. По гиперссылкам, которые расположены в
документе, отправляются аналогичные запросы, т.е. программа-паук аккуму-
лирует информацию обо всех документах, расположенных в сети, путем пе-
ренаправления по гиперссылкам. Кроме того, формирование расписания для
исследования изменений в ранее найденных документов также включены в
функции паука. Расписание для каждого веб-ресурса создается в индивиду-
альном порядке – при этом частота возврата паука зависит от того, с какой
регулярностью на веб-сайте появляются новые документы, отличающиеся
уникальностью, а также как часто информация с данного ресурса цитируется
в сети Интернет (т.е. когда появляются гиперссылки на его документы).
За сохранение документов, которые обнаружил паук, отвечает робот-
индексатор. Он формирует запрос на получение содержимого файла
robots.txt, если он имеется в корневой директории веб-сайта, перед отправкой
запроса на сервер. Robots.txt представляет собой файл для ограничения до-
ступа роботам к содержимому веб-сайта.
В настоящее время большая часть поисковых систем используют дан-
ную технологию, хотя предусмотрен стандарт исключений для роботов и их
использование осуществляется на добровольной основе. Когда скачивание
документа разрешено робот-индексатор формирует обратный (инвертиро-
ванный) файл, после чего сохраняет его в базе данных. Такой файл не что
иное, как структура из двух частей. Первая ─ это список, включающий вес
слова, найденного во всех документах, вторая ─ указатели на все места в до-
кументах, в которых содержится каждое слово.
10
В будущем данная структура, называемая индексом поисковой систе-
мы, помогает поиску при запросе пользователя к поисковой системе. «Быст-
рая» база» также имеет подобную структуру, индексированием документов
для этой базы занимается «быстроробот». Чаще всего, в нее входят докумен-
ты с новостями, блогами, а также документы тех веб-сайтов, которые попол-
няют каждый день. Важно заметить, что документы, сохраненные роботом-
индексатором в основной базе, не попадают мгновенно в результат поиска,
это отличает их от документов в быстрой базе. Обычно поисковая база об-
новляется примерно 1–2 раза в неделю.
Тот, факт, что документы веб-сайта были обработны пауком не высту-
пает гарантией того, что они будут сохранены в поисковом индексе роботом-
индексатором. Если на веб-сайте размещена неуникальная информация в
большом объеме, имеются вирусы, а также всплывающие рекламные окна
(pop-up), то подобные документы могут не включиться в поисковый индекс.
Однако робот-индексатор с некоторой периодичностью будет отслеживать их
и проверять, устранены ла замечания.
За анализ запроса пользователя, поиска по инвертированной базе, а
также ранжирование и представление документов пользователю отвечает
модуль поиска [46]. В первую очередь при поиске анализу подвергается за-
прос, введенный пользователем. Иногда пользователи задают очень длинный
текст запроса, поэтому может получиться, что точного совпадения с запро-
сом в индексе поисковой системы не будет. В такой ситуации используется
переформулировка запроса, например, в Яндексе этим занимается т.н. «кол-
дунщик». Переформулировка – это перепроцессинг, который преобразует
различные запросы, и поиск в индексе осуществляется уже по обновленному
и уточненному запросу. В итоге пользователь видит не надпись «ничего не
найдено», а получает релевантный ответ. Точных сведений, как работает
«колдунщик», в настоящее время нет.
11
После проведения отбора наиболее похожих документов [44] прово-
дится ранжирование, т.е. упорядочивание по релевантности [51], с помощью
формулы ранжирования, которую именуют алгоритмом поисковой системы.
В процессе определении релевантности документа запросу пользовате-
ля в формулах ранжирования учитывается большое количество факторов, ко-
торые очевидно оказывают влияние на релевантность документа. Факторы
ранжирования, встречающиеся в старых версиях Яндекс и Google, можно
объединить в две группы: внутренние и внешние факторы.
Среди внутренних факторов можно выделить свойства самого доку-
мента [48], т.е. присутствие в нем элементов запроса, их точное вхождение в
ключевые HTML-теги документа (<title>, <h1>), плотность в документе (от-
ношение вхождений слов запроса в документ к общему числу слов в доку-
менте, выраженное в процентах) и пр. Для каждого запроса высчитывается
значение Score документа – показатель релевантности документа запросу,
который помогает произвести ранжирование[49].
Что бы результаты поиска были более точными применяется подход
под названием «Pseudo–relevance feedback» [60], который предполагает поиск
в два этапа. Первый из них связан с использованием значения Score, после
чего, те документы, которые расположены в начале поиска, принимаются как
релевантные, и система ищет похожие на них файлы. Применять можно лю-
бую степень схожести, но в этой ситуации выделены 2 разные меры, которые
можно реализовать с достаточной для реальных применений производитель-
ностью.
Помимо этого может учитываться html-форматирование и позиция сло-
ва в документе. В Яндекс это учитывается в форме отдельного слагаемого
[2]. Присутствие слова учитывается в первом предложении, во втором пред-
ложении, а также внутри выделяющих html тегов.
Учет пар слов.