2
Оглавление
Введение...................................................................................................................4
Обозначения и сокращения………………………………………………….…....6
Глава 1: Динамическая маршрутизация распределенных цод………………….7
1.1 Протоколы динамической маршрутизации……………………………….…7
1.2 Внутренние и внешние протоколы динамической маршрутизации…….….8
1.3 Дистанционно-векторные протоколы маршрутизации…………………....10
1.4 Протоколы маршрутизации по состоянию
канала…………………………………………………….……………………….11
1.5 Сравнение протоколов маршрутизации…………………………………….13
1.6 Описание протокола BGP…………………………………………………....14
1.7 Создание BGP соседства…………………………………………………….15
1.8 Внутренние BGP соседства………………………………………………….16
1.9 Внешние BGP соседства……………………………………………………..18
1.10 Проверки BGP соседства……………………………………………….…..18
1.11 BGP сообщения и статусы соседств…………………………………….…20
1.12 BGP атрибуты и процесс определения кратчайшего пути…………….…21
Глава 2: Балансировка трафика……………………………………………….…23
2.1 Технологии и методы балансировки нагрузки……………………………..23
2.2 Описание функций балансировщиков нагрузки…………………………...25
2.3 Балансировка четвёртого и седьмого уровня модели OSI………………....30
2.4 Управление соединением…………………………………………………....32
2.5 NAT и балансировка нагрузки……………………………………………....34
2.6 Балансировка трафика на межсетевые экраны………………………….….38
2.7 Обратный прокси…………………………………………………………….39
2.8 Offloading……………………………………………………………………..40
2.9 SSL offload……………………………………………………………………41
2.10 TCP offload……………………………………………………………….….44
2.11 Сжатие HTTP………………………………………………………….…….45
3
2.12 GeoDNS и Anycast маршрутизация…………………………………….….46
Глава 3: Практическая реализация балансировки нагрузки территориально
распределенных ЦОД на тестовой среде………………………………….……50
3.1 Выбор решения по балансировке нагрузки и его внедрение………….…..50
3.2 Описание технологий, используемых в практической части………….…..51
3.3 Конфигурация сервера…………………………………………………….…55
3.4 Конфигурация балансировщиков…………………………………………...56
3.5 Конфигурация маршрутизации……………………………………………...61
3.6 Описание механизма работы территориально распределенных дата-
центров…………………………………………………………………………...61
Заключение…………………………………………………………………....….65
Список использованных источников…………………………………………...66
Приложение………………………………………………………………………69
4
Введение
В период бурного развития компьютерной индустрии, компьютеры
начинают использовать повсеместно. С развитием ИТ-отрасли, компании
начинают уделять все больше внимания контролю ИТ-ресурсов. С
изобретением архитектуры клиент-сервер в 1990-е, микрокомпьютеры, сейчас
называемые серверами, стали занимать места в старых серверных.
Доступность сетевого оборудования вместе с новыми стандартами сетевых
кабелей сделали возможным использование иерархического проектирования,
так серверы переехали в отдельные комнаты. Термин «дата-центр», в те
времена применимый к специально спроектированным серверным, начал
набирать популярность и становился все более узнаваем.
Бум дата-центров приходится на период 1995—2000 годов. Крупным
компаниям было необходимо устойчивое и высокоскоростное соединение с
Интернетом и бесперебойная работа оборудования, чтобы разворачивать
системы и устанавливать своё присутствие в сети. Разместить оборудование,
способное справиться с решением этих задач, было делом непосильным для
большинства небольших компаний. Тогда и началось строительство
отдельных больших помещений, способных обеспечить бизнес всем
необходимым набором решений для размещения компьютерных систем и их
эксплуатации. Стали развиваться новые технологии для решения вопросов
масштаба и операционных требований столь крупных систем.
В наши дни проектирование и строительство дата-центров — хорошо
изученная область. Сформированы стандарты, устанавливающие требования
для проектирования дата-центров.
Тем не менее, в условиях быстро растущих, и занимающих всё новые
площади, вычислительных мощностей крупных компаний, всё больше
проблем вызывает балансировка клиентского трафика между дата-центрами.
Особенно, когда такие дата-центры территориально распределены.
Объектом исследования являются балансировщики трафика и методы
балансировки нагрузки.
Предметом исследования являются территориально распределенные
дата-центры.
Выпускная квалификационная работа состоит из введения, трех глав,
заключения, глоссария, списка использованных источников и приложений.
Выпускная квалификационная работа содержит: 103 страницы, 4
таблицы, 37 рисунков, 1 список использованных источников.
5
Во введении определяется актуальность, объект и предмет
исследования, ставится цель исследования и задачи, решение которых
позволит достичь поставленной цели.
Целью данной работы является изучение технологий маршрутизации и
балансировки трафика, которые используются современными компаниями для
балансировки нагрузки между территориально распределёнными дата-
центрами.
Для достижения данной цели необходимо:
Изучить современные программные средства маршрутизации трафика
Изучить современные программные и аппаратные средства и
технологии балансировки трафика
Рассмотреть алгоритмы и методы балансировки трафика и выявить их
преимущества и недостатки
Протестировать методы доставки и балансировки нагрузки в
территориально распределенные дата-центры
В первой главе рассматриваются современные протоколы
маршрутизации.
Во второй главе рассматриваются механизмы и методы балансировки
нагрузки.
В третьей главе происходит тестирование рассмотренных в первых двух
главах технологий и настройка схемы балансировки нагрузки на тестовом
стенде.
В заключении подводятся итоги проведенного исследования.
6
ОБОЗНАЧЕНИЯ И СОКРАЩЕНИЯ
ARP (Address Resolution Protocol) – протокол преобразования адресов MAC и
IP.
BGP (Border Gateway Protocol) – протокол внешней маршрутизации.
Cloud computing – облачные вычисления.
CPU (Central Processor Unit) – центральный процессор.
EIGRP (Enhanced Interior Gateway Routing Protocol) – проприетарный протокол
Cisco.
FCoE (Fiber Channel over Ethernet) – технология оптических каналов через
среду Ethernet.
HTTP (Hyper Text Transfer Protocol) – протокол передачи гипертекста.
IANA (Internet Assigned Numbers Authority) – организация, управляющая
выдачей IP-адресов.
ICMP (Internet Control Message Protocol) – протокол контрольных сообщений
IP.
IPv4 – протокол IP версии 4. IPv6 – протокол IP версии 6.
MPLS (Multilayer Protocol Label Switching) – протокол межуровневой
коммутации по меткам.
NAT (Network Address Translation) – технология трансляции сетевых адресов.
OSPF (Open Shortest Path First) протокол динамической маршрутизации поиска
кратчайшего пути. Pooling – распределение адресов.
RAM (Random Access Memory) – оперативная память.
RIPE NCC – локальный европейский регистратор адресов.
VLAN (Virtual Local Area Network) – виртуальная ЛВС.
ЦОД – центр обработки данных.
SLB – (Server Load Balancing) – балансировка нагрузки.
AS (Autonomous system) – автономная система.
7
Динамическая маршрутизация распределенных ЦОД
1.1 Протоколы динамической маршрутизации
Маршрутизаторы добавляют сети в свои таблицы маршрутизации
разделяя их по трём типам: “подключенные непосредственно к роутеру
маршруты”, “статические маршруты” и “маршруты, полученные через
протоколы динамической маршрутизации”. В данном контексте важно
определить, что есть термины “Маршрутизирующий протокол” и
“Маршрутизируемый протокол”. [20]
Маршрутизирующий протокол: Набор правил и алгоритмов,
использующийся маршрутизаторами для изучения маршрутов. Этот процесс
включает в себя обмен и анализ маршрутной информации. Каждый
маршрутизатор выбирает лучший маршрут к каждой подсети и добавляет его
в свою таблицу маршрутизации. Примеры маршрутизирующих протоколов:
RIP, EIGRP, OSPF, IS-IS.
Маршрутизируемые протоколы: Под данным термином имеются в
виду протоколы, которые определяют логику адресации и структуру пакета,
позволяя маршрутизаторам передавать такие пакеты. Примеры
маршрутизируемых протоколов: IP, IPv6, IPX, AppleTalk.
Несмотря на то, что маршрутизирующие протоколы, такие как OSPF, и
маршрутизируемые протоколы, такие как IP, полностью отличаются друг от
друга, они очень тесно взаимодействуют друг с другом.
Вкратце, функции протоколов динамической маршрутизации IP можно
описать следующим образом:
Изучение маршрутной информации об IP-подсетях от соседних
роутеров.
Передача маршрутной информации об IP-подсетях соседним роутерам.
В случае, если существует больше одного маршрута до одной IP-
подсети, происходит выбор лучшего из них на основании метрики.
Если топология сети меняется. К примеру, какое-то соседство между
маршрутизаторами перестаёт быть активным. В таком случае, протокол
маршрутизации должен сообщить своим соседям, что некоторые маршруты
более недоступны и выбрать новые лучшие маршруты до известных ему
подсетей.
8
1.2 Внутренние и внешние протоколы динамической
маршрутизации
Автономная система – это совокупность сетевых устройств,
находящихся под контролем одной организации. IP протоколы динамической
маршрутизации разделяются ещё на пару больших категорий: Протоколы
внутреннего шлюза (Interior gateway protocol или IGP) и протоколы внешнего
шлюза (Exterior gateway protocol или EGP). IGP – это протоколы
маршрутизации, которые были созданы для использования внутри одной
автономной системы. EGP – это протоколы, которые были созданы для
взаимодействия между автономными системами.
Каждой автономной системе должен быть присвоен 2-х или 4-х
байтовый номер. В настоящее время, корпорация ICANN (Internet Corporation
for Assigned Network Numbers) занимается распределением и выдачей IP-
адресов и номеров автономных систем региональным интернет-
регистраторам, таким как RIPE NCC.
Единственный доступный для использования EGP в настоящее время –
это BGP (Border Gateway Protocol). В то же время, когда вы выбираете IGP для
использования внутри организации, присутствует довольно широкий выбор.
Внутренний алгоритм протокола маршрутизации определяет то, как
происходит поиск лучшего маршрута. Под термином “Алгоритм протокола
маршрутизации” подразумевается логика которую используют протоколы
маршрутизации для решения задач “сходимости”, поиска лучшего маршрута
и их изучения. Всего существует 3 типа динамических протоколов
маршрутизации: Дистанционно-векторные, протоколы состояния канала(link-
state) и гибридные. [15]
RIP (Routing information protocol) был первым дистанционно-векторным
протоколом, который получил широкое применение. Медленный процесс
конвергенции и большие риски появления маршрутных петель в сети, при
использовании дистанционно-векторных протоколов маршрутизации, привёл
к появлению протоколов состояния канала. Такие протоколы, как IS-IS
(Intermediate system to intermediate system) и OSPF (Open shortest path first)
решают многие проблемы, с которыми не справлялись дистанционно-
векторные протоколы маршрутизации, но требуют более детального
планирования и принятия архитектурных решений в сетях среднего и
большого размера. Так же, существует протокол EIGRP (Enhanced interior
gateway routing protocol), решающий те же проблемы, что и протоколы
состояния канала, но требует меньше времени на планирование и позволяет
более гибко применять маршрутные фильтры. Протокол EIGRP принадлежит
к гибридному типу протоколов маршрутизации.
9
Протоколы динамической маршрутизации выбирают лучший маршрут
до каждой подсети используя параметр, который называется “метрика”.
Например, RIP использует количество маршрутизаторов между устройством,
на котором запущен и подсетью назначения как метрику. OSPF использует
“стоимость” (cost) всех каналов на определённом отрезке как метрику для
определения кратчайшего маршрута к той или иной подсети. [19]
Большинство компаний и организаций используют всего один протокол
маршрутизации. Тем не менее, в некоторых случаях бывает необходимо
использование двух и более протоколов маршрутизации. К примеру, если две
компании хотят объединить свои сети для обмена данными, возможно, им
также придётся обменяться маршрутной информацией. Если одна компания
использует EIGRP, а другая, к примеру, OSPF, то обмен маршрутной
информацией между этими протоколами возможен, если запустить оба этих
протокола на одном из маршрутизаторов и использовать функцию
перераспределения маршрутов (route redistribution).
В зависимости от топологии сети, два протокола маршрутизации могут
выучить маршруты до одних и тех же подсетей. Когда один протокол
маршрутизации получает маршрут до одной и той же подсети из нескольких
источников, он определяет какой из двух маршрутов лучший исходя из
метрики. Но в случае, когда два протокола маршрутизации на одном
устройстве получают маршрут до одной и той же подсети, использование
метрики для определения лучшего маршрута невозможно. Из-за того, что
каждый протокол маршрутизации использует разные атрибуты для
определения метрики, становится невозможным сравнение этих метрик. Когда
маршрутизатору необходимо выбрать между двумя маршрутами,
полученными от разных протоколов маршрутизации, он использует
концепцию “Административного расстояния”. Каждому протоколу
маршрутизации, в зависимости от производителя маршрутизатора, как
правило, присвоен уникальный номер по умолчанию. Чем меньше этот номер,
тем вероятнее, что маршрут изученный с помощью этого протокола
маршрутизации будет объявлен лучшим. К примеру, в cisco IOS OSPF имеет
административное расстояние равное 110-ти, а RIP 120-ти. Выбирая между
одинаковыми маршрутами, полученными из этих двух протоколов
маршрутизации, независимо от метрики каждого из этих маршрутов, будет
выбран маршрут, полученный от OSPF.
10
1.3 Дистанционно-векторные протоколы маршрутизации
Сам термин “Дистанционно-векторный” описывает то, какую
информацию знает маршрутизатор о каждом отдельном маршруте. После того
как маршрут получен маршрутизатором всё что знает роутер для каждой
отдельной подсети – это дистанция (метрика), о которой маршрутизатору
рассказал его сосед, и следующий роутер на пути (вектор) куда нужно
отправлять данные по этому маршруту. Рисунок 1.1 наглядно показывает
какие параметры маршрутизатор R1 получает от своих соседей. Роутер R1
узнаёт о трёх маршрутах:
Маршрут через R2 с метрикой 4.
Маршрут через R5 с метрикой 3.
Маршрут через R7 с метрикой 2.
Рисунок 1.1: Описание работы метрики
Вся информация, которую получает R1 – это адрес подсети и метрика с
ней связанная. После того, как маршруты получены, R1 должен выбрать
лучший из них. Исходя из предоставленной в анонсах метрики, R1 выбирает
маршрут через R7, т.к. он имеет самое низкое значение метрики.
Рисунок 1.2 показывает, как для R1 выглядит подсеть X. Всё, что R1
знает о подсети X – это три вектора. Длина вектора обозначает метрику,
которая описывает качество маршрута.
11
Рисунок 1.2: Описание работы метрики
Таким образом, с помощью дистанционно-векторной логики,
маршрутизаторы не получают информацию о всей топологии. В их
распоряжении находятся лишь те данные, о которых им рассказывают
соседние роутеры.
1.4 Протоколы маршрутизации по состоянию канала
Протоколы маршрутизации по состоянию канала так же, как и
дистанционно-векторные протоколы маршрутизации обмениваются
маршрутной информацией со своими соседями, а те, в свою очередь, также
обмениваются информацией со своими, и так далее. Когда все маршруты
получены маршрутизатор должен выбрать лучший маршрут в зависимости от
метрики и установить его в свою таблицу маршрутизации. Тем не менее,
исключая процессы обмена и установки маршрутов в таблицу маршрутизации,
эти два типа протоколов не имеют ничего общего.
Маршрутизаторы использующие протоколы маршрутизации по
состоянию канала должны обмениваться буквально всеми деталями о сетевой
топологии. В конце процесса обмена маршрутной информацией все
маршрутизаторы в домене маршрутизации должны иметь идентичный набор
данных о топологии. Маршрутизаторы хранят эти данные в структуре,
названной “База данных состояния каналов” или Link-state database (LSDB),
которая, в последствии, используется для вычисления кратчайших путей до
всех известных подсетей.
Самый популярный протокол маршрутизации по состоянию
канала – это Open Shortest Path first (OSPF). Маршрутная информация,
которую он анонсирует, содержится в структурах данных, которые
называются Link-state advertisement (LSA). LSA бывают нескольких типов, но
их описание выходит за рамки данного раздела, поэтому мы рассмотрим лишь
один тип, который называется “Router LSA” или “LSA type 1”. В Router LSA