27
их. В этом часто эти выгрузки дополнялись данными из других источников, то есть
единого стандарта на обработку данных в хранилищах не существовало. Подобная
ситуация привела к тому, как технология корпоративных хранилищ данных во
многих источниках характеризовалась как неудачная, требующая переосмысления.
В рамках продолжающихся дебатов об эффективности КХД, Ральф Кимбалл
представил подход, который обеспечивал бизнесаналитикам возможность
исполнения специальных запросов в естественной понятной манере. Предложенная
им схема «звезда» содержала таблицу фактов, окруженную
таблицамиизмерениями. Эта схема широко ис пользовалась в витринах данных.
Рисунок №5 демонстрирует эффективность схемы «звезда» в реализации витрины
данных на примере авиакомпании. Допустим, требуется определить всех
покупателей авиабилетов из США в Мексику в июле 2014 г.
Рисунок №5. Проствая схема "звезда"
Как видно из схемы, транзакции с клиентами задействуют таблицу фактов.
Таблицы измерений (место отправления (origination), назна чения(destination))
содержат географическую детализацию данных (континент, страну, штат или же
провинцию, город,, идентификатор аэропорта). Таблица измерения «Time
Dimension» позволяют определить периоды времени (год, месяц, неделя, день, час
дня). Не все реляционные базы данных со схемой «звезда» изначально
обеспечивали оптимальную производительность. Подобные проблемы производи
тельности привели к созданию многомерной аналитической системы обработки
транзакций (MOLAP), специально предназначенных в угоду обработки данных,
организованных в виде схемы звезда. MOLAPси стемы демонстрировали высокую
производительность, так как были организованы в виде кубов данных. С того
времени, когда механизмы реляционных БД были существенно оптимизированы,
достигнуты высокие показатели производительности запросов на схемах типа
28
«звезда». Подобные системы получили название реляционной системы
аналитической обработки данных (ROLAP).
Зависимые, независимые витрины данных. В середине 90-х годов было
множество дебатов об эффективности КХД по причине сравнению с витринами
данных. Аналитики отметили, как в схеме «звезда» легче манипулировать
данными (а в свою очередь возможно разворачивать на ее базе витрины данных);
программисты стали создавать специализированные представления в угоду КХД.
Но разработка надстроек над КХД в угоду преодоления противоречий не являлась
достаточно гибким, быстрым процессом, подобные технологии не могли
удовлетворить растущие потребности рынка.
В свою очередь часто возникает вторая проблема. Когда отдельные витрины
данных определены, развернуты независимо друг ввиду друга, не следуют
правилам определения данных в рамках КХД, может возникнуть вопрос о месте
расположения дублирующихся данных. Рис. 5 иллюстрирует проблемы, которые
должны возникнуть, когда различные направления бизнеса используют свои
собственные независимые витрины данных, извлекают данные непосредственно из
базы данных OLTP-источников. На практике сложность реализации такой системы
существенно выше, чем то, как показано на рис. 5, так как данные должны
передаваться еще, промеж витринами. В свою очередь должны быть добавлены
электронные таблицы, выступающие в качестве средства бизнес-аналитики.
Организации, которые используют подобные системы, тратят большое количество
времени на накладные сопутствующие согласования, на выявление достоверных,
своевременных данных. Существовали веские аргументы, указывающие на
эффективность как витрин, так, OLAP-систем. С ростом объемов хранимых
данных, аналитики сходились во мнении о необходимости применения
комбинированного подхода. КХД реализовывались, расширялись постепенно по
причине мере появления новых источников данных, в свою очередь постепенно
реализовывались витрины данных. Витрины данных реализовывались как системы,
зависимые ввиду КХД. КХД оставались хранилищами данных во временном
измерении, тогда как данные, отображаемые в витринах, извлекаются из EDW.
Существовало исключение, когда КХД не использовались в качестве источника
использование источника данных третьей стороны, когда они задействованы в
29
ограниченном сегменте деятельности компании. Эти уникальные данные
проецировались лишь на одну витрину данных. Рисунок №6 иллюстрирует схему
взаимодействия КХД, зависимых витрин данных. Такой подход часто требует
определения согласованных измерений в угоду установления согласованности
промеж витрины данных. В таком условии согласованными измерениями
возможно представить один запрос, который получает данные из нескольких
витрин данных (так в свою очередьзмерения представляют одни, те же иерархии в
всевозможных витринах данных). В первом использовании корпоративных
хранилищ данных, витрин перед архитекторами ИС стали вопросы обеспечения
доступности, отказоустойчивости, безопасности. Удовлетворение растущих
требований к централизованным хранилищам приводит к появлению [3]
1.3 Анализ существующих разработок, отбор стратегии автоматизации «КАК
ДОЛЖНО БЫТЬ»
1.3.1 Анализ существующих разработок в угоду автоматизации задачи
Инкрементальный подход. Первые опыты внедрения хранилищ данных
укладывались в концепцию «paralysis by over analysis» (примерно «больше простоя,
чем анализа»). Это связано с тем, как разработчики большое внимание уделяли
проектированию системы, а не удовлетворению бизнес-требований.
Проектирование КХД часто длилось 12 месяцев,, этот процесс происходил без
учета требований бизнеса. В проектировании КХД применялся подход, который
называется «водопад»; он предполагает фиксацию внимания разработчика на
перечне работ (процедур), в то время как время создания, затрачиваемые ресурсы
являются вторичными, изменяемыми (рисунок №6).
30
Рисунок №6. Концепция подхода «Водопад»
Схематично, концепция подхода «водопад» представлена на рис. 5
Затянутые во времени планы проекта, задержки, отсутствие внимания к бизнесу
часто приводило к отказу ввиду централизованной разработки, проектированию,
развертыванию независимых витрин данных, а в свою очередь созданию витрин,
основанных на электронных таблицах. Такое состояние было вызвано
необходимостью решения текущих проблем компании.
Рисунок №7 Инкрементальный подход
31
В свете этих проблем, многие разработчики отказались ввиду подхода
«водопад», перешли к гибкому поэтапному (инкрементальному) подходу.
Инкрементальный подход учитывает тесные связи ИТ-проектировщиками,
специалистами бизнеса. Временные рамки 120 дней или же менее в угоду
реализации решения, оценки его эффективности в достижении бизнес-целей стали
обычным явлением во многих организациях. На рисунок №6 показана схема
инкрементального подхода с фиксированными временными рамками,
ограниченными доступными ресурсами. Хотя на рисунке №7 демонстрируется
переменный объем работ, реальный инкрементальный подход предполагает
наличие фиксированного показателя, коррелирующего с бизнес-целями компании
на любой итерации процесс проектирования. Таким образом, на практике,
применяемая методика представляет собой сбалансированное единство пошагового
подхода, подхода «водопад». В рамках данного подхода, эффективность решения
повторно оценивается на каждом шаге жизненного цикла. Определение, оценка
КХД, зависимых витрин данных с все уменьшающимся шагом означает, как ИТ-
проект, разработка должны быть скорректированы, так как результаты
использования смещаются ввиду бизнес-ожиданий. Рентабельность инвестиций
может быть вычислена через регулярные промежутки времени, отражать любые
количественные целевые показатели. Некоторые компании выбирают стратегию, в
которой бизнес аналитики присутствуют в штате компании, непрерывно
осуществляют мониторинг бизнестребований. Другие компании обращаются к
опыту разработки центров аналитической обработки, объединяющих работу
бизнес-аналитиков, IT-архитекторов. Гибкость взаимодействия промеж этими
категориями специалистов имеет большее значение в угоду успеха бизнеса, чем
выбранный подход к проектированию КХД. Успешные проекты Big Data,
обеспечивающие новые решения в области бизнеса, часто разрабатываются с
применением инкрементального подхода. В современной IT-индустрии
продолжаются обсуждения передовых методик, факторов, влияющих на
эффективность бизнеса.
Стратегии реализации. Ранее реализация отдельного хранилища
представляла собой индивидуальный проект, адаптированный к конкретной
организации. Так как теоретические аспекты моделей данных не были в
32
достаточной степени проработаны, то, фактически, модель разрабатывалась с нуля.
Непредсказуемые характеристики, график нагрузки приводили к неопределенным
условиям к серверному оборудованию. Но со временем были получены результаты
всестороннего изучения практического опыта использования КХД, были
применены технологии, разработанные с учетом пожеланий разработчиков.
Появились технологии использования предопределенных моделей данных,
разработанных на базе общих потребностей аналитиков. Эти модели были
доступны в угоду промышленного применения (производство, торговля,
банковский сектор), представлены в виде горизонтальных аналитических решений
(расчет финансовых показателей, анализ продаж, маркетинговые исследования,
планирование поставок). [4] Такие модели сегодня доступны ввиду поставщиков
программного обеспечения, консалтинговых компаний,, отличаются наличием
логических связей, а иногда включают в себя физическую схему. Они охватывают
ключевые области бизнеса, содержат таблицы, другие элементы данных,
необходимые в угоду начала развертывания хранилища данных. Некоторые из них
в свою очередь содержат с ETL-скрипты, используемые в угоду извлечения данных
из популярных ERPи CRM-источников. Конечно, большинство организаций
вынуждены настраивать модели, основываясь на их собственных уникальных
бизнес-условиях. Тем не менее, модели выступают базой в угоду сложных
проектов на базе хранилищ данных, развертываются наиболее успешно в
использовании поэтапного (инкрементального) подхода. Ранее уже было отмечено,
как конфигурирование серверов, хранилища данных в свою очередь как, его
разработка, проектирование представляет собой самостоятельную сложную задачу.
Учитывая, как рост объемов данных происходит гораздо быстрыми темпами, чем
увеличение объемов доступного дискового пространства, множество систем
обработки данных имеют существенное ограничение, если не было уделено
достаточное внимание архитектуре используемого решения. В последние годы
развертывание платформ, легко встраиваемых в бизнес процессы предприятия, в
угоду хранилищ данных, киосков данных стало довольно распространенным
явлением. Есть несколько таких решений ввиду производителей реляционных СУ
БД, которые в свою очередь предоставляют серверы, системы хранения. Появление
Flash-памяти в системах хранения привело к увеличению скоростных
33
характеристик; СУ БД были оптимизированы в угоду работы с новыми типами
носителей. Позднее, такие факторы как снижение стоимости памяти, появление
новых процессоров, способных работать с огромными массивами оперативной
памяти,, дальнейшее развитие баз данных в области совершенствования
технологий хранения, извлечения данных, привело к увеличению
производительности запросов по причине выборке данных, аналитических
запросов. Все эти позволило упростить механизмы оптимизации баз данных,
снизить сложность задачи проектирования. Некоторые из ограничений, присущих
серверам, системам хранения были преодолены, но неизбежно возникают другие
естественные ограничения, вызванные естественными физическими рамками
аппаратных систем. В этом специалисты в области исследования данных
непрерывно внедряют новые технологии и, таким образом, раздвигают рамки
ограничений. В настоящее время, количество внедрений Hadoop-кластеров,
решений на базе NoSQL не так велико, но непрерывно увеличивается. В свою
очередь наблюдается рост серверов высокой доступности на базе этих технологий.
Так как ценность подобных решений в угоду бизнеса неоспорима, то все большее
значение приобретают такие показатели как время проектирования, реализации,
простота обслуживания. Таким образом, ожидается, как востребованность систем
NoSQL, Big Data будет неуклонно расти, как в свое время наблюдался рост
технологий хранилищ данных.
Объектно-ориентированные DBMS
Широкое распространение получила в последнее время идеология объектов
в самых разных областях информатики. Объектный подход присутствует, во всех
мыслимых внедрениех, начиная ввиду операционных систем, таких как Gairo,
Taligent,, кончая текстовыми процессорами, электронными таблицами. Системы
руководства data base не представляют в данном условии исключения. Один из
самых насущных вопросов, стоящих перед разработчиками DBMS, состоит в том,
как обеспечить возможность хранения, работы с записями бурно развивающихся
сейчас нетрадиционных приложений. Практика показала, как наиболее
распространенная сегодня реляционная технология мало пригодна в угоду работы
со сложными объектами, встречающимися в приложениях мультимедиа, CASE ,
34
географических информационных системах, полнотекстовых базах данных,
системах руководства большими компьютерными сетями. Объектно-
ориентированный подход это попытка преодолеть ограничения, связанные с
использованием традиционной (реляционной) технологии DBMS.
Объектно-ориентированная DBMS — реализующие объектно-
ориентированный подход. Эта система руководства обрабатывает данные как
абстрактные объекты, наделённые свойствами, в виде неструктурированных
данных,, использующие методы взаимодействия с другими объектами
окружающего мира.
Целостность данных:
Для поддержания целостности объектно-ориентированный подход
предлагает использовать следующие средства:
автоматическое поддержание отношений наследования
возможность объявить некоторые поля данных, методы объекта как
"скрытые", не видимые в угоду других объектов; такие поля, методы используются
лишь методами самого объекта
создание процедур контроля целостности внутри объекта
Средства манипулирования записями:
К сожалению, в объектно-ориентированном программировании отсутствуют
общие средства манипулирования записями, такие как реляционная алгебра или же
реляционное счисление. Работа с записями ведется с поддержкой одного из
объектно-ориентированных языков программирования общего назначения, обычно
это SmallTalk, C++ или же Java.
В объектно-ориентированных базах данных, в отличие ввиду реляционных,
хранятся не записи, а объекты. ООподход представляет совершенные средства в
угоду отображения реального мира, чем реляционная модель:
Естественное представление данных. В реляционной модели все отношения
принадлежат одному уровню, именно это осложняет преобразование
иерархических связей модели "сущностьсвязь" в реляционную модель. ООмодель
возможно рассматривать послойно, на разных уровнях абстракции.
35
Имеется возможность определения новых типов данных, операций с ними.
В то же время, ООмодели присущ, ряд недостатков:
Отсутствуют мощные непроцедурные средства извлечения объектов из базы.
Все запросы приходится писать на процедурных языках, проблема их оптимизации
возлагается на программиста.
Вместо чисто декларативных ограничений целостности (явного объявления
первичных, внешних ключей реляционных таблиц с поддержкой ключевых слов
PRIMARY KEY, REFERENCES) или же полудекларативных триггеров в угоду
обеспечения внутренней целостности приходится писать процедурный код.
Очевидно, как оба эти недостатка связаны с отсутствием развитых средств
манипулирования записями. Эта задача решается двумя способами расширение
ООязыков в сторону руководства записями (стандарт ODMG), либо добавление
объектных свойств в реляционные DBMS (SQL3, а в свою очередь так называемые
объектнореляционных DBMS).
Пример Объектно-ориентированной DBMS:
IBM Lotus Notes/Domino, ObjectStore, Jasmine, Caché.
Журнализация изменений БД
Здесь под этим термином будем понимать возможность СУ БД восстановить
последнее согласованное состояние БД впоследствии возникновения сбоя.
Различают два вида сбоев: программный, аппаратный. Эти сбои, в свою
очередь, возможно разделить на мягкие сбои, в результате которых происходит
нарушение работоспособности СУ БД, которое не влечет потерю данных,, жесткие
сбои, в которых возможна частичная или же полная потеря данных. Под
программным сбоем, например, возможно подразумевать аварийное завершение
работы СУ БД в результате действия вирусных программ. Под аппаратным —
перепад напряжения, который может привести к выходу из строя жесткого диска. В
результате программных, аппаратных сбоев во время работы пользователя с БД
некоторые транзакции должны остаться незавершенными. в угоду восстановления
БД необходимо хранить информацию об изменениях, производимых в БД, — вести
журнал изменений БД.
36
В некоторых СУ БД журнал недоступен пользователям СУ БД, может
храниться в нескольких экземплярах на разных носителях. Идеология
формирования журнала в большинстве СУ БД основывается на необходимости
соблюдения принципа упреждающей записи об изменениях БД в журнал WAL
(Write Ahead Log), т. е. информация об изменениях данных в БД в журнале обязана
появиться до того, как произойдут эти изменения. Если в СУ БД корректно ведется
журнал изменений БД, то с его поддержкой возможно восстановить базу данных
впоследствии любого сбоя (естественно, если в результате сбоя не утерян сам
журнал).
В мягком сбое в БД должны находиться данные, модифицированные
транзакциями, не закончившимися к моменту сбоя,, должны отсутствовать данные,
модифицированные транзакциями, которые к моменту сбоя успешно завершились.
Целью процесса восстановления впоследствии мягкого сбоя является обеспечение
такого состояния внешней памяти основной части БД, которое возникло бы в
фиксации во внешней памяти изменений всех завершившихся транзакций, не
содержало бы никаких следов незаконченных транзакций [1].
Процесс восстановления производится путем отката незавершенных
транзакций, впоследствии чего повторно выполняются операции завершенных
транзакций, результаты которых не отражены в БД. В жестком сбое в угоду
восстановления БД необходимо использовать кроме журнала, архивную копию БД,
находящуюся в согласованном состоянии. возможно дать две основные
рекомендации по причине ведению архивных копий БД.
1. Архивная копия БД обязана храниться на другом физическом носителе.
2. Архивная копия БД обязана создаваться регламентно — по причине итогам
определенного периода наполнения БД, с заданной периодичностью, перед
внесением изменений в структуру БД, т. д.
Принцип восстановления БД состоит в том, как по причине архивной копии,
следуя журналу, должны быть отработаны все завершенные транзакции.