47
затем, выполняют сортировку по полю «Регион», читая данные из HDFS. Данный
шаг может быть выполнен на reduce-стадии, так как процесс свертки получает
регионы в сортированном виде. При реализации данного примера для обеспечения
такого поведения нужно определить единственный reduce-процесс. Это вызвано
тем, что передача данным между mapи reduce-процессами задействует сеть, что
является критическим аспектом (bottleneck) данной технологии.
Технология MapReduce ркализует принципы Big Data следующим образом:
1) данные разделяются на блоки в системе HDFS. Так как HDFS – распределенная
файловая система, блоки данных распределяются по узлам;
2) библиотеки приложения, включая mapи reduce-код приложения,
распространяются на все узлы кластера;
3) каждый узел осуществляет локальное чтение. Map-процессы выполняются на
каждом узле и обрабатывают свою порцию блоков данных (в большинстве случаев,
сопоставление задач и блоков данных – задача планировщика задач, который
может выделить задаче удаленные блоки для поддержания равномерной загрузки
всех узлов); 4) данные читаются последовательно в пределах каждой задачи.
Важное ограничение модели MapReduce: парадигмы не подходит для
итерационных алгоритмов. Подавляющее большинство алгоритмов в науке носит
итеративный характер – каждая итерация приближает решение. При таком
подходе, MapReduce парадигма требует каждую итерацию алгоритма выполнять
как отдельную работу MapReduce. В таких приложениях обычно каждая итерация
использует данные, полученные на предыдущей итерации. Так как MapReduce
читает данные из постоянного хранилища, каждой итерации необходимо сохранять
свои результаты в хранилище для работы следующей итерации над ними.
BSP-системы.
Системы класса BSP работают аналогично системам, созданным в рамках
MapReduce-парадигмы. Но вместо завершения работы процессов MapReduce,
система BSP состоит из списка процессов (аналогичных map-процессам), которые
используют барьерную синхронизацию, пересылают данные центральному узлу и
обмениваются с ним информацией. Когда итерация завершена, центральный узел
сигнализирует о начале новой итерации. Барьерная синхронизация – это
распространенная методика в параллельном программировании. Подобная техника
48
применяется, когда вычисления осуществляются множеством узлов, но в
определенные моменты необходимо согласовать потоки. Этот паттерн
используется, когда все потоки должны завершить свою работу к определенному
моменту, до момента, когда будет принято решение о продолжении или отмене
обработки. На практике барьерная синхронизация часто используется в
параллельных вычислительных системах.
Системы Big Data и системы, основанные на транзакциях.
Важно понимать, как развивалась концепция транзакций в контексте
технологий Big Data. Этот процесс аналогичен развитию концепции NoSQL.
Hadoop поддерживает HBase в качестве NoSQL-хранилища. Но можно
использовать также Cassandra или NoSQL-системы облачного типа, такие как
Amazon Dynamo. Пользователи РСУБД предполагают, что подобные решения
полностью поддерживают ACID-свойства, хотя за такую поддержку приходится
платить производительностью. Когда база данных вынуждена обрабатывать
миллионы транзакций в секунду, такой режим работы представляет собой сложный
технологический вызов, даже при смягчении свойств ACID. В такой ситуации
необходимо идти на компромиссы и подобное поведение выражается в т.н. CAP-
теореме (теорема Брюера). CAP означает аббревиатуру: – Consistency
(согласованность): все узлы имеют доступ к одним и тем же данным в течении
всего времени; – Availability (доступность): гарантируется, что все узлы получают
ответ на запрос в определенный наперед заданный временной интервал; – Partition
tolerance (гибкость разделения): вся система продолжает функционировать в случае
выхода из строя одного узла. CAP-теорема утверждает, что невозможно достичь
всех трех свойств базы данных одновременно, но достижимы только любые два из
них. В соответствии с данной теоремой можно выделить следующие типы систем:
1) Consistent and Available (согласованные и доступные). Единая база данных с
поддержкой свойств ACID является примером такой системы. Подобная система не
обладает гибкостью к разделению, т. е. если база данных отказала, все
пользователи будут отключены от системы;
2) Consistent and partition-tolerant (согласованные и гибкие к разделению).
Примером таких систем служат кластерный РСУБД. Подсистемы распределенных
транзакций гарантируют, что все пользователи будут видеть одни и те же данные
49
(согласованность), а распределенный характер хранилища позволит обеспечить
работоспособность при отказах узлов кластера. Тем не менее, из-за
распределённых транзакций, система будет недоступна некоторый промежуток
времени из-за выполнения алгоритма двухфазной фиксации изменений. Это
ограничивает количество одновременно выполняемых транзакций;
3) Available and partition-tolerant (доступные и гибкие к разделению). В данном
случае речь идет о т.н. временно доступных системах.
Рассмотрим, например, очень популярную платформу электронной торговли
Amazon.com. Предположим, что просматривая каталог товаров, обнаружили, что
две товарные позиции доступны для продажи. Но покупатель понимает, что работа
системы устроена таким образом, что между событиями обнаружения товара и
посылкой запроса на покупку, кто-то еще может купить этот товар. Таким образом,
нет необходимости заботиться о постоянной актуальности данных сайта, так как
подобный ресурс обслуживает слишком большое количество пользователей.
Обеспечение актуального состояния товарной номенклатуры, выполнение
постоянных обновлений для всех пользователей, существенно снизит доступность
ресурса, что, в свою очередь, приведет к падению продаж. Значит, в таких системах
жертвуют согласованностью для обеспечения высокой доступности и гибкости к
разделению. В таких системах существуют временные окна, в которые
пользователи могут видеть различные версии одних и тех же данных. Подобный
подход очень важен в системах Big Data. MapReduce – это лишь один из
компонентов экосистемы Big Data. Очень часто парадигма MapReduce
рассматривается в контексте других решение, таких как HBase, которые
ориентированы на использование в качестве решений электронных торгов.
Технология аутентификации к записям
В качестве технологии аутентификации к записям была выбрана ADO.
Технология MS ActiveX Data Objects обеспечивает универсальный доступ к
источникам данных из приложений DB. Такую возможность предоставляют
функции набора интерфейсов, созданные на базе общей модели объектов СОМ,
описанные в спецификации OLE DB.
Технология ADO, интерфейсы OLE DB обеспечивают в угоду приложений
единый способ аутентификации к источникам данных всевозможных типов.
50
Например, приложение, использующее ADO, может применять одинаково сложные
операции, к записям, хранящимся на корпоративном сервере SQL,, к электронным
таблицам,, локальным DBMS.
Согласно терминологии ADO, любой источник данных (база данных,
электронная таблица, файл) называется хранилищем данных, с которым в помощи
провайдера данных взаимодействует приложение. Минимальный отбор
компонентов приложения может включать объект соединения, объект набора
данных, объект процессора запросов. На рисунке №8 изображен модуль ADO в
угоду аутентификации к записям.
Рисунок №8 Технология ADO в угоду аутентификации к записям.
1.4. Обоснование проектных решений
1.4.1 Обоснование проектных решений по информационному обеспечению
Методология проектирования предусматривает разбиение всего процесса на
несколько стадий, каждая из которых, в свою очередь, состоит из нескольких
этапов. На каждом этапу разработчику предлагается отбор технических приемов,
позволяющих решать задачи, стоящие перед ним на данной стадии разработки.
51
В предлагаемой методологии весь процесс проектирования базы данных
подразделяется на три этапа:
Концептуальное проектирование.
Логическое проектирование.
Физическое проектирование.
Концептуальное проектирование
Первый этап процесса проектирования базы данных называется
концептуальным проектированием. Он заключается в создании концептуальной
модели данных в угоду анализируемой части предприятия. Эта модель данных
создается на базе данных, записанной в спецификациях требований пользователей.
Концептуальное проектирование базы данных абсолютно не зависит ввиду таких
подробностей ее реализации, как тип выбранной целевой DBMS, отбор
создаваемых прикладных программ, используемые языки программирования, тип
выбранной вычислительной платформы, а в свою очередь ввиду любых других
особенностей физической реализации. Концептуальная модель данных
предприятия является источником данных в угоду этапа логического
проектирования базы данных.
Логическое проектирование
Второй этап проектирования базы данных называется логическим
проектированием базы данных. Его задача состоит в создании логической модели
данных в угоду исследуемой части предприятия. Концептуальная модель данных,
созданная на предыдущем этапе, уточняется, преобразуется в логическую модель
данных. Логическая модель данных учитывает особенности выбранной модели
организации данных в целевой DBMS. Если концептуальная модель данных не
зависит ввиду любых физических аспектов реализации, то логическая модель
данных создается на базе выбранной модели организации данных целевой DBMS.
То есть на этом этапе уже должно быть известно, какая DBMS будет
использоваться в качестве целевой реляционная, сетевая, иерархическая или же
объектно-ориентированная. Но все остальные характеристики выбранной DBMS,
например, любые особенности физической организации ее структур хранения
данных, построения индексов. В процессе разработки логическая модель данных
52
постоянно тестируется, проверяется на соответствие требованием пользователей. в
угоду проверки правильности логической модели данных используется метод
нормализации. Нормализация гарантирует, как отношения, выведенные из
существующей модели данных, не будут обладать избыточностью данных,
способной вызвать нарушения в процессе обновления данных впоследствии их
физической реализации. Логическая модель данных обязана обеспечивать
поддержку всех необходимых пользователям транзакций. Созданная логическая
модель данных является источником данных в угоду этапа физического
проектирования, обеспечивает разработчика физической базы данных средствами
поиска компромиссов, необходимых в угоду достижения поставленных целей, как
очень важно в угоду эффективного проектирования. Логическая модель играет
важную роль на этапе эксплуатации , сопровождения готовой системы.
Физическое проектирование
Физическое проектирование является третьим, последним этапом
разработки проекта базы данных, в выполнении которого проектировщик
принимает решения о способах реализации разрабатываемой DB. Приступая к
физическому проектированию DB, необходимость конкретную целевую DBMS.
Основной задачаю физического проектирования DB является представление
способа физической реализации логического проекта DB. В условии реляционной
модели DB под этим подразумевается следующее:
1. Создание набора реляционных таблиц, ограничений в угоду них на базе
данных, представленной в глобальной логической модели данных;
2. Определение конкретных структур хранения данных, методов
аутентификации к ним, обеспечивающих оптимальную производительность
DBMS;
В качестве Хранилища данных используются DBMS MS Access. Поскольку
обе DBMS являются РDBMS, естественно применить стандартную схему данных,
как делает возможным представление данных на уровне абстракций независимо
53
ввиду физического хранения. Таким образом, схема данных в угоду разных DBMS
будет общей.
Разработанная модель находится в 3й нормальной форме, так как:
атрибуты сущностей являются атомарными;
любой неключевой атрибут функционально полно зависит ввиду первичного
ключа;
в модели отсутствуют транзитивные зависимости неключевых атрибутов
ввиду ключа.
В каждом условии в выборе в пользу той или же иной DBMS разработчик
руководствуется собственной стратегией реализации, применения своего продукта,
а если таковая не формализована на бумаге, то набором критериев, общих в угоду
всех, специфичных в угоду конкретного случая. Среди них на первом месте стоит
состав, масштаб решаемых задач, и, соответственно, условия к объемам
обрабатываемой данных, производительности DBMS, уже сделанные инвестиции в
проект, предполагаемые затраты. Поэтому поставщик должен предложить
заказчику не лишь широкий отбор прикладной функциональности в угоду
разработки управленческой системы, но, отбор платформы в угоду построения
хранилища данных, которое отвечает его условиям
Условия к DBMS в угоду Хранилища данных
Первый критерий это полнота, завершенность продукта.
Вопервых, необходимо, чтобы DBMS отвечала фундаментальным условиям
масштабируемости. Хранилища данных, руководства рабочими нагрузками. В
свою очередь обязана обеспечиваться поддержка интегрированной
инфраструктуры. Ключевой компонент этого критерия способность разработчика
DBMS влиять на конкурентную среду DBMS Хранилищ данных, предлагая новые,
востребованные функциональности, возможности, которые удовлетворяют
условиям пользователей.
Хорошая DBMS обязана работать с целым рядом платформ операционных
систем, масштабироваться в соответствии с используемыми инструментальными
средствами. Это даст пользователю возможность использовать ту платформу,
которая наилучшим образом подходит в угоду решения той или же иной проблемы.
54
Еще один важный момент хорошие показатели времени установки DBMS,
простоты использования, а в свою очередь приемлемые цена лицензии, общая цена
эксплуатации. Прежде чем приобретать ту или же иную DBMS, важно определить
ее способность эффективно использовать мощности операционной платформы.
Наконец, существенен, такой критерий, как способность DBMS применять
достаточные вычислительные мощности в угоду решения проблемы с тем, чтобы
обеспечить оптимальную производительность трудного Хранилища данных.
Важный критерий возможности поставщика осуществлять поддержку
своего продукта. Этот критерий определяет такие показатели, как способности
высшего руководства компаниипоставщика, степень руководства компанией своим
продуктом. Характеристики, важные в угоду успеха, это уровень инвестиций
(затраты на исследования, разработку, маркетинг), долгосрочные финансовые
обязательства, финансовая стабильность, способность поставщика преодолевать
кратковременные трудности. В свою очередь очень существенно, насколько
поставщик способен обеспечить широкий отбор квалифицированных услуг в
внедрении продукта, дальнейшей поддержке клиента. Наконец, имеют
принципиальное значение широта, глубина партнерских связей поставщика с
независимыми производителями программного обеспечения (например,
аналитических приложений), системными интеграторами, которые должны
расширить область применения Хранилища данных., еще один весьма
показательный критерий доступность, число, масштаб клиентских отзывов
относительно всевозможных рабочих нагрузок Хранилища данных.
Такой продукт, как DBMS в угоду Хранилища, требует целого набора
свойств в угоду руководства значительными объемами информационных данных,
сложными моделями данных, независимыми ввиду конкретных приложений.
Подобные характеристики обычно должны быть получены лишь в наличии
обширного опыта в области включения продукта, а в свою очередь глубокого
понимания потребностей пользователей.
Инструментарий интеллектуального исследования данных. Каким образом
осуществляется доступ к данным, как они используются целиком определяется
55
потребностями, навыками специалистов отдельных направлений бизнеса. в угоду
тех, кому необходимо принимать решения на базе исследования данных, рынок
предлагает инструменты, которые они должны использовать должны
варьироваться ввиду простых инструментов готовой отчетности до чрезвычайно
сложных инструментов исследования данных. Иногда современная
инфраструктура в свою очередь предоставляет «двигатели» (engines) в угоду
автоматического принятия решений, исполнения действий, а в свою очередь
инструменты исследования данных. Рисунок №9 иллюстрирует зависимость
размера сообщества в угоду определенной группы инструментов, методик ввиду
сложности этих инструментов. Самый простой способ донести информацию до
бизнесаналитика использование предварительно определенных форм отчетов, в
которых отображаются ключевые показатели эффективности. Отчеты имеют
ограниченную гибкость в данных, которую возможно про сматривать, но они
обеспечивают возможность стать потребителями данных широкому сообществу
пользователей. Инструментарий отчетности, используемый разработчиками,
генерирует SQL-запросы в угоду запроса данных. Разработчики часто судят о
качестве инструментальных средств построения отчетности по причине ясности
представления показателей эффективности, а в свою очередь по причине легкости,
гибкости процедур генерации, публикации, распространения отчетов. Например,
большинство шаблонов отчетов поддерживает публикацию в форматах PDF, DOC,
XML, XLS.
Рисунок №9 Размер сообщества разработчиков, пользователей.
56
Специальные запросы, инструменты исследования обеспечивают большую
степень гибкости, так как бизнес-аналитики должны создавать свои собственные
«что, если» вопросы путем самостоятельного обращения к таблицам. Разработчики
должны создавать метаданные, чтобы перевести имена таблиц в значимые бизнес-
ориентированные описания данных. Легкость, с которой пользователи ИС должны
обращаться к данным, в свою очередь зависит ввиду лежащей в базе базы данных
схемы. Как было рассмотрено ранее, схема «звезда» с измерениями, иерархическая
схема являются удобными в угоду навигации. Типичные специализированные
запросы, инструменты анализа, отчетности возможно увидеть в использовании
таких решений, как Oracle Business Intelligence Foundation Suite, SAP Business
Objects, IBM Cognos, MicroStrategy, Tableau, QlikView, Pentaho, Tibco Jaspersot.
Безусловно, многие должны сказать, как Microsot Excel является наиболее
популярным инструментом в угоду исполнения такого рода работ, но подавляющее
большинство организаций применяет широкий спектр инструментов исследования
данных ввиду всевозможных производителей. Некоторые специалисты бизнес-
анализа имеют дело с огромными объемами данных, в этом их задача выявить
скрытые закономерности и/или спрогнозировать будущие значения целевых
показателей по причине этим данным. Число таких специалистов неуклонно
растет. Методы исследования варьируются ввиду простых статистических
расчетов, изучаемых в университете (среднее значение, стандартное отклонение,, т.
д.) до сложных математических моделей, основанных алгоритмах
интеллектуального исследования данных. Статистические функции, с которыми
работают бизнес-аналитики, возможно разделить на следующие виды: простые
статистические функции, такие как суммирование, сортировка, упорядочивание,
построение гистограмм; определение плотности вероятности, дискретной
вероятности; специальные функции (такие как гамма-функция); тестовые функции
(такие как хи-квадрат, простая, взвешенная каппа-функция, функция корреляции).
Алгоритмы интеллектуального исследования данных используются в случае, когда
необходимо понять, какие переменные имеют решающее значение в угоду точного
прогнозирования результатов, в определении прогнозных моделей, которые
впоследствии будут использованы в угоду прогнозирования результатов. Такие
модели часто применяются там, где присутствуют сотни переменных, но лишь