Диплом: Автоматизация выгрузки аналитических данных с интернет-ресурса в корпоративную базу данных компании АО «Цифровой диван»

Внимание! Если размещение файла нарушает Ваши авторские права, то обязательно сообщите нам
57
основании представленных критериев и требования обеспечить надежное
хранилище данных.
Есть несколько способов связи между данными, а именно:
• Иерархическая модель;
• Сетевая модель;
• Реляционная модель.
Главными элементами в каждой модели являются таблицы.
Иерархическая модель представляет собой графовую модель с
таблицами-вершинами. В таких моделях имеется файл, являющийся входом в
структуру. Между другими различными файлами устанавливаются отношения
соподчиненности. У каждого файла может быть главная вершина и несколько
подчиненных. Тип отношений, наиболее часто используемый – это один-ко-
многим (1:М).
В сетевых моделях каждый файл может являться точкой входа в
разработанную систему, а он связан с другими файлами с отношениями один-к-
одному (1:1), один-ко-многим (1:М) и многие-ко-многим (М:М).
Наиболее часто используемой моделью данных стала реляционная
модель. При ее использовании вся нужная информации представляется в виде
таблиц с колонками и ячейками, а также их отношениями. Между таблицами,
то есть отношениями могут быть установлены связи 1:М и М:М. Любое
отношение имеет свой определенный ключ (поле), который однозначно
идентифицирует эту запись. Благодаря этому свойству реляционной модели, не
допускаются копии уже имеющихся данных, позволяет ускорить поиск объекта
и доступ к нужным данным.
В реляционной модели данных организовано особое структурирование и
поддержание целостности данных, что легко позволяет адекватно организовать,
а также упорядочить процесс любой сложности, в рамках которого требуется
спроектировать и реализовать базу данных, а реляционные операции являются
58
мощными инструментами для управления данными и их обработки.
На основании всех вышеописанных преимуществах, в компании была
выбрана реляционная модель базы данных, которую мы будем использовать
для реализации автоматизированного процесса, как хранилище полученных
данных.
1.4.2. Обоснование проектных решений по программному обеспечению
Программное обеспечение (ПО) включает в себя набор программ, с
помощью которых можно реализовать требуемые функции и задачи
информационной системы, обеспечивающие стабильную работу предприятия.
В состав ПО входят системные программы и специальные, а в дополнение к
ним добавляются инструктивно-методические материалы для понимания
работы с этими программами.
К системному (общему) программному обеспечению относятся
программы, которые используются для организации и выполнения рабочего
процесса, наиболее часто встречающегося в рамках деятельности широкого
круга лиц. Такие программы позволяют расширить функционал ПК,
автоматизировать некоторые процессы, например, планирование очередности.
Специальное программное обеспечение состоит программ, которые
разрабатываются под конкретные нужды. Такое ПО включает в себя набор
прикладных программ, посредством которых можно корректно организовывать
и обрабатывать определенные данные.
При выборе ПО важнейшим фактором является используемая
операционная система, так как каждая версия ОС обладает различными
системными (техническими) требованиями для стабильной и быстрой работы,
отвечает за поддержку различных программ и приложений, их запуск и
выполнение, обеспечивает защиту данных, обладает набором функций и
сервисов. Любая программа использует те технические средства, которые ей
предоставляет операционная система, поэтому при выборе важно учитывать
совместимость актуальных программных решений, их одновременная
59
корректная работа.
В рамках автоматизации рабочего процесса не требуется выбирать
операционную систему, поскольку её ранее уже выбрали специалисты,
проектирующие техническое и программное оснащение АО «Цифровой диван».
Для персональных компьютеров в компании используется самая новейшая
операционная система от Microsoft – Windows 10.
Microsoft Windows 10это последняя на текущий момент
операционная система от корпорации Microsoft, которая находится в открытой
продаже. Она разработана специально для ПК и рабочих станций, а также эта
система стала единой для разных устройств, не только ПК и ноутбуки, но и
смартфоны и планшеты, а также консоли. Система обладает рядом
преимуществ:
• Дружелюбный интерфейс;
• Отличная защита системы;
• Высочайшая стабильность;
• Превосходная совместимость;
• Полноценная многооконность;
• Хорошее наполнение из коробки;
• Регулярные обновления безопасности;
• Поддержка сторонними разработчиками;
• Целевая система для различного программного обеспечения.
ОС более чем подходит для реализации поставленной задачи, имея на
борту нужный функционал, достаточную защиту, отличную совместимость с
различными программами и высокую стабильность.
На серверном компьютере установлена ОС от Microsoft семейства
Windows Server – Windows Server 2016. Эта система стала аналогом
одновременно разрабатывающейся Windows 10 для серверных машин.
Ключевые особенности:
• Дружелюбный интерфейс;
60
• Отличная защита системы;
• Превосходная совместимость;
• Регулярные обновления безопасности;
• Обновления ОС хостов кластера без его остановки;
• Синхронная повторение хранилищ на уровне блоков с поддержкой
географически распределенных кластеров;
• Виртуальный сетевой контроллер;
• Высочайшая стабильность системы;
• Превосходная защита от сбоев на уровне хранилища;
• Полноценный Storage Quality of Service (QoS);
• Новый Hyper-V. Позволяет использовать альтернативные аккаунты;
• Протокол удалённого управления;
• Обновление Integration Services через Windows Update;
• «Горячее» добавление любых сетевых карт и оперативной памяти;
• Поддержка OpenGL и OpenCL для удаленного рабочего стола;
• Совместимость с режимом Connected Standby;
• IIS 10: Добавлена поддержка протокола HTTP/2;
Windows PowerShell 5.0.
Система соответствует необходимым требованиям компании для
серверной машины, исходя ее распространённости и неоспоримых
преимуществ.
Выбор системы управления баз данных (СУБД) представляет из себя
трудоемкую задачу, которая является важным этапом в процессе разработки
приложений, требующих в своем распоряжении базу данных. Определяется на
основании нескольких факторов, включая актуальность, текущую и будущую,
совместимость с ПО, эффективность с точки зрения финансов.
Самый простой подход в процессе выборе СУБД основан том, насколько
действующие системы соответствуют требованиям разрабатываемого продукта,
а самый сложный и затратный в плане финансов – испытания продукта на
61
нескольких различных СУБД и выбор наилучшего кандидата. Однако от
стандартных критериев подбора не рекомендуется отказываться, чтобы сузить
круг баз данных и сэкономить время и финансы. Основные критерии:
• Функционал;
• Архитектура;
• Производительность;
• Моделирование данных;
• Стабильность и надежность;
• Контроль работоспособности системы;
• Особенности разработки новых приложений;
• Системные требования для полноценной работы.
Основный принцип выбора системы управления базами данных –
понять, насколько хорошо и полноценно возможности СУБД будут
соответствовать будущему программному комплексу. Эта задача далеко не
самая простая, поскольку предъявляется огромное количество различных
требований, которые в процессе разработки и эксплуатации могут несколько
раз измениться, разные СУБД имеют множество параметров для сравнения,
нередко описание СУБД представляет из себя рекламную акцию для
привлечения клиентов.
Рекомендуется производить выбор СУБД в несколько этапов:
• Оценить предлагаемый комплекс ПО, насколько хорошо он подходит
для разработки;
• Оценить основные технические характеристики систем;
• Оценить скорость работы и общую производительность ПО.
Насколько хорошо подходит комплекс программного обеспечения,
можно оценить по таким показателям, как:
• Разработчик СУБД. Чем известнее и лучше разработчик, тем выше
качество предоставляемой продукции, лучше поддержка, качество
документации, ее количество;
62
• Роли и права пользователей (администраторы, разработчики,
пользователи; возможность создавать, изменять, удалять
таблицы/данные и прочее);
• Удобство использования и простота настройки (процесс установки и
настройки программ, простой и понятный интерфейс, легкость и
скорость выполнения стандартных операций (создание баз данных и
таблиц, управление ими, настройка подключений, добавление
пользователей, распределение ролей и установка прав, наличие
особенностей при написании запросов и их выполнении), система
обучения персонала, справка и подсказки в процессе работы);
• Модель представления данных. На текущий момент реляционная модель
не теряет своей актуальности и по-прежнему является самой популярной
за счет ряда преимуществ, однако не стоит забывать и про модели с
объектной ориентацией, которые обладают существенными
возможностями в плане отражения семантики и выдающейся
предметной области;
• Средства защиты и контроля правильности базы данных. Функции
защиты должны устанавливаться администраторами и доверенными
пользователями. Правильность данных обеспечивается уникальным
ключом для каждой записи (он может быть скрытым и использоваться
для различных функций), наличием автоматического контроля
целостности данных (связи между таблицами в процессе обновления
данных, вставки и/или удаления, проверка соответствия значений;
• Коммуникационные средства. Это поддержка сетевых протоколов,
стандартных интерфейсов, средства для совместной работы с базой
данных, возможность использовать и поддерживать базы данных иных
форматов без импортирования и/или преобразования;
• Оценка скорости работы баз данных. Производится с помощью тестов,
которые входят в состав мирового ANSI SQL Standard Scalable and
Portable (AS3AP).
63
Рассматриваемой компанией ранее было принято решение использовать
СУБД Oracle Database 11g, поскольку она полностью соответствует рабочим
процессам компании, является одной и самых высокопроизводительных, имеет
хорошую систему ролей и прав, наличие у каждого пользователя схем с
таблицами, функциями, представления и прочим, проста и удобна в настройке,
есть стандартное и стороннее (Oracle SQL Developer и PL/SQL Developer)
решения для работы с данными, поддержка современных стандартов SQL со
своими дополнительными возможностями, дополнительной логикой запросов,
встроенным оптимизатором и планом запросов, которые значительно
облегчают разработку и работу с данными, позволяя оптимизировать код,
отличная интеграция с программными продуктами Microsoft, наличие
драйверов ODBC, экспорт результатов запросов в формате .xlsx, возможность
копировать написанный код специально под различные языки
программирования, включая необходимый для автоматизации VBA, обладает
встроенной утилитой SQL*Loader.
Для реализации автоматизированной загрузки, преобразования и
выгрузки данных будут использоваться продукты, которые уже
продолжительное время являются частью рабочих процессов, а именно
интегрированный в операционную систему, SQL*Loader, поставляемый с
СУБД, Microsoft Excel, входящий в пакет Microsoft Office и используемый
различными отделами для работы с таблицами, отчетами, функции и прочим.
Такое решение принято на основании того, что эти средства обладают всему
необходимыми возможностями, а именно написание макросов на языке VBA
для автоматизации любого процесса, работа с файлами xlsx и csv, которые
нужны для чтения информации и выгрузки в базу данных, утилита для
осуществления такой задачи с очень высокой скоростью, а самое главное, что
эти программы не требуется устанавливать или внедрять на предприятие –
экономия ресурсов. Все используемые программы были описаны ранее.
1.4.3. Обоснование проектных решений по техническому обеспечению
Техническое обеспечение — комплекс средств, необходимых для
64
корректного функционирования рабочих процессов, в который входят
персональные компьютеры, сетевые технологии, средства связи, оргтехника и
прочее. Вид и качество используемых средств влияет на тип обрабатываемых
данных для того или иного рабочего процесса, а также производительность
этого процесса.
Комплекс средств, используемых на предприятии, состоит из:
• Персональные компьютеры (ПК) с необходимым набором
периферийных средств (мониторы (1-3 шт на ПК), клавиатуры, мыши),
10 тыс. шт.;
• Сервер, 1 шт.;
• Многофункциональные устройства (МФУ) (принтер-сканер-копир-
факс), 3 тыс. шт.;
IP АТС (автоматическая телефонная станция), 100 шт.;
• Стационарные IP-телефоны, 11 тыс. шт.;
• Маршрутизаторы и коммутаторы, 1,5 тыс. шт.;
• Роутеры с беспроводной точкой доступа, 100 шт..
Полномасштабную оценку технической архитектуры, которая
реализована на предприятии, была произведена ранее. Компания выбрала и
установила самые свежие технологически решения без какой-либо экономии
средств, не рассматривая менее надежных и быстрых альтернатив,
позволяющих сэкономить, необходимые для работы устройства, в связи с чем
этого более, чем достаточно для решения процессов любой сложности, будь то
ввод текста и печать или разработка программ и рендеринг видеозаписей.
65
2. Проектная часть
2.1. Разработка проекта автоматизации
2.1.1. Этапы жизненного цикла проекта автоматизации
Жизненный цикл является основой методологии проектирования любых
информационных систем. Он представляет собой процесс, который начинается
с момента принятия решения о создании информационной системы и
заканчивается вводом системы в эксплуатацию.
Жизненный цикл охватывает абсолютно все стадии и этапы создания
информационной системы, а также сопровождения и развития:
• Концепция. Исследовать предметную область, реализовать
информационную и функциональную модели будущей системы.
Разработка проектного решения, ТЗ;
• Планирование. Создание планов разработки проекта, на основании
выработанной концепции;
• Разработка. Реализация информационной системы, согласно проекту и
ТЗ;
• Стабилизация. Тестирование разработанного решение на наличие
ошибок (багов) и их решение;
• Внедрение. Ввод в эксплуатацию готового продукта и его поддержка,
обучение персонала, помощь на первых этапах в работе.
Этапы жизненного цикла напрямую зависят от того, какая модель
жизненного цикла будет выбрана.
На текущий момент существует множество разных стандартов, которые
66
перечисляют и описывают этапы цикла, которым рекомендуется следовать в
процессе разработки. Рассмотрим основные:
• ГОСТ 34.601-90. Является наиболее распространённым стандартом на
территории РФ. Подходит для реализации автоматизированных систем,
подробно описывает этапы создания, а также стадии развития. Содержит
подробную детализацию каждого этапа и стадии, которые наиболее
соответствуют каскадной модели жизненного цикла;
• ISO/IEC 12207:2010. Стандарт, разработанный ISO, который указывает
на основные процессы и организацию жизненного цикла. Его можно
применить к любому виду заказного программного обеспечения. Не
содержит какого-либо описания этапов, стадий, фаз разработки, а также
не имеет конкретной модели жизненного цикла;
Custom Development Method. Методика, созданная компанией Oracle.
Фактически, технологический материал, который подробно
детализирован вплоть до уровня заготовок любых проектных
документов, подразумевающих использованием программного
обеспечения от Oracle. Подразумевает использование трех моделей
жизненного цикла, фактически, каскадных: Classic (классическая
разработка), Fast Track (быстрая разработка), Lite (облегченная
разработка). Последние две модели предлагаются для небольших
проектов, а первая рассчитана на крупные;
• Rational Unified Process (RUP). Включает в себя 4 основные фазы
разработки ПО: начало, исследование объекта, построение, внедрение.
Подразумевает под собой итеративную модель разработки. Фаза
разбивается на итерации (этапы), результатом которых являются 2
версии ПО для внутреннего использования и внешнего. Циклом
разработки является проход через эти 4 фазы, а каждый цикл
завершается готовой версией системы. В случае продолжения работы
над проектом, цикл повторяется вновь. RUP заключается в создании и
сопровождении UML-моделей;

Смотрите также:

"Автоматизация обработки заявок ООО "Проектно-Строительная Компания"
"Автоматизация процесса аттестации персонала для ООО "Нэт Бай Нэт Холдинг"
"Анализ интернет-активности конкурентов ( на примере конкурентов "Газпром нефть")
"Бухгалтерский учёт и аудит расчётов с подотчётними лицами в организации на примере ООО "ЛОЦ 10""
«Психологическое сопровождение персонала в организации на примере ООО «Крокус»
«Управление ресурсами проекта» (на примере организации ООО «ЛАКОСТЭ»)
Agile-методология в управлении проектами на примере ООО «Ресурсный центр «Академия КлассИнфо»
Aвтoмaтизaция пpoцecca вeдeния инфopмaциoннoй бaзы o дoлжнocтяx и вaкaнcияx c укaзaниeм тpeбoвaний к уpoвню знaний и нaвыкoв кaндидaтoв для гpуппы кaдpoв вoйcкoвoй чacти 3474»
Cовершенствование деловой оценки персонала в организации (на примере ООО "Даймонд кейтеринг развитие")
Cовершенствование управления рентабельности предприятия (на примере гуипп «бендерская типография «полиграфист»)