Диплом: Автоматизация выгрузки аналитических данных с интернет-ресурса в корпоративную базу данных компании АО «Цифровой диван»

Внимание! Если размещение файла нарушает Ваши авторские права, то обязательно сообщите нам
37
2. Шаблоны политики прав. При наличии общего набора прав,
применяющихся для ограничения доступа к информации, можно
реализовать соответствующий шаблон политики этих прав на
использование данных, а затем применить его к любому содержимому.
В таком случае не понадобится каждый раз создавать параметры прав
для каждого файла, доступ к которому нужно ограничить. Эта служба
защищает от несанкционированного доступа к любой информации,
использующейся компанией (данные клиентов, финансовая
информация, программное обеспечение и прочее);
3. Встроена в систему – не требует дополнительной интеграции.
В АО «Цифровой диван» установлен межсетевой экран Cisco ASA 5500,
который обеспечивает нужную прозрачность сети, великолепную защиту от
угроз и вредоносного программного обеспечения повышенной сложности, а
также высокий уровень автоматизации, позволяющие сократить расходы и
упростить инфраструктуру. Особенности:
Детализированный мониторинг и контроль;
Надежную защиту от различных интернет-угроз;
Система предотвращения вторжений (IPS);
Комплексную защита от угроз и модифицированного вредоносного ПО;
Встроенное решение Cisco AnyConnect для удаленного доступа.
Действующий в банке Cisco AnyConnect VPN Client предоставляет
сотрудникам возможность работать в системах банка на корпоративных
устройствах и на личных в любое время и в любом месте. AnyConnect
реализует безопасный доступ с любых устройств и дает нужную защиту
компании.
Для контентной фильтрации используется специальная система
SkyDNS, которая является удобным и вполне экономичным решение для
защиты от различных онлайн-угроз на уровне корпоративной сети, а также
управления интернет-доступом в любых учреждениях.
38
За антивирусную защиту отвечает Kaspersky Security. Современный
антивирус с регулярными обновлениями вирусной базы, отличной поддержкой,
который прекрасно справляется со своими обязанностями.
В банке используется система обнаружения уязвимостей сетей и
анализатор сетевых атак RealSecure 3.0. Особенности этой системы:
Множество распознаваемых атак;
Шаблоны фильтрации трафика;
Централизованное управление модулями слежения;
Фильтрация и анализ большинства сетевых протоколов;
Фильтрация сетевого трафика по любому протоколу, всем портам и IP-
адресам как отправителя, так и получателя;
Множество вариантов реагирования на атаки;
Аварийное отключение соединения с атакующим узлом;
Управление межсетевыми экранами и маршрутизаторами;
Сценарии по обработке атак;
Генерация SNMP-последовательностей;
Запись атаки;
Защищенное соединение между компонентами системами и другими
устройствами;
База данных по всем обнаруживаемым атакам;
Не снижается производительность сети;
Протокол ODBC.
В офисах компании установлены камеры видеонаблюдения, а также
звукозаписывающие устройства, позволяющие на постоянной основе следить за
обстановкой на предприятии, записывать видео- и аудиозаписи, что позволяет
мгновенно реагировать на различные ситуации. Управление этим
оборудованием осуществляется из разработанной банком программы
CamViewer.
39
Постоянную поддержку информационной безопасности, включая
защиту информации осуществляет специализированный сектор компании,
подчиняющийся службе безопасности банка. Начальник службы безопасности
отвечает за контроль и работоспособность этого сектора и их успешную
деятельность.
Обеспечение информационной безопасности и защиты информации
располагается на двух уровнях:
1. Программный уровень. Microsoft Windows Server 2016, Active Directory:
• Права доступа к ОС Microsoft Windows 10, Windows Server 2016;
• Права пользователя внутри системы для различных файлов, каталогов
и ПО;
• Защита паролями к различным ПО, таким как антивирус, база данных
и прочее;
• Полное логирование всех изменений в системе, действий
пользователей.
2. Аппаратный уровень. Резервное копирование действующего сервера
(бэкап).
Обеспечение защиты интернет-ресурса АО «Цифровой диван»
осуществляется следующими действиями:
• Ежемесячная смена пароля для доступа к управлению ресурсом (CMS);
• Ежемесячная смена пароля доступа к базе данных Oracle;
• Ежемесячная смена пароля доступа к файлообменному серверу (FTP);
• Еженедельный бэкап имеющихся данных (БД, файлов на FTP).
Служба безопасности банка постоянно занимается мониторингом
различных по опасности угроз информационной безопасности:
Программные ошибки. Могут вызвать потерю данных и остановить
рабочие процессы компании;
40
Аппаратные сбои. Могут вывести из строя рабочую единицы, чем могут
воспользоваться злоумышленники и остановить рабочие процессы;
Хакерские атаки. Могут получить доступ к конфиденциальной
информации, контролю над системами банка;
Вирусные атаки. Могут получить доступ к конфиденциальной
информации, контролю над системами банка;
Утечка информации. Может привести к потере различной степени
конфиденциальности данных, таких как инсайдерская информация,
клиентские данные, финансовые данные и др.;
Нарушение внутренних регламентов информационной безопасности.
Несоблюдение установленных правил приводит к
несанкционированному копированию данных, вынос рабочего
оборудования за пределы офисов, передаче конфиденциальной
информации по почте, выгрузке в сеть.
Для противоборства этим угрозам АО «Цифровой диван» использует
самые современные и обширные методы защиты. За работу всех систем
безопасности отвечает соответствующая служба внутри банка на постоянной
основе 24/7, чтобы минимизировать вероятность прорыва угроз и утечке
конфиденциальной информации. Разграничиваются права, запускаются разные
системы защиты, ограничивается доступ в интернет, к различным файлам,
возможность подключения сторонних накопителей, копирования данных на
них, включая некоторых типов данных на сертифицированные накопители,
использующихся только внутри компании, подключение мобильных устройств,
планшетов и прочего оборудования.
Однако, даже при современных методах защиты есть вероятность
утечки данных, поскольку всегда имеются дыры в системах безопасности,
недобросовестные и забывчивые сотрудники, программные и аппаратные сбои,
вирусы, хакеры, поэтому в таких случаях компания может понести
значительные потери, как финансовые, так и клиентские. Если какой-либо
41
случай будет связан с сотрудником банка, будут применены соответствующие
санкции в зависимости от тяжести понесенных потерь:
1. Предупреждение – без последствий;
2. Выговор или строгий выговор – незначительные потери;
3. Штраф или вычет из зарплаты – финансовые потери, средние потери;
4. Увольнение – повторное нарушение;
5. Уголовная ответственность – значительные потери, крупные
финансовые потери.
1.3. Анализ существующих разработок и выбор стратегии автоматизации
«КАК ДОЛЖНО БЫТЬ»
1.3.1. Анализ существующих разработок для автоматизации задачи
Для преобразования данных в системе будет использоваться имеющийся
на всех персональных компьютерах предприятия Microsoft Excel, который
входит в пакет программ Microsoft Office, поскольку его не нужно внедрять –
на нем работает вся компания, отличная интеграция в системе, а также наличие
мощного языка программирования для создания макросов VBA. Сравним его с
ближайшим аналогом LibreOffice Calc в таблице 11.
Таблица 11
Сравнение Microsoft Excel и LibreOffice Calc
Параметр
Microsoft Excel
LibreOffice Calc
Интерфейс
Интерфейс программ во многом аналогичен,
пользователю легко будет ориентироваться в Calc
после Excel и наоборот. Стоит отметить, что интерфейс
LibreOffice Cacl больше похож на интерфейс Microsoft
Excel 2003. В плане удобства, нужна небольшая
адаптация при переходе с той или иной прикладной
программы
+
-
42
Параметр
Microsoft Excel
LibreOffice Calc
Скорость работы
Бесплатный аналог Excel – Calc значительно уступает в
скорости обработки документов, особенно сильно это
заметно при работе с крупными файлами,
занимающими по несколько десятков тысяч строк и
множество столбцов
+
-
Функционал
По функционалу оба текстовых процессора с
редактором таблиц идентичны. Разница лишь в том,
что в Calc все функции указываются только на
английском языке, что может замедлить работу на
начальных этапах до адаптации
Поддержка макросов
+
+
Встроенный язык
программирования
Visual Basic for Application
(VBA)
StarBasic (аналог VBA от
LibreOffice)
Стоимость
800 руб./мес. на
пользователя в рамках
подписки Microsoft 365
бизнес стандарт
Бесплатно
Microsoft Excelпрограмма для работы с электронными таблицами,
созданная корпорацией Microsoft. Она предоставляет возможности
экономических и статистических расчетов, множество графических
инструментов, язык программирования различных макросов VBA (Visual Basic
for Application). Также Excel входит в состав пакета Microsoft Office.
Выгружать данные в базу данных, исходя из выбранной ранее
программы для одной из частей автоматизации, можно двумя способами:
1. Microsoft Excel со встроенным в написанный макрос SQL- код с
заданными параметрами;
2. Запуск из-под макроса Excel встроенной в Oracle Database утилиты
SQL*Loader с настроенным файлом загрузки данных.
Сравним оба способа выгрузки в таблице 12.
Таблица 12
Сравнение Microsoft Excel и SQL*Loader
Параметр
Microsoft Excel
SQL*Loader
43
Сложность
реализации
Для работы SQL-кода
необходимо написать макрос
на языке программирования
VBA. Достаточно знать
параметры подключения к
базе данных, вставить SQL-
код, пересекающийся с
данными из файла с
информацией.
Всё, что нужно для работы
SQL*Loader – это пара
настроенных файлов, в
одном указано откуда брать
данные и простой SQL-код, а
во втором параметры
запуска. В макросе Excel
запускается второй файл с
параметрами
+
-
Скорость работы
На вставку 100 000 строк
может уйти до 15 минут
На вставку 100 000 строк
требуется всего 10 секунд
-
+
Стоимость
800 руб./мес. на
пользователя в рамках
подписки Microsoft 365
бизнес стандарт
Бесплатно
Способ посредством SQL*Loader отличается высочайшей скоростью, в
связи с чем, несмотря на более высокую сложность реализации, для решения
этой задачи будет использоваться связка из Microsoft Excel и SQL*Loader.
SQL*Loaderэто отличный инструмент для импорта различных
данных из файла в определённом формате в базу данных, разработанный
компанией Oracle.
Особенности:
1. Управляющий файл CTL;
2. Запуск импорта данных;
3. Опции командной строки;
4. Данные для загрузки непосредственно в управляющем файле;
5. Данные с разными разделителями в данных, а также форматирование
даты.
Возможности SQL*Loader:
1. Загрузка данных из различных файлов в одной и той же сессии;
2. Загрузка данных в различных таблицы в одной и той же сессии;
44
3. Указание кодировки файла данных;
4. Использование SQL-функций перед загрузкой;
5. Генерация уникальных ключей для колонок;
6. Ограничение вставляемых данных по условию;
7. Загрузка двоичных данных;
8. Запись ошибочных данных в специальный лог-файл.
Для загрузки данных с интернет-ресурса подойдут различные браузеры,
а именно наиболее известные и распространенные Google Chrome, Yandex
Browser и старичок Microsoft Internet Explorer, встроенный в операционную
систему. Сравнение браузеров представлено в таблице 13.
Таблица 13
Сравнение браузеров
Параметры
Google Chrome
Yandex Browser
Internet
Explorer
Установка
2 минуты
3 минуты
Встроенный
Поддержка
Автоматические
обновления
Автоматические
обновления
Отсутствует
Интерфейс и
удобство
Минимализм,
простой и удобный
интерфейс
Нагруженный
интерфейс,
различные
расширения
Устаревший и
неудобный
интерфейс
Функционал
Имеется множество
различных
настроек,
синхронизация с
сервисами Google
Имеется множество
различных настроек,
но чуть больше, в
сравнении с Chrome,
синхронизация с
сервисами Yandex
Минимальная,
необходимая для
работы с веб-
страницами
Скорость
работы
Высокая скорость
работы, требуется
много оперативной
памятия
Высокая скорость
работы, требуется
много оперативной
памятия
Средняя скорость
работы,
минимальные
требования
45
Интеграция
Сторонний продукт,
не имеет
полноценной
интеграции в
системе
Сторонний продукт,
не имеет
полноценной
интеграции в системе
Встроен в
систему, имеет
интеграцию с
другими
продуктами
Microsoft, такими
как Excel через
VBA
Выводы
Работа в Google Chrome и Yandex Browser
практически ничем не отличается. Разница
доступных расширениях и настройках.
Имеется синхронизация данных. Платформы
идентичны. Скорость работы высокая, как и
стабильность, однако, нет мощной
интеграции с сервисами Microsoft
Скорость работы
средняя, нет
расширений и
снихронизации,
необходим
Internet Explorer
только для
устаревших
интернет-
ресурсов, а также
для интеграции в
различные
сервисы Microsoft,
что нам и нужно,
так с
интерфейсом
работать нет
нужды
Стоимость
Бесплатно
Для автоматической загрузки данных с интернет-ресурса был выбран
Microsoft Internet Explorer в связи с хорошей интеграцией в системе и с
продуктами Microsoft.
Google Chromeбраузер, разрабатываемый компанией Google на
основе свободного браузера Chromium, а также движка Blink [16].
Яндекс.Браузербраузер, созданный компанией «Яндекс» на основе
того же движка Blink, который используется в открытом браузере Chromium
[16].
Internet Explorerбраузер, созданный корпорацией Microsoft. Входил
в комплект ОС Windows до Windows 10, где её сменил Microsoft Edge, однако
по-прежнему оставался в системе [16].
1.3.2. Выбор и обоснование стратегии автоматизации задачи
Есть несколько основных стратегий автоматизации выбранной задачи, а
46
именно загрузки, преобразования и выгрузки данных:
1. Стратегия «Параллельное использование»;
2. Стратегия «Скачок»;
3. Стратегия «Пилотный проект»;
4. Стратегия «Узкое место».
Описание каждой стратегии, все достоинства и недостатки представлены
в таблице 14.
Таблица 14
Стратегии автоматизации
Стратегия
Описание
Плюсы и минусы технологий

Смотрите также:

"Автоматизация обработки заявок ООО "Проектно-Строительная Компания"
"Автоматизация процесса аттестации персонала для ООО "Нэт Бай Нэт Холдинг"
"Анализ интернет-активности конкурентов ( на примере конкурентов "Газпром нефть")
"Бухгалтерский учёт и аудит расчётов с подотчётними лицами в организации на примере ООО "ЛОЦ 10""
«Психологическое сопровождение персонала в организации на примере ООО «Крокус»
«Управление ресурсами проекта» (на примере организации ООО «ЛАКОСТЭ»)
Agile-методология в управлении проектами на примере ООО «Ресурсный центр «Академия КлассИнфо»
Aвтoмaтизaция пpoцecca вeдeния инфopмaциoннoй бaзы o дoлжнocтяx и вaкaнcияx c укaзaниeм тpeбoвaний к уpoвню знaний и нaвыкoв кaндидaтoв для гpуппы кaдpoв вoйcкoвoй чacти 3474»
Cовершенствование деловой оценки персонала в организации (на примере ООО "Даймонд кейтеринг развитие")
Cовершенствование управления рентабельности предприятия (на примере гуипп «бендерская типография «полиграфист»)