17
1.1.3. Программная и техническая архитектура ИС предприятия
Для организации программной архитектуры ИС предприятия будет использована
уже имеющаяся модель, так как я не имею права ни на изменение структуры сети,
ни на установку дополнительного программного обеспечения, или даже создания
баз данных, не зависимо от того, что MS SQL и Postgresql на предприятии
используется, но каждая база данных, установка программного обеспечения, либо
операционных систем должна быть согласована с управлением безопасности
филиала, управлением безопасности головного предприятия, отделом
информационных технологий головного предприятия, которые в свою очередь
согласовываются с АО «НПК «Техмаш» и не должны содержаться в списке
запрещенных ОС или ПО, государственной корпорации Ростех, должны
содержаться в списке рекомендованных ОС или ПО государственной корпорации
Ростех и/или министерства связи. И естественно не может идти речи о закупке
программного обеспечения, так как всё что связано с темой автоматизация — это
статья расхода, не относящаяся к расходам из запланированного бюджета отдела,
это отдельная статья, которая у нас может быть связана исключительно с
выполнением госзаказа. За семь лет работы на оборонном предприятии я убедился,
что сложившаяся здесь бюрократическая ситуация напоминает фразу из фильма
«Девушка без адреса»: «Над нашей конторой есть ещё одна контора, которая
главнее нашей…». При всём этом никто не запрещает использовать в своих нуждах
то, что имеется для автоматизации собственно работы отдела, где я и работаю, если
при этом это не вызовет затрат вовсе, а согласовывать практически ничего не
придётся. От себя добавлю, что сделать можно что угодно, главное знать, как
вертеться в этой замшелой бюрократии, где все только и норовят отпинать от себя
и не брать ответственность.
Итак, автоматизировать я буду приём заявок от пользователей, который в данный
момент выглядит как рукописная запись в строку журнала учета заявок под
роспись. Для этого необходимо организовать доступ к подаче и просмотру
поданных заявок, то есть к серверной части всех участников всех имеющихся
подсетей. На предприятии рабочие места условно можно разделить на четыре
группы:
1) Рабочие места с доступом к сети Интернет
2) Рабочие места с доступом к закрытой сети
3) Рабочие места без доступа к сети
4) Секретные, аттестованные рабочие места
Сети (так как они физически разделены) можно разделить на две группы:
1) Сеть с доступом в Интернет
2) Закрытая сеть, содержащая коммерческую тайну
18
Сети физически разделены, а для переноса информации между ними, согласно
распоряжению Техмаша используются пронумерованные CD-R диски, записанные
с финализацией сессии, которые в конце дня должны быть уничтожены.
Для упрощения передачи данных используется сетевая папка между NAS
серверами, при этом каждый из NAS подключен к своей сети (с Интернетом или
закрытой), а подключение между ними выполнено как кроссовер подключение к
отдельным внутренним интерфейсам серверов, а в отсутствии трансляции пакетов
или маскарадинга сервера «видят» друг друга, но не могут попасть в «соседнюю»
сеть. Доступ к сетевой папке предоставлен только сотрудникам отдела ИТ и со
стороны закрытой сети дополнительно контролируются DLP системой,
наименование которой я не имею права разглашать, но принцип работы
применительно к этой сетевой папке сводится к сканированию на совпадение, по
ключевым словам, паттернам и на соответствие цифровым отпечаткам созданных и
изменённых файлов. Такими системами являются, например, FalconGaze или
Стахановец. Эта сетевая папка и передача файлов через нее и будут являться
основной составляющей написанной мной системы, это позволит видеть
актуальные статусы заявок участникам обоих сетей.
Так как филиал состоит из нескольких площадок, расположенных в разных частях
города, а специалистом по безопасности поставлено ограничение на использование
системы в пределах внутренней сети, без доступа из вне придётся позаботится о
объединении ЛВС площадок. Стоит отметить, что закрытая сеть уже объединена
посредством криптошлюзов, модель (опять-таки условно) АПКШ Континент IPC-
100, туннелированием IPIP, и статической маршрутизацией. А вот сеть с доступом
в Интернет не объединена и учитывая меньшие требования к безопасности (так как
не содержит закрытой информации) может быть объединена посредством
имеющихся в наличии аппаратных или программных средств, дабы пользователи
удаленной площадки могли видеть свои заявки на только локально доступном
сервере. Главное условие, поставленное специалистом по безопасности не менять
адресность, а для обеих сетей это 192.168.222.xxx, с разницей лишь в последних
числах от одного до ста девяноста девяти для первой площадки и от двухсот на
второй. Объединение было запланировано давно, но из-за очень большой цены
разрешенных к использованию криптошлюзов и при этом отсутствии в сети
информации с хотя бы коммерческой тайной от них отказались, а так как большая
часть сетевого оборудования находится под запретом (например, оборудование D-
Link), то от аппаратного решения я отказался сразу, уж слишком часто выходят
запреты и рекомендации.
Для объединения я решил воспользоваться программным простым решением VPN
на канальном уровне с использованием мостов. За основу были взяты два сервера
установленные на обеих площадках мною около трех лет назад в качестве прокси
серверов на Squid3 на недавно вышедшем тогда Debian 8 Jessie, тогда я уже
19
использовал их для объединения локальных сетей, но в рамках одной площадки,
когда одно здание было подключено к сети Интернет посредством модема
провайдера Ростелеком, а другое посредством радио канала провайдера Флекс.
Теперь с приходом оптики по территории площадки необходимость в этом отпала,
но повторить, теперь с удаленной площадкой не составит труда и так как ни
Debian, ни в частности использованный мной VTun, ни тем более bridge-utils не
запрещены к использованию, то для объединения достаточно обосновать его
необходимость и автоматизация в любом виде, будет здесь что ни на есть валидна.
Для объединения я выбрал интерфейс tap - канальный уровень, так как tun работает
на сетевом уровне модели OSI, следовательно, дополнительно нуждается в
статической маршрутизации, хотя бы на самом сервере, а так как на данный
момент мои сервера стали резервными, уступив место рекомендованным к закупке
РосТех ИКС (Интернет контроль сервер) серверам, то далеко не всем клиентам
являются шлюзом по умолчанию, то и статической маршрутизацией на клиенте
тоже, что весьма трудоёмко и неудобно. Тут стоит отметить, что ИКС серверы
имеют очень удобный и простой веб интерфейс для создания VPN (Virtual Private
Network) туннелей IPIP и GRE, однако они так же работают на сетевом уровне
модели OSI, следовательно, нуждаются в статической маршрутизации, и если не
являются стандартным шлюзом, то и маршрутизации на клиенте, что крайне
неудобно. Решение же с VTun, кроме того, что оно простое и стабильное может
эмулировать Ethernet устройство и при объединении его мостом с реальным
Ethernet интерфейсом и последующей трансляции пакетов и маскарадинга,
настроенного в фаерволе, способно организовать «бесшовную» работу сети, как
если бы (условно) обе площадки были подключены к одному и тому же сетевому
коммутатору, при этом указание шлюза по умолчанию не нужно, ведь оперируем
на канальном уровне.
Прочие настройки по причине содержания внешних адресов я продемонстрировать
не могу, но по этой конфигурации общий принцип понятен.
На этом этапе объединение площадок закончено, и я хочу подытожить сказанное
выше:
1) Существует две сети, физически разделенные между собой, при этом между
NAS серверами (на них же располагаются БД), подключенными к разным
сетям есть общая сетевая папка, доступная только для сотрудников отдела
ИТ для обмена информации между сетями. Эта папка в последствии будет
использована для хранения там заявок, дабы пользователи из обеих сетей
смогли видеть актуальные данные, вне зависимости где они подали заявку и
где просматривают (в пределах внутренней ЛВС).
2) Существует две площадки, ЛВС которых объединены посредством VPN, в
случае с закрытой сетью лицензированным ФСБ и ФСТЭК аппаратно-
20
программным комплексом (в связи с содержанием информации
представляющей как минимум коммерческую тайну), другая открытая с
наличием доступа в сеть Интернет не содержащая ценных данных
объединена простым, но стабильным программным решением.
3) Третье это немаловажное для меня – огромная ограниченность в связи с
прохождением практики (и работы) на оборонном предприятии по
внедрению системы автоматизации заявок, в частности запрет на
использование базы данных (который в итоге не стал проблемой с
использованием текстовой базы), и разработка с нуля, дабы специалист по
безопасности мог удостовериться в отсутствии «закладок» и разрешить
тестирование и внедрение на заводе.
В заключение этой главы скажу, что оба сервера Apache в обеих сетях уже были
настроены мною еще много лет назад, единственное, что я обновил PHP до
актуальной 7.2.6 версии.
Ниже на рисунке 2 отображено общее представление программной архитектуры и
далее сноски и комментатии к нему.
21
Головное предприятие АО
«НПО «Прибор» г. Москва
Криптошлюз
3
Соболь
Криптошлюз
3
Соболь
Прокси
2
VTun
ПК
пользователей
1
Браузер
ПК
пользователей
1
Браузер
Прокси
2
VTun
Криптошлюз
3
Соболь
ПК
пользователей
1
Браузер
ПК
пользователей
1
Браузер
NAS сервер (сервер БД)
6
DLP Сервер
5
DLP
Веб-сервер
4
Apache 2.4
PHP 7.2.6
Веб-сервер
4
Apache 2.4
PHP 7.2.6
Сетевое
хранилище
NAS сервер(сервер БД)
6
Сетевое
хранилище
Производственная площадка филиала №2
.
Производственная площадка филиала №1
Рисунок 2. Представление программной архитектуры на предприятии.
Сеть Интернет
ethernet
ethernet
IPIP
IPIP
tap
http
http
ethernet
smb/cifs
smb/cifs
bridge
bridge
ethernet
ethernet
ethernet
ethernet
http
smb/cifs
ethernet
22
Сноски комментарии к рисунку 2.
1) ПК пользователей:
- ОС Windows 10 < 5%
- ОС Windows 7 примерно 45%
- ОС Windows XP примерно 48%
- ОС Windows 2000 и младше < 1%
- ОС *nix < 1%
- ПО Офисное на более 98% машин (MS, Libre, Open Office, Adobe Acrobat и тд.)
- ПО Конструкторское на более 50% машин (Catia, Compas, AutoCAD и тд.)
- ПО Специализированное на менее 2% машин (Deforma, CNC и тд.)
2) Прокси сервера:
- OC GNU/Linux Debian 8 “Jessie”
- ПО (основное) Squid3, VTun, iptables, isc-dhcp-server.
3) Криптошлюзы АПКШ континент IPC-100
4) Веб серверы:
- OC Windows 10
- ПО (основное) Apache 2.4, PHP 7.2.6.
5) DLP сервер:
- OC Windows Server 2012R2 DataCenter
- ПО FalconGaze SecureTower
6) NAS (Network Attached Storage) они же серверы БД:
- OC Synology Linux DSM 6.2
- Модель
Disk Staton DS3615xs в открытой сети (с доступом к сети Интернет)
- Модель Rack Staton RS816 в закрытой сети (без доступа к сети Интернет)
- БД - MariaDB
23
Техническая архитектура ИС предприятия
Сперва необходимо описать общую ситуацию с парком компьютерного
оборудования на предприятии, что как нельзя лучше отразит необходимость
использования уже имеющегося оборудования. Во-первых, это запрет на закупку
новых ПК и зачастую сетевых устройств. На самом деле запрета, как такового нет,
но имеет место «перегибы на местах», когда рекомендация к закупке
определенного аппаратного и программного обеспечения издаваемая Ростех и
отправленная в головное предприятие в Москве становится «истиной в последней
инстанции» в глазах руководства и доходит до филиалов в гипертрофированном
виде, уже не рекомендательного характера, а руководства к исполнению.
Например, рассмотрим такую ситуацию - в кабинете N появился новый сотрудник,
ему нужно организовать рабочее место (системный блок, монитор, периферия,
организовать доступ к сети), логично, что для нового сотрудника, для организации
нового рабочего места должно быть закуплено собственно оборудование и это так
есть, но первое с чем тут же столкнемся это то, что для закупки оборудования оно
должно состоять в плане закупок того отдела, куда пришел новый сотрудник, план
же закупок на год должен быть спрогнозирован и подан отделом за год, до
указанного в плане года, а после подачи, обычно возвращается не утвержденным
для переработки и сокращения планируемых расходов, чаше всего с
формулировкой «с целью сокращения себестоимости выпускаемой продукции». По
личному опыту могу сказать, что утверждают примерно 50-60% суммы от
поданного плана, закупок, но и после, уже в головном предприятии его сокращают
примерно на 10%, в итоге сводя к показателям 40-50%, то есть если отдел ИТ
спрогнозировал и запланировал закупку картриджей на год на сумму в полтора
миллиона рублей, утвердят где-то на семьсот пятьдесят тысяч рублей. Из-за этого
ни один из отделов не закладывает в бюджет плана закупок на год что-то
дополнительное, а соответственно, чтобы вновь прибывшему сотруднику
официально приобрели ПК и периферию, должно пройти два года, пока его
включат в план закупок, а потом приобретут. На практике же этот сотрудник будет
всё это время работать на списанном оборудовании, например, ПК на базе Intel
Pentium III 600, или AMD Duron 800, но чаще всего, устав от подобной техники,
люди приносят свою из дома, бухгалтерия, когда пишет свои отчеты покупает
картриджи и бумагу за свой счет. Но и это еще не все, ведь нужен еще доступ к
сети и произведя осмотр и сделав заключение, что для подключения рабочего
места к сети нужен самый простой неуправляемый коммутатор, например, пяти,
или восьми портовый D-Link, стоимостью около пятисот рублей. Итак, у отдела ИТ
есть в плане закупок неисчерпанная сумма по статье расходов «сетевое
оборудование» подаем заявку на закупку, так как филиал не имеет права закупать
вообще ничего самостоятельно, отправляем заявку в головную организацию и…
получаем отказ, потому что D-Link покупать запрещено, разрешено РКСС,
смотрим продукцию РКСС и хотя там нет неуправляемых коммутаторов, выбираем
24
самый простой и дешевый из управляемых, сумма при этом меняется с
изначальных пятисот рублей до семидесяти пяти тысяч рублей, но раз первое
нельзя, а второе можно пишем заявку и отправляем в головной офис и… получаем
отказ и выговор за непрофессионализм и расточительство в подборе,
успокаиваемся и устанавливаем коаксиальную сетевую карту на пресловутый Intel
Pentium III и концентратор, так же с BNC формата Ethernet 10Mbps.
В описанной ситуации я ничуть не преувеличиваю и лишь пытаюсь донести то, что
закупка чего бы то ни было возможна исключительно в рамках необходимости для
выполнения гособоронзаказа и только так появляется новая техника, для этого не
нужно никакое согласование или даже планирование бюджета, только
обоснование, что это для выполнения госзаказа. В прочих случаях даже закупка
комплектующих для ремонта невозможна, так как все заявки на закупку от
филиалов консолидирует головное предприятие и только после этого выставляет на
торги и если допустим богородскому филиалу понадобились для ремонта,
например, материнская плата и блок питания, для замены сгоревших, а
балтийскому филиалу оперативная память и процессор, то эту закупку не проведут,
так как в обобщенном головным предприятием виде это целый ПК, а их закупка
запрещена.
Исходя из сказанного выше к использованию для внедрения системы
автоматизации приёма заявок от пользователей доступны только те аппаратные
средства, что уже имеются на предприятии, а именно:
1) Резервный прокси сервер на ОС Debian 8 Jessie, на первой площадке
предприятия с установленным на нем VTun для объединения открытой сети
(с доступом в Интернет). Аппаратная часть: Intel Core i7-4770, 16Gb DDR3,
240Gb SSD;
2) Резервный прокси сервер на ОС Debian 8 Jessie, на второй площадке
предприятия с установленным на нем VTun для объединения открытой сети
Аппаратная часть: Intel Core i3-4370, 8Gb DDR3, 500Gb HDD;
3) Компьютеры сотрудников филиала с установленным браузером,
подключенные к открытой сети как на первой, так и на второй площадке;
4) NAS (Network Attached Storage) сервер подключенный к открытой сети
имеющий общую папку с NAS сервером в закрытой сети. Аппаратная часть:
Synology Disk Staton DS3615xs 1.78TB SHR и 7.21TB SHR (Synology Gibrid
Raid);
5) NAS (Network Attached Storage) сервер подключенный к открытой сети
имеющий общую папку с NAS сервером в закрытой сети. Аппаратная часть:
Synology Rack Staton RS816 1.78TB SHR (Synology Gibrid Raid);
6) Мой рабочий ПК подключенный к открытой сети в качестве сервера Apache
2.4 c модулем PHP 7.2.6 к которому общая папка на NAS подключена в
качестве символьной ссылки и воспринимается PHP и
BATCH в качестве
25
локального ресурса, обращение же к сетевой папке по протоколу smb/cifs
берет на себя ОС, в данном случае Windows 10 x64. Аппаратная часть: Intel
Core i5-8400, 8Gb DDR4, 500Gb HDD;
7) Мой рабочий ПК подключенный к закрытой сети в качестве сервера Apache
2.4 c модулем PHP 7.2.6 к которому общая папка на NAS подключена в
качестве символьной ссылки и воспринимается PHP и BATCH в качестве
локального ресурса, обращение же к сетевой папке по протоколу smb/cifs
берет на себя ОС, в данном случае Windows 10 x64. Аппаратная часть: Intel
NUC BOXNUC7i3BNK Core i3-7100U, 8Gb DDR4, 500Gb HDD;
8) DLP сервер подключенный к закрытой сети, аппаратную или программную
часть которой я не имею права разглашать, но принцип работы
применительно к сетевой папке на NAS сводится к сканированию на
совпадение, по ключевым словам, паттернам и на соответствие цифровым
отпечаткам созданных и изменённых файлов. Такими системами являются,
например, FalconGaze или Стахановец;
9) Три криптошлюза установленные на первой и второй площадке, а также в
головном предприятии объединяющие закрытые сети предприятия.
Примером такого оборудования является, например, АПКШ (Аппаратно-
Программный Комплекс Шифрования) Континент IPC-100;
10) Применяемые на предприятии коммутаторы в большинстве своем
представляются моделью MikroTik Cloud Router Switch CRS326-24G-2S+RM.
26
Рисунок 3. Представление технической архитектуры на предприятии.