Диплом: Автоматизация выгрузки аналитических данных с интернет-ресурса в корпоративную базу данных компании АО «Цифровой диван»

Внимание! Если размещение файла нарушает Ваши авторские права, то обязательно сообщите нам
87
Испытания или проверки бывают двух принципиально разных видов:
1. Комплексные испытания. Они предполагают совместную проверку всех
составных частей, а также различных видов обеспечения, таких как
программное или техническое;
2. Автономные испытания. Они уже предполагают проверку каких-либо
отдельных составных частей разрабатываемой системы, например,
модулей.
То есть в конце разработки готового решения автоматизации рабочего
процесса необходимо удостовериться в его соответствии на предмет
корректного выполнения поставленных задач в процессе проектирования и
разработки программы путем различных проверок (испытаний), перечень
которых представлен в таблице 22.
Таблица 22
Перечень проверяемых функций
п/п
Функция
Описание
1
Запуск файла .vbs
Безошибочный вызов запуска файла из
планировщика задач в заданный временной
период
2
Выполнение файла .vbs
Проверка работоспособности написанного кода,
отвечающего за запуск макроса, на предмет
ошибок и реализации запуска макроса
3
Запуск макроса
Проверка на безошибочный запуск макроса,
который работает на базе программы Microsoft
Excel
4
Вызов программы
Internet Explorer
Проверка запуска программы Microsoft Internet
Explorer и выгрузка необходимого файла из
корпоративного интернет-ресурса в соответствии
с написанным в макросе алгоритмом без ошибок
5
Вызов программы
WinRAR
Проверка запуска программы WinRAR и
безошибочное разархивирование загруженного
файла в соответствии с написанным в макросе
алгоритмом
6
Запуск файла .bat
Вызов запуска файла из макроса в соответствии
с написанным алгоритмом без ошибок
88
п/п
Функция
Описание
7
Выполнение файла
.bat
Проверка работоспособности написанного кода,
отвечающего за запуск программы SQL*Loader,
на предмет ошибок и реализации вызова
программы SQL*Loader
8
Вызов программы
SQL*Loader
Проверка запуска программы SQL*Loader и
безошибочная выгрузка данных из файла в
корпоративную базу данных в соответствии с
написанным алгоритмом
9
Выполнение SQL-
запросов
Проверка работоспособности написанного в
макросе кода, отвечающего за выполнение SQL-
запросов, на предмет ошибок и реализации
актуализации данных, загруженных в базу
данных
2.4.2. Методы проведения испытаний
После описания всех функций автоматизированной системы,
разрабатываемой в рамках данной работы для автоматизации описанного ранее
рабочего процесса, необходимо подробно детализировать каждую конкретную
функцию и описать предстоящую проверку. Перечни проверок (тестов) каждой
функции представлены в таблице 23.
Таблица 23
Перечень функций и их проверок
Параметр
Значение
Функция
1. Запуск файла .vbs
2. Выполнение файла .vbs
3. Запуск макроса
4. Вызов программы Internet Explorer
5. Вызов программы WinRAR
6. Запуск файла .bat
7. Выполнение файла .bat
8. Вызов программы SQL*Loader
9. Выполнение SQL-запросов
Предмет проверки
1.1. Соответствие временному периоду
1.2. Скорость запуска
1.3. Корректность инструкций запуска
2.1. Время выполнения
2.2. Корректность кода
3.1. Скорость запуска
3.2. Корректность кода
3.3. Проверка алгоритма выполнения
4.1. Скорость запуска
4.2. Время выполнения
4.3. Проверка алгоритма выполнения
89
Параметр
Значение
4.4. Проверка результата работы
5.1. Скорость запуска
5.2. Время выполнения
5.3. Проверка алгоритма выполнения
5.4. Проверка результата работы
6.1. Скорость запуска
6.2. Корректность инструкций запуска
7.1. Время выполнения
7.2. Корректность кода
8.1. Скорость запуска
8.2. Время выполнения
8.3. Проверка алгоритма выполнения
8.4. Проверка результата работы
9.1. Время выполнения
9.2. Корректность кода
9.3. Проверка алгоритма выполнения
9.4. Проверка результата работы
Используемые средства
1.1. Часы
1.2. Секундомер
2.1. Секундомер
2.2. Командная строка
3.1. Секундомер
3.2. Встроенный отладчик
4.1. Секундомер
4.2. Встроенный отладчик
4.3. Корректный результат
5.1. Секундомер
5.2. Встроенный отладчик
5.3. Корректный результат
6.1. Секундомер
7.1. Секундомер
7.2. Командная строка
8.1. Секундомер
8.2. Встроенный отладчик
8.3. Корректный результат
9.1. Секундомер
9.2. Встроенный отладчик
9.3. Корректный результат
Исходные данные
Корпоративный интернет-ресурс, наполненный
тестовыми файлами, в которых находятся
документы с различными данными об устройствах
самообслуживания в количестве ~50000 штук, а
также база данных, содержащая ~50000 записей в
основной таблице «actual_us» с различными
данными об устройствах самообслуживания и
пустую временную таблицу «tmp_actual_us».
Наличие выполненных вручную операций рабочего
90
Параметр
Значение
процесса для сравнения корректности
автоматизации
Искажения тестовой
информации для имитации
нештатных ситуаций
В некоторых документах имеются некорректно
указанные статусы устройств самообслуживания,
в том числе пустые
В некоторых документах отсутствуют
идентификационные номера устройств
самообслуживания
Ожидаемая реакция
1.1. Запуск должен производится в 04:00 на
ежедневной основе
1.2. Время запуска не превышает 10 секунд
1.3. Запуск происходит безошибочно
2.1. Время выполнения не более 5 секунд
2.2. Выполняется без ошибок
3.1. Запускается в течение 60 секунд
3.2. Выполняется без ошибок
3.3. Соответствует алгоритму
4.1. Запуск в течение 30 секунд
4.2. Загрузка файла не превышает 150 секунд
4.3. Выполняется без ошибок
4.4. Соответствует алгоритму
4.5. Загружает корректный файл
5.1. Запуск в течение 30 секунд
5.2. Выполнение не более 90 секунд
5.3. Соответствует алгоритму
5.4. Корректно разархивирует документ
6.1. Время запуска не превышает 10 секунд
6.2. Запуск происходит безошибочно
7.1. Время выполнения не более 5 секунд
7.2. Выполняется без ошибок
8.1. Запуск в течение 10 секунд
8.2. Выгрузка данных не превышает 50 секунд
8.3. Соответствует алгоритму
8.4. Выгружает данные корректно
9.1. Выполнение кода в течение 60 секунд
9.2. Выполняется без ошибок
9.3. Соответствует алгоритму
9.4. Корректно актуализирует данные
Способ определения
результатов
Выполнение стадий рабочего процесса
разработанной системой в соответствии с планом
(таблица 10), описывающем скорость
автоматизации каждого этапа, а также корректность
полученных результатов. Достоверность
определяется заказчиком
2.4.3. Проведение проверочных испытаний и их результаты
После описания всех функций и перечня тестов для проверки,
необходимо приступить непосредственно к самой проверке согласно плану из
таблицы 23.
91
Работа автоматизированной системы начинается с вызова файла .vbs из
планировщика задач (рисунок 11). Согласно замерам, запуск производится в
04:00 на ежедневной основе, а время запуска не превышает 1 секунды.
Рисунок 11. Планировщик задач
Далее выполняется вызванный файл .vbs, который отвечает за запуск
макроса из Microsoft Excel. Происходит это в фоновом режиме, в связи с чем
невозможно отобразить его работу на скриншотах. Файл отражен на рисунке
12. Выполнение осуществляется корректно и занимает примерно 2 секунды.
Рисунок 12. Файл .vbs
В ходе выполнения файла .vbs происходит запуск макроса на базе Excel
из файла actualUS.xlsm (рисунок 13) в фоновом режиме.
92
Рисунок 13. Файл макроса actualUS.xlsm
Файл обладает возможностью ручного запуска по нажатию клавиши
«Бахнуть» и из окна разработки как в обычном режиме, так и в режиме
отладчика пошагово с возможностью остановок, откатов на прошлые действия
или наоборот перескакиванием вперед на одно и более действий на случай
непредвиденных последствий, а также необходимости более раннего пуска,
например, в связи с более ранней актуализацией файлов с документами на
корпоративном интернет-ресурсе АО «Цифровой диван» -
https://digitalbank.ru/us/statistics. Запуск был производен в соответствии с
требованиями корректно и не превышал 5 секунд.
После запуска макроса осуществляется его автоматическое выполнение
согласно записанному в него коду на базе языка Visual Basic for Application в
соответствии с алгоритмом выполнения. Макрос отображен на рисунке 14. На
текущем этапе ошибок не возникло, работа программного модуля
осуществляется корректно.
93
Рисунок 14. Макрос
В ходе следования работы макроса вызывается программа Microsoft
Internet Explorer, отвечающая за загрузку файлов .rar с корпоративного
интернет-ресурса в специально подготовленную папку (рисунок 15).
Запущенная программа с сайтом банка представлена на рисунке 16.
Рисунок 15. Папка для файлов .rar
94
Рисунок 16. Internet Explorer
Запуск программы был произведен за 1 секунду, а загрузка сайта и
нужного файла с него заняла 15 секунд. В процессе работы ошибок не было
обнаружено – все действия происходят согласно заданному алгоритму.
Следующим шагом является вызов программы WinRAR, чтобы
разархивировать загруженный файл и получить необходимый документ в
формате .xlsx, открываемый с помощью Microsoft Excel и любых аналогов.
Ранее мы рассмотрели ближайшего конкурента LibreOffice Calc. Готовый
документ был разархивирован в определенную папку (рисунок 17) согласно
алгоритму макроса. Запуск и выполнение программы заняли менее 1 секунды.
Работа был произведена безошибочно.
95
Рисунок 17. Папка с документами .xlsx
После этого осуществляется преобразование документа для дальнейшей
загрузки в базу данных, путем удаления ненужных данных в автоматическом
режиме и сохранения в формате, пригодном для SQL*Loader, .csv. Пример
готового документа us_upload.csv отражен на рисунке 18. На этот этап уходит 5
секунд, ошибок по-прежнему не возникает за счет детальной и качественной
разработки и тщательного тестирования созданной программы.
96
Рисунок 18. Документ .csv
Далее производится запуск файла .bat с названием tmp_actual_us в
соответствии с кодом в макросе из файла actualUS.xlsm. Запускаемый файл
отражен на рисунке 19. Запуск занимает не более 1 секунды. Ошибок не было
обнаружено в ходе этого процесса.
Рисунок 19. Файл .bat tmp_actual_us.bat
Выполнение этого файла вызывает программу SQL*Loader, используя
дополнительный модуль вызова в виде файла us_loader.ldr. Отражен на рисунке
20. SQL*Loader отображается в интерфейсе командной строки, встроенной в
операционную систему Windows 10. Процесс выгрузки данных в
корпоративную базу данных АО «Цифровой диван» сопровождается
текстовыми строками, автоматически появляющимися в рамках рабочего
процесса (рисунок 21). На выполнение файла .bat, включающего в себя вызов
программы SQL*Loader и выгрузку аналитических преобразованных данных из
файла us_upload.csv уходит не более 5 секунд, проблем при этом не возникает и
все нужные данные успешно выгружаются в базу данных, а именно во

Смотрите также:

"Автоматизация обработки заявок ООО "Проектно-Строительная Компания"
"Автоматизация процесса аттестации персонала для ООО "Нэт Бай Нэт Холдинг"
"Анализ интернет-активности конкурентов ( на примере конкурентов "Газпром нефть")
"Бухгалтерский учёт и аудит расчётов с подотчётними лицами в организации на примере ООО "ЛОЦ 10""
«Психологическое сопровождение персонала в организации на примере ООО «Крокус»
«Управление ресурсами проекта» (на примере организации ООО «ЛАКОСТЭ»)
Agile-методология в управлении проектами на примере ООО «Ресурсный центр «Академия КлассИнфо»
Aвтoмaтизaция пpoцecca вeдeния инфopмaциoннoй бaзы o дoлжнocтяx и вaкaнcияx c укaзaниeм тpeбoвaний к уpoвню знaний и нaвыкoв кaндидaтoв для гpуппы кaдpoв вoйcкoвoй чacти 3474»
Cовершенствование деловой оценки персонала в организации (на примере ООО "Даймонд кейтеринг развитие")
Cовершенствование управления рентабельности предприятия (на примере гуипп «бендерская типография «полиграфист»)