12
2) Рассмотреть основные проблемы при поиске объектов на
изображении и вычислении их координат в системе установки;
3) Представить решение, позволяющее связать координаты
объекта на изображении с его координатами в системе установки;
4) Оценить эффективность предложенного решения.
Методы исследования:
База исследования: прототип установки с видеорегистратором и
моторами осей XYZ, управляемый от Raspberry PI 3B на ОС Linux.
Новизна и значимость: предложенные программные решения
можно интегрировать в системы управления автоматическими
установками для монтажа электронных компонентов и тем самым
значительно повысить их производительность.
Работа состоит из трех глав. Суммарный объем работы составляет 85
страниц, включая 2 таблицы, 39 рисунков, 61 источник литературы, 2
приложения.
13
ГЛАВА 1. Анализ методов обработки изображений в установках
микромонтажа электронных компонентов»
1.1. Подготовка оборудования
(а) (б)
Рисунок 1. Прототип установки монтажа (б), выполненный на базе 3D
принтера Anet A2 (а)
В качестве прототипа установки монтажа был выбран 3D принтер
«Anet A2» (см. Рисунок 1), переоборудованный автором работы таким
образом, чтобы вместо нагревательного элемента установить кронштейн
для крепления USB-микроскопа «Jiusion» с увеличением до 1000 раз и
вакуумную присоску для транспортировки исследуемых объектов
(электронных компонентов). Крепление мотора и оси Z было перенесено в
центр траверзы для более точного позиционирования по высоте, что
обеспечило уменьшение перекоса микроскопа и более точную
фокусировку.
14
Принтер оснащен тремя шаговыми моторами, по одному на каждую
ось X, Y, Z, управляемыми от платы главного контроллера. На рабочий
стол прототипа (подвижная вдоль оси Y платформа) дополнительно
установлен сервомотор с закрепленной на нем горизонтальной площадкой,
позволяющей поворачивать помещаемый на нем объект. Этим
имитируется наличие у реальной установки устройства для корректировки
пространственной ориентации монтируемого объекта. Таким устройством
может быть аналогичный отдельный поворотный стол, либо сам
инструмент, поворачивающий объект на определенный угол одновременно
с его транспортировкой к месту монтажа.
Плата главного контроллера принтера оснащена UART RS-232 и
поддерживает команды «G-Code» [6].
Такая конфигурация позволяет подключить прототип установки к
компьютеру управления через USB-порты (один для управления моторами,
второй – получения изображений с микроскопа). В качестве компьютера
управления была выбрана последняя на июнь 2018 года модель семейства
Raspberry – “Raspberry PI3 B+” (см. Рисунок 2). На его карту MicroSD
объемом 16Gb была установлена операционная система Raspbian Stretch
Debian и необходимые для разработки программные продукты: Lazarus и
QTCreator как среды разработки кроссплатформенных программ с
графическим пользовательским интерфейсом (GUI) на языках FreePascal и
С++ соответственно, библиотека OpenCV для обработки изображений, и
несколько второстепенных библиотек, среди которых такая как Pigpiod для
управления GPIO-портами компьютера (использовались для управления
реле вакуумной присоски и сервомотором поворотного стола).
15
(а) (б)
Рисунок 2. Raspberry PI 3B+ (а) и USB-микроскоп Jiusion x1000 (б).
Все преобразования изображений в данной работе выполнялись с
помощью функций из библиотеки OpenCV, выбранной автором работы
среди аналогичных исходя из следующих преимуществ:
- кроссплатформенность,
- открытый исходный код,
- возможность выборочной (конфигурируемой) компиляции модулей
библиотеки,
- большое интернет-сообщество,
- свободная лицензия (за исключением небольшого количества
специализированных модулей),
- возможность установки библиотеки на одноплатный компьютер, что
соответствует парадигме «встроенного зрения».
Выбранная конфигурация накладывает минимум ограничений на
программиста и оставляет обширное поле для экспериментов, например,
позволяет не только получать цифровые изображения, вручную
подкладывая под микроскоп разные образцы электронных компонентов
или плат, но и практически проверять результаты расчетов координат и
размеров объектов, перемещать микроскоп на заданное расстояние или
16
вращать объект на заданный угол, что приближает разработчика к
пониманию работы установки и набора требуемых функций.
1.2. Разработка программы
Ниже представлена копия экрана программы, написанной автором
работы для исследования методов обработки изображений на прототипе
установки и для ее управления (см. Рисунок 3).
Рисунок 3. Программа управления прототипом установки и исследования
методов обработки изображений, главное окно
Во время разработки программы был произведен выбор наиболее
подходящей платформы из двух (QTCreator и Lazarus). Практический опыт
показал, что QTCreator является более универсальным инструментом для
разработки графических интерфейсов в кросплатформенных приложениях,
а также позволяет подключать библиотеки обработки изображений без
дополнительных трудозатрат (заголовочные файлы OpenCV написаны на
C++)
17
1.3. Подготовка материалов
Разработанное программное обеспечение позволяет выполнять
исследование рассматриваемых в данной работе методов. Интерфейс
программы позволяет средствами библиотеки OpenCV пополнять
библиотеку шаблонов, выбирая фрагменты изображения с микроскопа, а
затем использовать их в качестве образов объектов для тестирования.
Поиск выполняется на изображении с микроскопа в реальном времени
либо на заранее отснятом изображении, на выбор оператора.
В качестве образцов были взяты три кремниевые пластины и две
отдельные микросхемы, далее в работе обозначаемые как Образец 1,
Образец 2 и т.д. до Образца 5 (см. Рисунок 4 - Рисунок 8).
Рисунок 4. Образец 1 - кремниевая пластина и ее участок под микроскопом
18
Рисунок 5. Образец 2 - кремниевая пластина и ее участок под микроскопом
Рисунок 6. Образец 3 - кремниевая пластина и ее участок под микроскопом
19
Рисунок 7. Образец 4 – бескорпусная микросхема, 5х5мм
Рисунок 8. Образец 5 – бескорпусная микросхема, 3х2,5мм
1.4. Методы обработки изображений, применяемые в установке
Распознать заданный объект на изображении — значит определить,
может ли этот объект при некоторых условиях съемки дать заданный образ
на изображении [7].
Для составления методики решения поставленной задачи
необходимо предварительно ознакомиться с доступным инструментарием.
Применительно к задаче обработки изображений инструментарием
является набор функций библиотеки OpenCV. Под методами в данной
работе понимаются комбинации вызова функций библиотеки для
20
последовательной обработки первоначальных изображений, приводящие к
получению желаемого результата.
В рамках проведенного исследования возможностей библиотеки, на
практике проверены методы из двух основных групп:
- методы поиска образов объектов,
- методы сравнения характеристик (инвариантов).
Обе группы в качестве исходных данных обязательно получают
изображение, на котором нужно выполнить поиск объекта.
Для методов первой группы также требуются передача заранее
сохраненного массива данных, строго определяющего искомый объект.
Таким массивом может быть, например, изображение объекта как шаблон
для поиска, либо массив данных усредненных характеристик после
многократного обучения, в определенном формате, поддерживаемом
функцией поиска (чаще всего XML).
Ко второй группе относятся методы, составленные из функций, не
предназначенных для прямого поиска шаблона. К ним можно отнести
такие как фильтрация; размытие; составление массива контуров по
пороговым значениям яркости или цвета; вычисление площади;
ограниченной контуром; вычисление координат минимального
ограничивающего прямоугольника или окружности вокруг группы точек;
вычитание двух и более изображений (кадров видеопоследовательности), и
т.п. А результаты работы этих функций можно использовать для
вероятностного определения нахождения на изображении объекта по
заранее подобранным специфическим характеристикам. Такими методами
решаются задачи поиска линий ограничения полосы движения на дороге
перед автомобилем, подсчета пчел или сот в улье, вычисления ориентации
кристалла, оцифровки таблицы судоку или кубика Рубика, слежения за
движущимися объектами и т.п.
21
Отличительной особенностью задач поиска объектов при управлении
установкой монтажа электронных компонентов является наличие одного
или нескольких условий из списка ниже:
- необходимость указать координату найденного объекта и его
ориентацию в пространстве, с точностью, укладывающейся в технические
требования к установке,
- при наличии нескольких аналогичных объектов на изображении –
указать их все, либо центральный,
- объекты могут быть ориентированы вдоль одной оси (как на
кремниевой пластине или на ленте),
- объекты могут находиться в трее (waffle-pack, gel-pack), каждый в
своей ячейке, со сдвигом относительно центра ячейки и повернутый на
произвольный угол,
- видимая плоскость объектов всегда находятся перпендикулярно к
оси видеорегистратора (с допущениями, если принять во внимание
неидеальные условия и механические особенности каждой установки).
Часто методы второй группы являются вспомогательными перед
использованием методов первой, так как позволяют определить на
обрабатываемом изображении приоритетные области, для сокращения
общего времени поиска.
Описание методов из группы поиска образов объектов
представлено в разделе 1.5.
Также исследованы методы поиска инвариантов, их описание
представлено в разделе 1.6.
Сравнение методов выполнено в разделе 2.1.
Кроме рассмотренных, разработчиками уделяется внимание методам
с применением нейросетевых алгоритмов, но в установках монтажа
электронных компонентов они пока не используются, поскольку лучше
подходят к решению задач классификации с предварительным обучением,
при наличии меняющихся условий съемки (освещения, фокуса, ракурса,