2
Оглавление
Введение ................................................................................................................................ 4
ГЛАВА 1. Анализ методов обработки изображений в установках микромонтажа
электронных компонентов» ............................................................................................ 13
1.1. Подготовка оборудования .................................................................................... 13
1.2. Разработка программы ......................................................................................... 16
1.3. Подготовка материалов ........................................................................................ 17
1.4. Методы обработки изображений, применяемые в установке ....................... 19
1.5. Методы поиска образов объектов, описание .................................................... 22
1.5.1. MatchTemplate - прямое сопоставление ......................................................... 22
1.5.2. Поиск особых точек ........................................................................................... 24
1.5.2.1. SURF .................................................................................................................. 26
1.5.2.2. FAST .................................................................................................................. 28
1.5.2.3. BRIEF ................................................................................................................ 29
1.5.2.4. ORB ................................................................................................................... 29
1.5.2.5. BRISK ................................................................................................................ 30
1.5.2.6. KAZE, AKAZE ................................................................................................. 31
1.5.2.7. FREAK .............................................................................................................. 33
1.5.2.8. DAISY ................................................................................................................ 35
1.6. Методы поиска инвариантов .............................................................................. 36
1.6.1. LogPolar – полярно-логарифмическое преобразование ............................. 36
1.6.2. GI - геометрические инварианты ................................................................... 38
ГЛАВА 2. Разработка метода получения координат объектов ............................... 41
2.1 Сравнение рассмотренных алгоритмов ............................................................ 41
2.1.1 Сравнение времени работы.............................................................................. 41
2.1.2 Выявленные недостатки ................................................................................... 41
2.1.2.1 Прямое сопоставление ................................................................................... 41
2.1.2.2 Поиск особых точек ....................................................................................... 43
2.1.2.3 Преобразование LogPolar .............................................................................. 44
2.1.2.4 Поиск геометрических инвариантов .......................................................... 45
3
2.1.3 Итог анализа ....................................................................................................... 48
2.2 Система координат ................................................................................................ 49
2.3 Разработка шагов для получения координат объектов ................................. 50
2.4 Калибровка ............................................................................................................. 52
ГЛАВА 3. Реализация и оценка затрат на внедрение разработки и оценка
ожидаемого эффекта ......................................................................................................... 54
3.1 Организация работ по реализации предложенных методов ......................... 54
3.2 Разработка программного обеспечения ............................................................ 57
3.2.1 Инструменты разработчика ............................................................................. 57
3.2.2 Стадии разработки и жизненный цикл ......................................................... 58
3.1.1 Уровень связи с ПК............................................................................................ 60
3.3 Разработка программы управления установкой для ПК .............................. 61
3.4 Эффективность внедрения предложенных методов ....................................... 66
Заключение ........................................................................................................................ 70
Список используемых источников ................................................................................ 72
ПРИЛОЖЕНИЕ А ............................................................................................................ 79
ПРИЛОЖЕНИЕ Б ............................................................................................................. 81
4
Введение
За короткий промежуток времени полупроводниковая электроника
прошла огромный путь развития от простейших электронных приборов до
сложнейших микромодулей и микросхем. Разработка и освоение
серийного выпуска интегральных микросхем (ИМС) явились
значительным шагом вперед на пути миниатюризации аппаратуры.
Микроскопические размеры компонентов и продолжающаяся тенденция
увеличения степени интеграции интегральных схем (ИС) делают операции
сборки особо важными. Под сборкой полупроводниковых приборов и ИС
понимают совокупность технологических операций, обеспечивающих
соединение элементов и частей полупроводникового прибора или ИМС в
единое целое.
Заключительные операции производства полупроводниковых
приборов и ИМС – это операции их монтажа и сборки, включая операции
скайбирования пластин, монтажа кристаллов, присоединения выводов,
герметизации полупроводниковых приборов и ИМС, технологических
испытаний. Операции сборки были и остаются наиболее трудоемкими в
техпроцессе изготовления полупроводниковых приборов и ИМС. Если в
процессах создания кристаллов применяются групповые методы
обработки, то при сборке оперируют с каждым изделием отдельно, что
требует высокой степени повторяемости операций, а значит
автоматизации.
Современный этап развития микроэлектроники характеризуется
выпуском сверхбольших интегральных схем (СБИС), благодаря чему
создаются блоки и функциональные узлы электронной аппаратуры. В этой
связи новое развитие получают основные технологические процессы
5
сборки: монтаж кристаллов, разводка выводов и герметизация изделий.
[40]
В своей практической деятельности автор работы занимается
разработкой оборудования для монтажа кристаллов. Этот этап является
одним из важнейших при производстве электронных приборов, так как от
правильности выбора таких параметров, как точность монтажа, время,
температура, усилие – зависит качество посадки кристалла и дальнейшая
работа изделия. Для установки кристаллов на предприятиях с широким
спектром продукции, на опытном производстве, а также в
исследовательских институтах большим спросом пользуется
оборудование, позволяющее гибко настраивать его под разные виды
изделий. Перенастроить оборудование и запустить производство снова, с
соблюдением современных требований к его точности и скорости, можно
только в том случае, если оборудование позволяет изменять параметры
отдельных производственных операций, а также геометрические и
технологические характеристики компонентов сборки.
Как раз для обеспечения независимости от геометрических свойств
компонентов необходимо выполнить т.н. обучение установки –
посредством пользовательского интерфейса сконфигурировать отдельные
этапы сборки на корректное обнаружение, захват, перемещение и монтаж
компонентов. Системы машинного зрения сегодня позволяет применять
определенные методы распознавания изображений для выполнения
перечисленных действий в автоматическом режиме.
Преимущества монтажа на автоматическом оборудовании
Увеличение производительности
Настройка автоматической линии от опытного образца
Снижение стоимости готового изделия
Высокая точность и повторяемость установки компонентов
Короткие сроки производства
6
Высокое качество готовой продукции
Появление систем машинного зрения (промышленное применение
методов обработки изображений) явилось закономерным продолжением
развития систем компьютерного зрения.
Параллельное развитие электроники и ее минимизация привели к
появлению технологии, бурному развитию которой мы сейчас являемся
свидетелями. Эта технология в зарубежной литературе носит название
«Embedded vision», что можно перевести на русский язык как «зрение
встраиваемых систем» или «встроенное зрение».
Встроенное зрение это одна из наиболее впечатляющих технологий,
появившихся в последнее время, которая привносит «машинное зрение» и
полный спектр сопутствующих возможностей во все сферы деятельности
человека, формируя будущее целых промышленных областей (см. Табл. 1)
7
Табл. 1
Область
применения
Краткое описание
Прогноз по
емкости
рынка
Производство
микроэлектроники
установка компонентов на платы,
сортировка, контроль качества
437 млрд.долл.
в 2018 году
Автомобильная
промышленность
системы поддержки водителя
(ADAS), сейчас находится в ранней
стадии развития
67 млрд.долл. к
2025 году
Робототехника
промышленные роботизированные
системы
71 млрд.долл. к
2023 году
Потребительские
товары
встраивание видеокамер в бытовую
электронику и товары личного
пользования
1,5 трлн.долл.
к 2024 году
Химия и
фармацевтика
задачи инспектирования качества
при большой скорости и объемах
производства с одной стороны, и
высокими требования регуляторов
с другой
1,4 трлн.долл.
к 2021 году
8
Табл. 1 (продолжение)
Область
применения
Краткое описание
Прогноз по
емкости рынка
Медицина
диагностика
24 млрд.долл. к
2025 году
Авиакосмическая
промышленность
поддержка пилота в системах
расширенного (EVS) и
синтетического (SVS) зрения
2,7 трлн.долл
мирового
валового
продукта
Логистика
распознавание номеров и кодов
товаров, поддержка ERP систем
54 млрд.долл к
2022 году
Дополненная
реальность
объединение физической и
виртуальной картины мира
61 млрд.долл. к
2023 году
Безопасность
обнаружение проникновения по
периметру охраняемых объектов
75 млрд.долл. к
2022 году
Вооружение
ведущая роль в технологической
трансформации современной
армии
134 млрд.долл. к
2021 году
Беспилотные
аппараты
появление легких и компактных
систем встроенного зрения дали
толчок бурному развитию
исследований в области авиации и
беспилотных полетов
52 млрд.долл. к
2025 году
Перспективы разработок систем встроенного зрения в
Российской Федерации
Возможный экономический эффект от участия в разработке
подобных технологий инженерами в Российской Федерации представлен
цифрами о потенциальной емкости мирового рынка по перечисленным
9
отраслям в ближайшие годы. Вопросы конкуренции с разработчиками из
других стран в данной работе не рассматриваются.
Одна из отраслей в приведенном выше списке – производство
микроэлектроники – требует отдельного упоминания. Ожидается, что
объем производства электронных компонентов должен претерпеть
взрывной рост, как следствие роста потребностей в электронике во всех
остальных перечисленных в таблице сферах жизнедеятельности человека.
Фактически, эта отрасль является жизненно важной для тех стран, которые
предполагают и дальше находиться в числе индустриально развитых.
Достаточная емкость мощностей производства микроэлектроники является
своего рода горлышком воронки, от которого зависит насыщение
промышленности высокими технологиями.
Если говорить о безопасности стран, то из описания выше явно
следует, что преимущество в технологиях через несколько лет даст и
преимущество в вооружениях.
Однако, существует острый недостаток отечественных средств
производства. Например, на современном российском заводе электроники
«Авангард», работающем с технологиями 200нм, в качестве основного
средства производства используются станки и оборудование фирм
«Samsung», «Ersa», «KLA-Tencor» (Германия). Техническая
инфраструктура, обеспечивающая работу чистой комнаты – также
импортная.
6 сентября 2016 года стало известно, что Соединённые Штаты
расширили санкционный список в отношении российских компаний и
организаций, связанных с ОПК РФ. Соответствующее уведомление в
правительственном вестнике Federal Register разместило профильное
подразделение Минторга США.
10
Бюро промышленности и безопасности Минторга США решило
включить в собственные санкционные списки 81 компанию и организацию
под 86 наименованиями.
Под санкциями подразумевается «введение дополнительных
требований при лицензировании и ограничение доступа к большинству
лицензионных исключений для экспорта, реэкспорта и трансферта внутри
страны». Как видно по ссылке [3], в список наряду с десятками компаний
включены и такие крупные производители микроэлектроники как
«Ангстрем-Т» и «Микрон».
Таким образом, в условиях внешних санкций, принятых против
отдельных высокотехнологичных предприятий и целых отраслей
Российской Федерации, жизненно важным становится разработка
собственных (отечественных) средств производства микроэлектроники.
Этап сборки ИС или платы подразумевает индивидуальный монтаж
каждого электронного компонента. Это серьезное ограничение на пути
повышения производительности отрасли. Машины, позволяющие в
автоматическом режиме проходить этот этап на максимальной скорости,
являются одним из ключевых компонентов производственного процесса.
Для того, чтобы иметь возможность взять кристалл или электронный
компонент из кассеты или с пластины, и разместить его на плате с
точностью до нескольких микрометров, и при этом обеспечить скорость
установки хотя бы на среднем уровне (а это не меньше тысячи
компонентов в час), в таких машинах не обойтись без систем встроенного
зрения с возможностью обработки изображений в реальном времени с
выработкой решения о следующем шаге процесса.
В данной работе рассматриваются методы обработки изображений в
системах машинного зрения на установках для монтажа электронных
компонентов и интегральных схем, на примере платы Raspberry PI 3B
(далее RPI) с операционной системой Linux и подключенной
11
видеокамерой. Такая конфигурация позволяет максимально приблизиться
по параметрам аппаратной части, возможностям библиотек обработки
данных и программного кода к тем системам встроенного зрения, которые
применяются в большом количестве реальных промышленных установок,
в том числе установок для монтажа печатных плат. Большую роль в
выборе также сыграл факт переносимости программного кода проекта и
используемых библиотек на подавляющее большинство устройств,
управляемых операционными системами Linux, Windows, Mac OS,
Android. Переносимость кода также позволит использовать те же
алгоритмы на более мощных компьютерах, если это применимо, со
значительным выигрышем во времени обработки данных.
Объект исследования: методы распознавания образов в системах
машинного зрения установок микромонтажа.
Предмет исследования: проблемы и совершенствование методов
нахождения центра объектов и их положения в системе координат
автоматической установки.
Гипотеза исследования: представленный в исследовании набор
методов позволяет сформировать последовательность шагов обработки
визуальных данных, необходимых для автоматизации процесса
микромонтажа.
Цель исследования: исследовать существующие методы обработки
изображений и доработать их для получения координат объектов с
последующим пересчетом в системе координат установки микромонтажа
электронных компонентов.
Задачи исследования:
1) Провести анализ методов обработки изображений в установках
микромонтажа электронных компонентов;