42
соответствия максимален – будет считаться ближайшим к реальному.
Кроме того, метод предназначен для поиска одного объекта на
изображении. Для поиска дубликатов его придется вызывать несколько
раз, после каждого прохода затирая найденный объект (во избежание
повторений на следующих итерациях).
Такая модификация метода требует многократного сканирования, а
точность вычисления поворота ограничена шагом угла между циклами.
Рисунок 22. Определение позиционирования методом MatchTemplate с
фиксированным шагом вращения
На изображении выше (см. Рисунок 22) приведен пример
обнаружения объектов на изображении с углом поворота при шаге
вращения шаблона 5°. Видно что точность вычисления угла невысока и
фактически определяется этим шагом. Со статистической точки зрения,
погрешность такого подхода ±5°, то есть является недопустимой.
Уменьшение шага хотя бы до 1° приведет к увеличению затрат на
43
обработку до 5 раз. Таким образом, прямой метод поиска неприменим.
2.1.2.2 Поиск особых точек
Все методы поиска особых точек подвержены одному и тому же
недостатку: при наличии на исследуемом изображении нескольких
одинаковых объектов (а значит дублирующихся особых точек), алгоритм
не способен выполнить сегрегацию объектов.
Рисунок 23. Попытка локализации объекта методом поиска особых точек,
на изображении с повторениями (неуспех)
Естественно, что такая ситуация не устраивает. Для того, чтобы
детектировать все объекты, необходимо разделить изображение на
несколько частей. Однако здесь следует помнить, что если изображение
разделить на непересекающиеся блоки (пример изображение 100x100
разделить на 4 блока по 50x50), то может возникнуть ситуация, когда
объект будет частично находиться в нескольких блоках и не будет
детектирован. Во избегание этого необходимо делать пересекающиеся
44
блоки, что улучшит качество (пример изображение 100x100 разделить на 9
блоков по 50x50 так, как показано, например, в [43])
Необходимо отметить, что увеличение количества блоков линейно
влияет на затраты вычислительных ресурсов.
Учитывая полученные данные об измерении времени работы
алгоритмов поиска особых точек (см. 2.1.1), этот метод пока не является
приоритетным и не прорабатывался.
2.1.2.3 Преобразование LogPolar
Рисунок 24. Попытка локализации объекта методом LogPolar на
изображениях, содержащих одиночные объекты без поворота (успех) и с
поворотом (неуспех)
(а) (б)
Рисунок 25. Попытка локализации объекта методом LogPolar на
изображениях, содержащих повторяющиеся объекты без поворота (успех)
и с поворотом (неуспех)
Для метода LogPolar необходимо разработать оконную функцию,
45
подобную описанной в разделе 2.1.2.2. Но скорость работы метода, как
видно из итоговой таблицы, одна из самых низких, что позволяет отложить
эту работу как не приоритетную.
2.1.2.4 Поиск геометрических инвариантов
Поиск источников информации по данному методу привел к выводу
о том, что подавляющее большинство исследователей склоняются к
различным вариациям сопоставления изображения и искомого шаблона,
вместо того чтобы искать обходные пути поиска объектов (одним из таких
путей как раз является метод геометрических инвариантов).
В качестве убедительного примера можно упомянуть методы поиска
особых точек. Ход соображений исследователей можно понять. Они
разрабатывают методы для широкого пользования, как например для
обработки фотографий и их классификации, построения панорамных
снимков и т.п. При этом обработка изображений как самими
исследователями, так и теми для кого эти методы разрабатываются –
пользуются либо ПК с достаточным количеством вычислительных
ресурсов, либо для их аппаратно-программной реализации в
соответствующем оборудовании (например, графические чипы).
До недавнего времени в промышленных установках изображения
обрабатывались также управляющими программами для ПК. Тем не менее,
как указано во введении к данной работе, все большее значение
приобретают устройства, обработка изображений которых основана на
принипе embedded vision. Производительность таких систем еще
недостаточна для того, чтобы тот же поиск особых точек выполнять на
изображениях высокого качества в режиме реального времени. Кроме того,
скорость обработки никогда не была последним параметром в списке. Это
означает, что разработанные альтернативные методы обнаружения
46
объектов для встроенных систем вполне могут быть внедрены в системах,
работающих на базе ПК.
Кроме того, обнаружение объектов методом графических
инвариантов вполне может использоваться на этапе предварительной
обработки для выделения «области интереса».
Если рассмотреть задачу распознавания лиц в уличном потоке в
качестве примера, то в качестве предварительной обработки (выделения
областей интереса) вполне можно и спользовать алгоритм графических
инвариантов для определения овалов лиц. Полученный массив областей
можно передать по цепочке следующему алгоритму – определния наличия
черт лица, - который при применении ко всему изображению сразу, без
предварительной обработки, окажется слишком тяжеловесным.
Тот же подход применим к задачам определения номера автомобиля.
Прежде чем искать символы, нужно определить прямоугольник зоны
интереса. С этой задачей как раз справится лучше всего именно алгоритм
поиска геометрических инвариантов.
Тем не менее, есть немало интересных но разрозненных частных
исследований, пока не объединенных в какую-либо стройную систему.
Отсутствие системы и проработанной классификации геометрических
инвариантов приводит к тому, что каждый разработчик, сталкивающийся
со сходными проблемами, вынужден решать их самостоятельно, часто
повторяя путь и ошибки других.
Пальму первенства в создании стройной системы в области поиска
геометрических инвариантов держат автомобильные корпорации. Их
интерес связан с задачами беспилотной навигации. Конкуренция и наличие
средств для инвестиций в разработку делают свое дело. Поиск в Интернете
по словам “road detection” открыл пласт информации, связанной именно с
нестандартным подходом к классификации объектов на изображении в
системах встроенного зрения. Дорога с разметкой и границами полосы,
47
автомобили и другие препятствия – наиболее интересные объекты для
обнаружения в системах беспилотного вождения и поддержки водителей.
[56 … 60]
Доработка этих методов позволяет применять их в других системах
встроенного зрения, предназначенных для поиска характерных объектов, в
том числе в промышленных установках.
Интересное исследование приведено в [52] – методе контурного
анализа.
Оно раскрывает одно из ключевых отличий между традиционными
методами поиска объекта на изображении по его шаблону, и методами
поиска геометрическхи инвариантов. Этим отличием является (цитата из
описания автора метода): «…контур содержит необходимую информацию
о форме объекта. Внутренние точки объекта во внимание не принимаются.
Это ограничивает область применимости алгоритмов КА, но рассмотрение
лишь контуров позволяет перейти от двухмерного пространства образа к
пространству контуров и, следовательно, уменьшить вычислительную и
алгоритмическую сложность.
КА позволяет эффективно решать главные задачи распознавания
шаблонов – перенос, поворот и масштабирование изображения объекта.
Методы КА инвариантны относительно таких преобразований.»
В данной работе контурный анализ является частным случаем
метода геометрических инварианов, и может применяться как один из
доступных инструментов.
48
2.1.3 Итог анализа
В таблице ниже подведен итог, показывающий возможности
рассмотренных алгоритмов с точки зрения особенностей, перечисленных в
разделе 1.
Табл. 2
Метод
Точность
локализац
ии (в
пикселях),
точность
определен
ия угла
поворота
(град)
Локализац
ия
центральн
ого
объекта
(при
наличии
дубликато
в)
Локализац
ия
дубликато
в на
пластине
Локализац
ия
дубликато
в в трее
Среднее
время
работы
Match-
Template
±1пкс,
без угла
Да
1
Да
1
Да
1
150
Поиск
особых
точек
Результат
нестаб-н
Нет
Нет
Нет
1000
LogPolar
±1пкс,
±0,3°
Нет
Нет
Нет
2200
GI
От ± 1пкс
2
,
±0,3°
Да
Да
Да
90
1
– при минимальном угле поворота, с применением
дополнительной обработки: циклический поиск с затиранием на
изображении найденного объекта в конце каждого цикла, с повторением
цикла до тех пор пока не найдены все объекты.
2
– в зависимости от настроек.
49
Исходя из полученных данных, более полно удовлетворяет
требованиям алгоритм поиска графических инвариантов GI.
Кроме указанных в таблице, существуют и другие преимущества
указанного метода, проявившие себя в полной мере во время
программирования. К ним относятся:
- гибкость настройки,
- легкость добавления методов обработки,
- возможность построить алгоритмическую цепочку методов.
2.2 Система координат
От правильного выбора системы координат зависит легкость
программирования всех процессов, выполняющихся на установке, а также
возможность поиска и устранения причин ухудшения точности
позиционирования. Это связано с тем, что в процессе работы установки
отдельные ее элементы нагреваются с разной интенсивностью, и тепловое
расширение по-разному сказывается на конечном результате. Кроме того,
возможны конструкторские просчеты, выявление которых также зависит
от системы координат и опыта программиста на этапе разработки
установки.
В рамках данной работы, нужно отметить что локализация объекта
подразумевает пересчет координат на изображении в координаты моторов
– для получения способности захвата и перемещения объекта. При
несовпадении (вследствие выбора по разным причинам) системы
координат установки и моторов, может потребоваться пересчет в
несколько этапов, что усложняет алгоритмы и может приводить к
алгоритмическим ошибкам.
Таким образом, обязательным становится:
- задание нуля системы координат установки (выполняется один раз,
при проектировании, иногда привязывается к расположению
калибровочного стекла либо совпадает с нулем энкодеров моторов),
50
- определение относительного расположения нуля моторов от нуля
системы координат установки,
- определение относительного расположения оси оптики
видеорегистратора от нуля моторов,
- определение относительного расположения оси инструмента для
захвата объекта от оси видеорегистратора,
- определение относительного расположения объекта на изобажении
от оси видеорегистратора.
С течением времени, в результате теплового нагрева, относительные
координаты меняются. Нивелирование этой ошибки обычно выполняется
периодической автоматической калибровкой (например, через каждый час
работы) с использованием видеорегистратора и калибровочного чипа,
расположенной в нуле системы координат, либо, из-за конструктивных
особенностей, отстоящей от нуля на расстоянии, но жестко закрепленной
на элементах конструкции, выполненных из инварных сплавов либо
гранитных плит.
Таким образом, корректность локализации объекта, кроме
собственных настроек алгоритма распознавания образов, зависит от
точности калибровки видеорегистратора. Калибровка выполняется в два
этапа:
- спрямление изображения (удаление искажений оптики),
- определение таблицы пересчета из пикселей в микрометры.
2.3 Разработка шагов для получения координат объектов
Из раздела 2.1 следует, что после выполнения настройки
оборудования и поиска нуля моторами, единственной неизвестной
величиной во время производственного процесса является расположение
объекта для начала операции с ним. Алгоритм обработки изображений как
раз и предназначен для разрешения этой неопределенности.
51
Обязательными этапами локализации объекта в системе координат
установки (или моторов), являются следующие:
- съемка изображения видеорегистратром,
- применение алгоритма корректировки, позволяющего убрать
искажения (обусловленные оптикой и конструктивными особенностями
камеры),
- вызов алгоритма распознавания образов объектов,
- пересчет результата локализации объекта из координат на
изображении (пиксели по осям x,y) в микрометры в системе координат
видеорегистратора,
- пересчет локализации объекта в системе координат установки.
В программе автором работы реализован алгоритм, позволяющий
выполнять итерационный поиск внутри найденных объектов. На практике
такая возможность является дополнительным преимуществом, так как
позволяет сначала одним методом найти область интереса на изображении
(ROI), а на следующем шаге другим методом (часто более
ресурсозатратным), выполнять поиск на уменьшенном объеме данных.
В таких случаях алгоритм поиска должен учитывать вложенность, и
при расчете координат объектов применять поправку, являющуюся
сдвигом объекта предыдущей итерации.
На рисунке ниже приведен пример подобного поиска, когда на
образце, найденном в первой итерации, выполняется поиск его углов.