§ 2.4. Системы технического зрения роботов

В предыдущем параграфе была дана общая постановка задачи адаптации в робототехнике и описаны датчики очувствления роботов. В этом параграфе рассматривается еще один вид очувствления - техническое зрение, дающее большую информацию о внешней среде робота.

Системы технического зрения роботов могут быть телевизионные, фотоматричные, построенные на приборах с зарядовой связью (ПЗС), лазерные и другие. Телевизионные, фотоматричные и ПЗС-системы технического зрения дают возможность либо бинарного (черно-белого) определения очертаний предметов, т. е. в двух градациях, либо многоградационного, когда они могут различать несколько градаций яркости, т. е. давать картину со множеством полутонов. Требование такой повышенной точности идентификации изображения зависит от потребностей технологического процесса. Этим определяется и сложность микропроцессорной обработки информации в таких системах.

Искусственное зрение используется в робототехнических системах для разных целей: контроль качества выполнения технологической операции (в частности, контроль процесса сборки узлов изделий), обнаружение наличия предмета, распознавание фактически складывающейся обстановки, определение местоположения и ориентации предметов, идентификация и различение деталей в темпе хода технологического процесса. Системы искусственного зрения помогают роботу взять деталь с движущегося конвейера, произвести сборку изделия, окраску, сварку и другие операции.

Системы технического зрения для обработки видеоинформации снабжаются необходимыми алгоритмами и программным обеспечением. Они могут иметь наборы прикладных программ реального времени для различных технологических задач с микропроцессорной обработкой информации. Тогда они чисто программным путем быстро переналаживаются для обслуживания тех или иных технологических операций. Следовательно, совместно с роботами, для очувствления которых системы технического зрения служат, и с другим оборудованием они представляют единый многофункциональный роботизированный технологический комплекс, способный автоматически работать в различных ситуациях как при смене вида операций, так и в не вполне определенной или меняющейся обстановке.

Фотоматричная система технического зрения реализуется наиболее простыми техническими средствами. Чувствительным элементом (датчиком изображения) служит небольшая матрица фотодиодных элементов 16×16 или 32×32. Разрешающая способность таких систем ограничена количеством элементов дискретизации. Однако такого объема информации бывает достаточно для многих технологических задач. С помощью несложной цифровой обработки информации можно извлекать из полученного изображения для ввода в управляющую микроЭВМ робота сигналы о тех или иных признаках предмета и его расположении, используя два уровня (черное - белое) или, если нужно, несколько градаций яркости.

К преимуществам фотоматричной системы относятся достаточная прочность и надежность, малые вес и размеры приемной камеры (например, цилиндр диаметром 3 см и длиной 8 см). Поэтому такую систему удобно устанавливать прямо на схвате робота (рис. 2.37), и робот может "рассматривать" предмет, с которым он манипулирует. Таким образом, робот получает искусственный "глаз" на конце своей "руки", которая, перемещаясь, может заглядывать этим "глазом" в любые места рабочего пространства, в том числе и за перегородки и другие препятствия.

Рис. 2.37. Фотоматричная система технического зрения на схвате промышленного робота

Преимуществом фотоматричной системы технического зрения является также малое энергопотребление и высокая фоточувствительность. Система сохраняет работоспособность без перенастройки в широком диапазоне колебаний освещенности. Важным фактором для работы в темпе хода технологического процесса является простота, а значит, и быстрота обработки информации по простым признакам изображения предметов. Большое быстродействие системы на фотодиодных матрицах объясняется параллельным способом считывания информации с элементов матрицы.

В качестве преобразователей свет - сигнал в таких системах широко применяются кремниевые фотодиоды. Оптические сигналы преобразуются в электрические, производится их усиление, кратковременное хранение и считывание. Каждая ячейка матрицы содержит фоточувствительную область (фотодиод) и три транзистора, выполняющие функции усиления и управления ячейкой.

При считывании с накоплением энергия излучения, падающая на фоточувствительную область, накапливается в течение определенного времени, а затем выполняется считывание. Этим существенно повышается чувствительность матрицы и используется возможность управлять выходным сигналом путем изменения времени накопления. Цикл преобразований в целом включает стирание, запись, считывание.

Функциональная схема камеры на основе фотодиодных матриц имеет вид, показанный на рис. 2.38. Видеосигналы с ФДМ идут параллельно на аналого-цифровой преобразователь и затем в оперативное запоминающее устройство для согласования порядка и скорости вывода данных в процессор обработки информации.

Рис. 2.38. Функциональная схема фотоматричной системы (ЗГ - задающий генератор, определяющий частоту следования управляющих импульсов; Ф - формирователь импульсов стирания, подготавливающий к работе одновременно все ячейки матрицы в начале каждого цикла; ФР - формирователь-распределитель импульсов адреса по строкам матрицы в соответствии с заданным порядком их считывания; ФДМ - фотодиодная матрица; АЦП - аналого-цифровой преобразователь; ОЗУ - оперативное запоминающее устройство)

Важно, что фотодиодные матрицы не обладают инерционностью при считывании. Их дискретная структура позволяет получать информацию о движущихся предметах без искажений.

Телевизионные системы технического зрения роботов дают более богатую картину изображения обстановки. Они строятся на базе малогабаритных производственных телекамер обычно с полем 256×256 точек. Разумеется, для применения в робототехнике не требуется знания всех подробностей обстановки, которую дает телекамера. Поэтому при цифровой обработке полученного изображения следует выделить необходимый минимум сведений, отвечающий заложенным в память и в программу ЭВМ робота признакам нужного объекта для последующих действий робота или просто для выполнения контрольных функций по ходу процесса (рис. 2.39).

Рис. 2.39. Робот с контрольной телевизионной системой технического зрения

С этой целью строится специализированный вычислитель с микропроцессорной обработкой информации по заданному алгоритму, если это относится к достаточно узкому классу задач с ограниченным разнообразием программ действия системы. При более универсальном применении системы технического зрения с широкими возможностями программирования и переналадки программного обеспечения робототехнической системы в целом, снабженной искусственным зрением, используется микроЭВМ. При этом между телекамерой и ЭВМ вводится устройство сопряжения для предварительной обработки изображения с целью получения сигналов, удобных для ввода в микроЭВМ (рис. 2.40 и 2.41).

Рис. 2.40. Блок-схема телевизионной системы технического зрения

В качестве преобразователя свет - сигнал в телевизионных системах технического зрения используются передающие трубки различных типов. Наиболее распространено применение видиконов с фотоэлектрическим преобразованием на основе внутреннего фотоэффекта. Процесс преобразования свет - сигнал здесь основан на накоплении заряда на конденсаторах. В процессе развертки электронным лучом освещенных и неосвещенных участков фотомишени видикона образуется сигнал изображения. Видиконы имеют высокую чувствительность, хорошую разрешающую способность и широкий спектральный диапазон. На рис. 2.42 представлена функциональная схема телекамеры на базе видикона. Обычно телекамера соединяется с микроЭВМ через электронное устройство сопряжения с применением стандартного интерфейса. Устройство сопряжения обеспечивает пространственную дискретизацию видеосигнала, квантование его по яркости, преобразование в параллельный 16-разрядный код, запоминание видеосигнала и связь с интерфейсом ЭВМ.

Рис. 2.41. Реализация телевизионной системы технического зрения

В телевизионных камерах общего назначения используются, как правило, видиконы с магнитным отклонением считывающего луча. Они применяются и в системах технического зрения. Но для промышленных роботов в системах технического зрения более перспективны видиконы с электростатическим отклонением считывающего луча. Такие системы позволят увеличить скорость развертки (что для роботов очень важно) и реализовать при необходимости нестандартные виды развертки (радиальную, спиральную). В них более простыми средствами достигаются высокая линейность отклонения луча и другие желаемые свойства.

Рис. 2.42. Функциональная схема телекамеры на базе видикона

Одним из основных требований, предъявляемых к системам технического зрения, является выполнение их функций в реальном масштабе времени, соответствующем ходу обслуживаемого ими рабочего процесса. А ввиду большого объема информации в телевизионном изображении и недостаточно высокого быстродействия из-за последовательного способа передачи видеосигнала это требование должно обеспечиваться существенным сокращением обрабатываемой информации. Последнее достигается выбором достаточно простых признаков идентификации предметов, построением быстродействующих алгоритмов с распараллеливанием вычислений и операций, применением многопроцессорных сетей, аппаратными средствами сжатия информации на входе, а также другими способами, связанными с целенаправленным управлением процессом ввода изображения. Сокращение объема обрабатываемой информации важно также и для уменьшения объема требуемой памяти.

Чаще всего на производстве для обследования плоских изображений можно обойтись применением системы технического зрения. Во всех случаях, где это возможно, следует ограничиваться использованием бинарных изображений (черное - белое) ввиду простоты процедуры обработки видеоинформации (большое значение при этом имеет контраст между предметом и фоном). К многоградационным системам следует прибегать при действительной необходимости получения значительно большей информации об объекте с полу-тоновым рисунком. В ряде случаев такое многоградационное изображение позволяет на плоской картине судить о третьем измерении деталей объекта (углубления, выступы и т. п.) за счет полутонов, получающихся при освещении объекта.

Но для тех случаев, когда технологические задачи нуждаются в более достоверной информации о трехмерных объектах, существуют другие методы построения систем технического зрения, которые в меньшей степени подвержены влиянию изменения внешнего освещения.

Программное обеспечение в системах технического зрения зависит от алгоритмов обработки информации, т. е. от способов идентификации предметов и выбранных признаков для этого, а эти факторы существенно влияют на обеспечение требования работы системы в реальном времени.

На точность работы системы технического зрения влияют, кроме дискретизации изображения, и геометрические искажения камеры (они более заметны по периферии поля зрения). Поэтому желательно, чтобы оптическая ось камеры была перпендикулярна к плоскости рабочего пространства. Влияют на точность также калибровка, фокусировка, выбор порога при бинарной системе. Погрешности вносят и алгоритмы обработки видеоинформации.

МикроЭВМ в системе технического зрения выполняет ряд функций. Она организует процесс совместной работы блоков системы по заданным алгоритмам, обрабатывает массивы цифровых данных о состоянии рабочего пространства с целью идентификации предмета, вычисляет его координаты, ориентацию и прочие признаки, выдает результаты в систему управления роботом, контролирует остальные порученные ей процессы и устройства.

Изображение формируется в памяти ЭВМ в виде матриц отсчетов градаций яркости объекта. Производится предварительная обработка (сглаживание, повышение контрастности, фильтрация). Анализ изображения в ЭВМ состоит, например, в выделении контуров на изображении. Затем в ЭВМ выполняется интерпретация изображения, т. е. сравнение результата анализа по заданным признакам с геометрическими характеристиками объекта, хранящимися в памяти ЭВМ. Таким образом автоматически решается задача распознавания в адаптивном роботе.

Положение объекта определяется по координатам его силуэта, полученного в ЭВМ путем выделения контуров изображения. Эталонные признаки для идентификации объекта могут быть введены в память ЭВМ, например, в режиме обучения. Иногда применяются более простые процедуры опознавания объекта - непосредственно по контрастным меткам на изделии.

Существует еще так называемый прожекторный метод, когда предметы различаются по цвету. Предмет освещается, а отраженный световой луч падает на чувствительную поверхность датчика цвета, снабженного тремя цветовыми фильтрами (красным, синим, зеленым). Образуются три сигнала в виде цифровой информации, обрабатываемой в микропроцессорном устройстве. Производится сравнение с соответствующими данными о цветах объекта, заложенными в память ЭВМ. Такая система технического зрения может быть применена не только для распознавания, но также и для автоматического контроля результатов окраски изделий.

Рис. 2.43. Блок-схема робота, различающего цвета предметов (1 - телекамера; 2 - устройство управления цветными фильтрами; 3 - передача видеосигнала; 4 - проектор луча света; 5 - управление лучом света; 6 - ход луча света; 7 - аналого-цифровой преобразователь; 8 - блок определения цвета объекта; 9 - блок обнаружения ребра предмета; 10 - блок измерения расстояния; 11 - ЭВМ распознавания предмета и выбора значений параметров управления; 12 - сигнал, формируемый ЭВМ; 13 - блок управления манипулятором робота; 14 - подпрограмма управления; 15 - манипулятор; 16 - тактильная система информации)

На рис. 2.43 изображена блок-схема робота, различающего цвета предметов. Заложенные в робот подпрограммы обеспечивают выполнение различных вариантов элементарных движений. Адаптивная система программного управления роботом по результатам распознавания составляет рабочую программу для выполнения определенного технологического задания из набора элементарных подпрограмм в различных комбинациях.

Как мы видели, системы технического зрения в большинстве случаев сопрягаются с ЭВМ для обработки видеоинформации при передаче сигналов в систему управления роботом. Такая система обладает универсальными свойствами как многофункциональное устройство для адаптивных роботов различного назначения.

Однако для ряда специфических функций система технического зрения не обязательно должна в своем составе иметь ЭВМ. Нередко для выполнения частных робототехнических задач (по идентификации деталей, обнаружению дефектов и т. п.) достаточно бывает использования модульных электронных плат. Различные их комбинации позволяют выполнять необходимые функции для систем технического зрения без ЭВМ и вводить требуемые сигналы в систему управления адаптивным роботом.

Система технического зрения на базе матрицы ПЗС (приборов с зарядовой связью) имеет матричную структуру чувствительного поля, как и фотодиодная система. Но, в отличие от последней, матрица ПЗС обладает большей плотностью расположения элементов. Поэтому, сохраняя преимущества дискретизации изображения (как в фотоматрице), система с матрицей ПЗС имеет большую информативность, свойственную телевизионной системе. Видеосигнал матриц ПЗС достаточно легко подгоняется под телевизионный стандарт. Системы на основе ПЗС-камер имеют большее быстродействие по сравнению с телевизионными камерами и обладают меньшими габаритами.

Матрица ПЗС представляет собой компактный полупроводник - кремниевую пластинку, на поверхность которой напылена, как тончайшая сеть, система электродов и нанесено просветляющее покрытие для лучшего поглощения фотонов света. Основным элементом матрицы ПЗС является емкость, образованная электродами, которые расположены в тонком слое диэлектрика, покрывающем поверхность полупроводишь. Некоторым недостатком матрицы ПЗС является то, что при ее использовании не допускается слишком сильное освещение, которое вызывает переполнение зарядов, приводящее к плохим результатам приема изображения.

Преимущества системы технического зрения на базе матрицы ПЗС по сравнению с системой на видиконах с точки зрения промышленной робототехники заключаются (кроме малости весов и габаритов) в отсутствии инерционности, низком уровне выходных шумов, высокой линейности фотоэлектрического преобразования, низком напряжении и малой потребляемой мощности, высокой устойчивости к механическим (удары, вибрации, ускорения), акустическим и электромагнитным воздействиям, более высокой надежности и долговечности в эксплуатации. Совокупность всех этих свойств определяет перспективность применения матриц ПЗС для систем технического зрения адаптивных промышленных роботов.

Рис. 2.44. Схема приемной камеры на базе матрицы ПЗС (СГ - сиихрогенератор; ФФНХ - формирователь фазных напряжений для секций хранения; ФФНН - то же для секций накопления; ФФНР - то же для выходного регистра; СН - секции накопления; СХ - секции хранения; ВР - выходной регистр; ВУ - выходное устройство; У - усилитель)

Функциональная схема приемной камеры на базе матрицы ПЗС показана на рис. 2.44. В выходном устройстве заряды преобразуются в потенциалы, соответствующие последовательности видеоимпульсов, которые затем усиливаются.

Отмеченные выше преимущества систем на базе матрицы ПЗС позволяют проще сделать установку нескольких камер и, таким образом, легче осуществлять одновременное получение изображений с различных мест и в сочетании со структурированным освещением получать информацию о трехмерных объектах. Это, естественно, ускоряет работу такой системы технического зрения. Кроме того, одну из камер можно установить непосредственно в кисти манипулятора робота. Перспективно здесь применение систем волоконной оптики для передачи световой информации с ПЗС-камеры, установленной в кисти манипулятора.

Заметим, что для анализа трехмерного изображения в системах технического зрения перспективным является применение голографических методов, позволяющих проводить непосредственный анализ трехмерной сцены.

Системы технического зрения на базе матриц ПЗС весьма целесообразно использовать при необходимости восприятия информации от движущихся объектов, так как сканирование в них осуществляется в одном направлении. Картина воспроизводится практически без искажений и с большей чувствительностью, чем в системах с телевизионными камерами на видиконах.

Для работы с мелкими объектами, например при автоматизации сборки транзисторов и микросхем, отбраковки, установки, крепления кристаллов, распайки приводов, применяются телевизионные камеры (как ПЗС, так и видиконы) в сочетании с микроскопом. МикроЭВМ, кроме описанных ранее функций обработки изображений и формирования сигналов в систему управления сборочным роботом, управляет еще положением и действиями телекамер.

Рис. 2.45. Схема сканирующего лазерного дальномера (1 - направление луча на зеркало; 2 - нормаль к сканирующему зеркалу; 3 - направление измерения дальности)

Применяются в робототехнике также обзорно-поисковые системы технического зрения с использованием лазерного сканирующего дальномера. Пример схемы лазерного дальномера показан на рис. 2.45. Сканирующие дальномеры предоставляют движущемуся адаптивному роботу информацию о неизвестной заранее обстановке с препятствиями, которые надо обходить, двигаясь к заданной цели (цель может быть невидима и задана своими координатами).

Для данного робота основным является движение вперед с огибанием препятствий. Но предусматривается также возможность специальных маневров - развороты и задний ход. Все это определяет и планирует ЭВМ в зависимости от текущих результатов информации об обстановке, получаемой из системы технического зрения с лазерным сканирующим дальномером. Система в целом нуждается в довольно сложном алгоритмическом и программном обеспечении.

Специальные системы технического зрения для особых условий внешней среды могут строиться на других принципах, нежели описанные выше. Для таких целей используются радиационные, тепловые и радиоволновые системы технического зрения. Такие системы применяются в случаях, когда надо получать информацию о состоянии внутренней структуры металла, бетона, дерева, а также для некоторых агрессивных условий.

Средства радиационной интроскопии могут использоваться в адаптивных роботах, например, для сборки узлов при необходимости выявления невидимых неправильных сопряжений и наличия внутренних изъянов в деталях. В этом случае происходит просвечивание объекта проникающей ионизирующей радиацией, например рентгеновской, преобразование радиационного изображения в светотеневое или электронное и передача его с помощью оптического или телевизионного канала.

Перспективным является применение для специальных адаптивных роботов радиационного компьютерного томографа. Принцип томографии заключается во внутреннем послойном сканировании объекта коллимированным рентгеновским пучком, измерении мощности излучения за объектом детекторами с линейной характеристикой и построении полутонового изображения слоев (разрезов) данного объекта по вычисленным в ЭВМ значениям плотности вещества в элементарных ячейках слоя. Координаты каждого элемента определяются также при помощи ЭВМ и могут быть использованы в системе управления действиями адаптивного робота. В томографии применяются и другие физические принципы: ядерно-магниторезонансный, электрический, акустический, тепловизионный.

Системы технического зрения тепловые (в инфракрасном диапазоне волн) применяются для визуализации тепловых полей нагретых тел. В них используется явление эмиссии электромагнитного излучения нагретыми телами. С помощью сканирующих или матричных фотоэлектронных преобразователей рельефа интенсивности излучения на поверхности объекта это излучение преобразуется в эквивалентное распределение электрических сигналов. В результате на экране получается изображение теплового поля объекта разной яркости.

Тепловые системы технического зрения включают оптическую систему для фокусировки инфракрасных лучей, фотопреобразователь, систему развертки и оконечные устройства обработки информации, откуда сигналы подаются в систему управления адаптивным роботом. Для передачи теплового изображения из зоны контроля к системе развертки применяется волоконная оптика.

Радиоволновые системы технического зрения основаны на взаимодействии электромагнитного поля с объектом и преобразовании этого поля в двумерное изображение. Таким методом можно измерять геометрические параметры объекта, расстояние до него, характеристики его движения (скорость, поворот, вибрации) и физические характеристики.

Акустические системы технического зрения используют свойство ультразвуковых волн отражаться отнеоднородностей в жидких, газообразных и твердых средах. При этом производится визуализация акустического поля. Здесь особое значение приобретают алгоритмы фильтрации и улучшения качества изображения ввиду трудностей непосредственного получения хорошего процесса визуализации акустической информации.

В заключение отметим, что в новых образцах адаптивных промышленных роботов появились уже комбинированные средства очувствления. Например, сочетание системы технического зрения с датчиками тактильного или силомоментного очувствления и др., как это имеет место и у человека в процессе его трудовой деятельности.