7.7. Системы искусственного зрения и распознавания в адаптивных робототехнических комплексах

Важный класс СИИ для РТК представляют системы искусственного зрения и распознавания. Эти системы состоят из датчиков видеосигналов и средств распознавания. В качестве видео датчиков обычно используются фотодиоды, телекамеры или лазеры. Средства распознавания объектов по видеосигналам реализуются в виде программного обеспечения для специализированной микроЭВМ или микропроцессоров.

Системы искусственного зрения и распознавания в робототехнике принято называть системами технического зрения (СТЗ) [991. При этом техническое зрение трактуется как собственно процесс восприятия окружающих объектов с помощью видео датчиков, так и их распознавание на основе полученной видеоинформации.

Каковы причины и факторы, обусловившие необходимость и все более широкое применение СТЗ в РТК и ГАП? Какие принципиально новые свойства приобретают РТК, снабженные СТЗ? Ответ на эти вопросы позволит определить ту роль и значение, которые СТЗ играют в современной робототехнике и ГАП.

Одной из главных причин "интеллектуализации" производства с помощью СТЗ является необходимость автоматизации широкого класса технологических операций, требующих визуального контроля. Примерами таких операций могут служить сборка и сварка изделий.

Другая не менее важная причина заключается в известной неупорядоченности и не стационарности рабочей обстановки, характерной для многих типов производств. В такой обстановке обычные РТК с программным управлением теряют работоспособность. Организация и поддержание идеальных условий требуют изготовления специальной технологической оснастки для предварительного упорядочивания обстановки в рабочей зоне (точное позиционирование и ориентирование деталей и т. п.). Это усложняет процесс роботизации производства, приводит к значительным дополнительным затратам и существенно снижает экономический эффект от внедрения РТК. Тем не менее в условиях массового и крупносерийного производства соответствующие затраты оправданы.

Однако в ГАП, ориентированном на выпуск продукции малыми сериями, предварительное упорядочивание рабочей среды зачастую не только экономически неоправданно, но и может оказаться невозможным. В этих условиях весьма перспективно использование РТК с СТЗ, поскольку они могут работать с неориентированными и произвольно расположенными деталями, адаптироваться к непредсказуемым изменениям производственных условий.

В случае необходимости манипуляционные и транспортные роботы с адаптивным управлением и СТЗ могут применяться для предварительного упорядочивания рабочей среды (например, для складирования неориентированных деталей в специальные пакеты и т. п.). После этого обычные РТК с программным управлением вновь могут успешно использоваться даже в условиях ГАП.

Таким образом, адаптивные роботы и РТК, снабженные СТЗ, могут служить как для автоматизации технологических процессов в не детерминированной и изменяющейся обстановке ГАП, так и для предварительного упорядочивания объектов в рабочей зоне.

Разработка СТЗ для РТК включает в себя ряд этапов, в том числе: выбор подходящих видео датчиков с учетом условий освещенности в рабочей зоне; оценку информативности снимаемых признаков; синтез решающих правил и их реализацию на базе современных средств вычислительной техники.

Робототехнические СТЗ работают в двух режимах: обучения и распознавания. В режиме обучения СТЗ предъявляет объекты разных классов (например, детали и инструмент) в характерных рабочих ракурсах. По этим данным автоматически строятся описания классов и решающие правила, которые хранятся в базе знаний. В режиме распознавания осуществляется (в зависимости от целевых условий) идентификация нужного объекта, классификация видимых объектов или анализ, описание и интерпретация рабочей обстановки. Полученная таким образом информация используется далее для адаптивного управления роботами и технологическим оборудованием ГАП.

Введение в состав РТК СТЗ существенно увеличивает их интеллектуальность и расширяет адаптационные возможности. Поэтому в ряде промышленно развитых стран ведутся интенсивные разработки в области совершенствования промышленных СТЗ и организации их серийного выпуска. В табл. 7.1 приведены технические характеристики некоторых СТЗ, выпускаемых фирмами США. По оценкам американских специалистов [128], широкое использование СТЗ в ГАП может дать экономический эффект в несколько миллионов долларов в год.

Таблица 7.1

В СССР также осваивается серийный выпуск СТЗ [99]. В качестве примеров можно указать на СТЗ на базе фотодиодной матрицы ОТ-10МФ и телевизионных датчиков типа "видикон" ОТ-ЮМВ, выпускаемых научно-производственным объединением "Спектр".

СТЗ применяются в адаптивных РТК для выполнения следующих технологических операций:

1. загрузки станков и обрабатывающих центров произвольно расположенными заготовками и деталями из бункеров или с конвейера;
2. визуального контроля и отбраковки деталей или изделий; сортировки и укладки в пакеты или специальные накопители неупорядоченных деталей (в том числе деталей, поступающих в таре навалом);
3. комплектации узлов и сборки изделий из неупорядоченных деталей;
4. дуговой сварки изделий сложной конфигурации; окраски деталей сложной формы;
5. адресования деталей с подвесных конвейеров на сборочные. Однако области возможных и целесообразных применений СТЗ в ГАП не ограничиваются указанными операциями.

Разнообразие технологических процессов, требующих визуального контроля и распознавания, привело к созданию большого числа адаптивных РТК, отличающихся компоновкой, типом применяемых видео датчиков, методами и средствами распознавания. В качестве методов автоматического распознавания используются логические, логико-вероятностные, инвариантные и дискриминантные (перцетронные) алгоритмы и решающие правила [4, 9, 44, 99, 108, 119, 133]. Эти методы реализуются либо программно на мини-ЭВМ или микропроцессорах, либо аппаратно на интегральных микросхемах.

Компоновка РТК зависит в значительной мере от числа и способа включения в него СТЗ. В большинстве адаптивных РТК восприятие и анализ обстановки в рабочей зоне производится с помощью одной или нескольких СТЗ, непосредственно не связанных с роботами. Такая компоновка обеспечивает естественное распознавание процессов обработки видеоинформации и адаптивного управления роботами и технологическим оборудованием. Кроме того, она позволяет воспринимать рабочую зону в целом и непосредственно контролировать происходящие изменения.

Недостатком данной компоновки является то, что в момент захвата деталей манипуляторы роботов заслоняют именно ту часть рабочей зоны, информация о которой больше всего нужна для качественного выполнения технологических операций (например, для сборки). Поэтому иногда СТЗ встраивают в роботы, устанавливая видео датчик на манипуляторе (компоновка "глаз на руке") или прямо в механизм захвата (компоновка "глаз в руке").

Преимущество такой компоновки заключается в том, что манипуляторы роботов теперь уже не перекрывают поле зрения СТЗ. Кроме того, облегчается самонаведение захвата на деталь, причем процесс наведения становится адаптивным (за счет использования визуальной обратной связи). Однако при этом информация о рабочей зоне носит локальный характер. На практике при выборе рациональной компоновки адаптивных РТК целесообразно комбинировать оба способа установки СТЗ.

Рассмотрим теперь общие принципы использования обратной связи через СТЗ для организации адаптивного управления РТК.

Наибольшее распространение получил принцип эпизодического обращения к СТЗ, когда необходимая для адаптивного управления РТК видеоинформация поступает дискретными порциями (кадрами) лишь в определенные моменты времени. Эта информация обычно используется для формирования целевых условий и ограничений, а также для автоматического расчета или коррекции программных движений роботов и технологического оборудования. В процессе же фактической отработки программных движений РТК функционирует "вслепую".

Значительный интерес для улучшения качества адаптивного управления представляет принцип непрерывного использования обратной связи от СТЗ. Этот принцип лежит в основе нового класса адаптивных систем управления - систем "визуального сервоуправления" и "визуального самонаведения". Они все шире применяются при сборке сложных изделий, при слежении сварочной головкой за швом, при наведении измерительного щупа на контрольные точки детали, при взятии движущихся по конвейеру объектов и т. п. В этих случаях обычно используется компоновка СТЗ типа "глаз в руке". Целевые условия формулируются в терминах желаемого расположения захвата или рабочего органа в системе координат "глаза". "Визуальное сервоуправление" сводится к устранению рассогласования между целевыми и фактическими характеристиками на основании показаний СТЗ.

Робототехнические СТЗ существенно отличаются от обычных СТЗ, используемых, например, в читающих автоматах, в системах анализа аэрофотоснимков, морфологических срезов, отпечатков пальцев и т. п. Эти отличия обусловлены прежде всего способностью РТК активно воздействовать как на объекты в рабочей зоне, так и на саму СТЗ (изменение ракурса восприятия), подвижностью воспринимаемых объектов, а также необходимостью оперативной обработки информации для адаптивного управления РТК без замедления работы оборудования.

Особенности СТЗ, используемых в адаптивных РТК, порождают специфические требования, которые необходимо учитывать при их разработке (в случае создания новых робототехнических СТЗ) или выборе (в случае проектирования адаптивного РТК на базе имеющихся СТЗ).

Среди наиболее важных требований отметим следующие:

1. высокую скорость обработки видеоинформации (в ряде робототехнических СТЗ время распознавания одной детали составляет десятки или сотни миллисекунд [4, 99, 128]);
2. гибкость и обучаемость, т. е. способность переобучаться для распознавания новых классов объектов;
3. высокую точность распознавания и идентификации геометрических параметров объектов (координаты, ориентация и т. п.);
4. инвариантность к различным возмущениям (изменение освещения, контрастности, ракурса и т. п.) и высокую помехоустойчивость в производственных условиях.

Кроме того, робототехнические СТЗ должны легко сопрягаться со стандартным интерфейсом управляющих ЭВМ, иметь малые габаритные размеры и низкую стоимость.

Рассмотрим некоторые примеры использования СТЗ в адаптивных РТК.

Фирма "Юнимайшен" (Unimation, США) разработала ряд СТЗ для РТК (см. табл. 7.1). Одна из таких СТЗ применяется в адаптивном РТК для дуговой сварки. Она состоит из телекамеры и осветителя, устанавливаемых на манипуляторе сварочного робота (компоновка "глаз на руке"). СТЗ предназначена для самонаведения сварочной головки на линию сварки, которая может сильно отклоняться от программной траектории из-за погрешностей в изготовлении и позиционировании свариваемых деталей. Получаемая видеоинформация о линии сварки используется для соответствующей коррекции программных движений манипулятора. Эту функцию визуального самонаведения выполняет адаптивная система управления РТК, реализованная на базе ЭВМ РДР-11/40. Время обработки видеоинформации колеблется в пределах 100-500 мс в зависимости от сложности свариваемых изделий. Точность "визуального самонаведения" сварочной головки не превышает 1,2 мм. Другой вариант использования СТЗ в РТК для дуговой сварки описан в п. 5.6.

Фирма "Дженерал Моторе" (General Motors, США) разработала адаптивный РТК, включающий ленточный конвейер, один или несколько манипуляционных роботов и СТЗ. Такой РТК может работать с неупорядоченными деталями, поступающими на конвейер случайным образом. Это достигается благодаря использованию СТЗ, представляющей собой линейную телекамеру, включающей 256 фотодиодов, и два источника света, которые устанавливаются непосредственно над конвейером. СТЗ определяет положение и ориентацию каждой детали и передает эту информацию в адаптивную систему управления робота. Манипулятор робота последовательно снимает неориентированные детали с конвейера и устанавливает их в специальную тару (пакеты и т. п.). Время рабочего цикла составляет 5 с при скорости конвейера 0,2 м/с.

Аналогичная СТЗ для распознавания и определения геометрических характеристик неупорядоченных деталей на конвейере создана фирмой "СРИ" (SRI, США). В качестве видео датчиков здесь используется линейка из 128 фотодиодов, установленная над конвейером, по которому перемещаются неориентированные детали разных типов (шатун, поршень, головка цилиндра, тормозная колодка, диск и др.). Сканирование деталей осуществляется за счет движения конвейера. С помощью анализаторов связности выделяются силуэты отдельных деталей, по которым затем вычисляются семь признаков формы (периметр, площадь, минимальный и максимальный радиусы и т. п.).

В режиме обучения СТЗ по конвейеру последовательно перемещаются детали всех типов. На основании полученной информации автоматически строится логическое решающее правило. В режиме распознавания последовательно, (в соответствии с построенным решающим правилом) вычисляются признаки деталей, воспринимаемых СТЗ в процессе эксплуатации конвейера, и осуществляется их классификация с указанием положения и ориентации. В обоих режимах необходимо специальное освещение, обеспечивающее получение контрастных силуэтов деталей.

В СССР также создан ряд промышленных СТЗ. В качестве примера укажем на гамму СТЗ, разработанную на производственном объединении "Кировский завод" для автоматического распознавания и адресования крупногабаритных деталей трактора К-701 с подвесного конвейера на сборочный. Различные варианты СТЗ отличаются алгоритмами распознавания и конструкцией видео датчиков, в качестве которых используются телевизионная камера, лазерный дальномер или система шарнирно закрепленных фотоприемников с узконаправленными осветительными лампами. Одной из наиболее простых, но эффективных СТЗ является данная система, в основе которой лежат адаптивные логические решающие правила минимальной сложности и семь датчиков типа "осветитель-фотоприемник". Эта СТЗ, подробно описанная в п. 6.5, служит для автоматического распознавания и адресования 11 классов деталей трактора К-701, перемещающихся по подвесному толкающему конвейеру.

В режиме обучения СТЗ по конвейеру пропускают все типы деталей ("бак масляный", "крышка капота" и т. д.). На основании показаний фотоприемников автоматически строятся логические описания классов (в форме распознающих и идентифицирующих графов минимальной сложности) и связанные с ними адаптивные решающие правила. В дальнейшем эти правила используются для фактического распознавания деталей в процессе нормальной эксплуатации конвейера и формирования управляющих воздействий на приводы стрелок ответвления на подвесном конвейере с целью адресования распознанных деталей на соответствующие позиции главного сборочного конвейера.

Достоинствами СТЗ рассмотренного типа являются высокая точность (около 96 %) и быстрота (около нескольких миллисекунд) распознавания. Важно также отметить, что СТЗ способна адаптироваться к таким производственным возмущениям, как колебания деталей на сцепах и нарушения технологических норм подвеса.

Гибкость СТЗ заключается в том, что при изменении номенклатуры перемещаемых деталей достаточно переобучить систему распознавания, после чего СТЗ автоматически перестраивается на адресование новых деталей. Это свойство рассмотренных СТЗ особенно важно для ГАП.

Фирма ФЕК (FEC, Япония) разработала РТК с СТЗ, предназначенной для визуального контроля и автоматической сортировки кристаллов транзисторов. СТЗ состоит из телекамеры, осветителя, микроскопа и устройства обработки видеоинформации, сопряженного с системой управления манипулятором и двух-координатного стола. Исследуемые кристаллы в специальной кассете размещаются на двух-координатном столе. СТЗ контролирует качество кристаллов, размещаемых в поле зрения телекамеры с помощью манипулятора. Для обнаружения дефектов размером в несколько микрометров вместо оптического микроскопа используется сканирующая система на базе гелий-неонового лазера. Средняя производительность данного РТК составляет 1200 кристаллов/мин.

Фирма "Токио Сокухан" (Tocio Socuhan, Япония) разработала ряд адаптивных РТК для прецизионной сборки миниатюрных изделий. Эти РТК снабжены СТЗ на базе телекамер и осветителей, которые устанавливаются над транспортерами, доставляющими детали для сборки. СТЗ идентифицирует поступающие детали и определяет их ориентацию. Эта информация используется для управления двумя манипуляторами, которые не только собирают корпус полупроводникового прибора, но и сажают кристалл в корпус "на эвтикетку". Если очередная деталь СТЗ не идентифицируется, то она сбрасывается манипулятором в тару для брака и сборка приостанавливается вплоть до поступления требуемой детали. Кроме того, СТЗ формирует сигналы, необходимые для коррекции программных движений манипуляторов при неточной фиксации кристаллов или корпуса.

Экспериментальный РТК для манипулирования неупорядоченными деталями создан в Научно-исследовательском центре "Юниверсити оф Роуд Исленд" (University of Rhode Island, США) [1281. В состав этого РТК входят трех-координатный стол, манипуляционный робот MARK-IV со сменными захватами и две телевизионные СТЗ, установленные над двумя бункерами с деталями. Манипулирование детали осуществляется путем управления электроприводами координатного стола и робота, захват которого имеет три вращательные степени свободы. В качестве захватов используется либо вакуумная присоска, адаптирующаяся к поверхности детали, либо электромеханический двухпалый захват, оснащенный датчиком наличия детали между "пальцами" и датчиком перегрузки.

СТЗ построена на базе двух телекамер на твердотельных матрицах размером 128*128 элементов с восемью градациями яркости. Ввод изображения рабочей сцены осуществляется с помощью интерфейсной платы памяти прямого доступа. Скорость ввода по запросам 16-разрядной мини-ЭВМ не превышает 19 кадров/с. Объем памяти, требуемой для реализации алгоритмов распознавания деталей и анализа сцен, составляет около 26К слов. При этом только для запоминания изображения сцены используется 8К слов. Время анализа сцены (изображения бункера) с целью выявления возможных мест захвата составляет несколько секунд.

Особенностью СТЗ является то, что алгоритмы анализа содержимого бункеров не производят распознавания деталей и не определяют их положение и ориентацию. Они идентифицируют лишь места возможного, захвата деталей. Поэтому используемые в СТЗ алгоритмы существенно зависят от вида детали и типа захвата [128].

Адаптивный РТК с СТЗ для сборки микроэлектронных схем на печатных платах разработан лабораторией гибких сборочных систем при Карнеги-Меллон университете (Carnegie-Mellon University, США) [128]. В состав РТК входят три робота "Пума-500" (Puma-500), "Пума-250" (Рита-250), СЕЙКО (SEIKO) со сменными адаптивными захватами, координатные столы, на которых осуществляется сборка изделий, и телевизионные СТЗ типа VS-ПО. Адаптивное управление, синхронизацию и координацию работы оборудования РТК осуществляет локальная вычислительная сеть, архитектура которой реализует принцип "ведущий-подчиненный". В качестве ведущего компьютера используется ЭВМ РДР-11/23 фирмы "ДЕК" (DEK), а в роли "подчиненных" процессоров выступают микропроцессоры и контроллеры, встроенные в оборудование РТК.

СТЗ VS-ПО, разработанная фирмой "Машин Интеллидженс Корпорейшн" (Machine Intelligence Corporation), производит обработку двух градационных изображений. Она служит для опре-деления ориентации и положения отдельных деталей, а также для обнаружения с помощью подсветки отверстий на плате с целью установки деталей и узлов.

Более широкие возможности визуального контроля имеет СТЗ POPYE, обрабатывающая полутоновые изображения рабочих сцен. В состав этой СТЗ входят цифровой преобразователь видеоизображений, буфер кадров и матричный процессор, управляющий панорамированием, направлением и скоростью движения телекамеры, а также фокусировкой объектива. Для обработки видеоинформации, распознавания и анализа обстановки в рабочей зоне используются микропроцессоры "Motorola-68000".

На базе описанного экспериментального адаптивного РТК с СТЗ фирмой "Вестингхауз Электрик Корпорейшн" (Westinghouse Electric Corporation, США) создан промышленный вариант гибкой автоматической производственной системы "SEAS", предназначенной для автоматической сборки электронных схем на печатных платах.

СТЗ все шире используется в различных РТК как средство неразрушающего контроля качества изделий. Примером может служить адаптивный РТК на базе манипуляционного робота ТУР-10, снабженный СТЗ. Подобные РТК могут использоваться не только для неразрушающего контроля качества и выявления дефектов, но и для выполнения основных технологических операций (сборки, окраски, сварки и т. п.). В одном из вариантов РТК СТЗ реализована на базе оптической системы ОТ-ЮИФ, преобразующей изображение рабочей сцены в двух градационную матрицу из 32x32 фотодиодных элементов. Сигналы с этой матрицы обрабатываются микроЭВМ "Электроника-60", которая реализует алгоритмы идентификации контролируемых объектов и распознавание возможных дефектов на них. Описанная СТЗ позволяет также идентифицировать объекты, перемещающиеся в поле зрения со скоростью до 10 м/с. Среднее время обработки изображения изолированного объекта составляет 60 мс [99].