авторефераты диссертаций БЕСПЛАТНАЯ РОССИЙСКАЯ БИБЛИОТЕКА - WWW.DISLIB.RU

АВТОРЕФЕРАТЫ, ДИССЕРТАЦИИ, МОНОГРАФИИ, НАУЧНЫЕ СТАТЬИ, КНИГИ

 
<< ГЛАВНАЯ
АГРОИНЖЕНЕРИЯ
АСТРОНОМИЯ
БЕЗОПАСНОСТЬ
БИОЛОГИЯ
ЗЕМЛЯ
ИНФОРМАТИКА
ИСКУССТВОВЕДЕНИЕ
ИСТОРИЯ
КУЛЬТУРОЛОГИЯ
МАШИНОСТРОЕНИЕ
МЕДИЦИНА
МЕТАЛЛУРГИЯ
МЕХАНИКА
ПЕДАГОГИКА
ПОЛИТИКА
ПРИБОРОСТРОЕНИЕ
ПРОДОВОЛЬСТВИЕ
ПСИХОЛОГИЯ
РАДИОТЕХНИКА
СЕЛЬСКОЕ ХОЗЯЙСТВО
СОЦИОЛОГИЯ
СТРОИТЕЛЬСТВО
ТЕХНИЧЕСКИЕ НАУКИ
ТРАНСПОРТ
ФАРМАЦЕВТИКА
ФИЗИКА
ФИЗИОЛОГИЯ
ФИЛОЛОГИЯ
ФИЛОСОФИЯ
ХИМИЯ
ЭКОНОМИКА
ЭЛЕКТРОТЕХНИКА
ЭНЕРГЕТИКА
ЮРИСПРУДЕНЦИЯ
ЯЗЫКОЗНАНИЕ
РАЗНОЕ
КОНТАКТЫ

Pages:   || 2 | 3 | 4 | 5 |

Методы программирования систем технического зрения реального времени

-- [ Страница 1 ] --

На правах рукописи

Богуславский Андрей Александрович

МЕТОДЫ ПРОГРАММИРОВАНИЯ СИСТЕМ

ТЕХНИЧЕСКОГО ЗРЕНИЯ РЕАЛЬНОГО ВРЕМЕНИ

05.13.11 – Математическое и программное обеспечение

вычислительных машин, комплексов и компьютерных сетей

Автореферат диссертации на соискание ученой степени

доктора физико-математических наук

Москва – 2006

Работа выполнена в Институте прикладной математики им. М.В. Келдыша РАН (г. Москва)

Научный консультант: доктор физико-математических наук,

профессор Соколов Сергей Михайлович

Официальные оппоненты:

доктор физико-математических наук

Горбунов-Посадов Михаил Михайлович

доктор физико-математических наук, профессор

Зенкевич Станислав Леонидович

доктор физико-математических наук, профессор

Обухов Юрий Владимирович

Ведущая организация: Московский государственный университет им. М.В. Ломоносова (факультет ВМК).

Защита состоится 14 ноября 2006 г. в 11:00 час. на заседании Диссертационного совета Д 002.024.01 при Институте прикладной математики им. М.В. Келдыша РАН по адресу: 125047, Москва, Миусская пл., 4.

С диссертацией можно ознакомиться в библиотеке Института прикладной математики им. М.В.Келдыша РАН.

Автореферат разослан " ___ " ______________ 2006 г.

Ученый секретарь диссертационного совета

доктор физико-математических наук Полилова Т.А.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Развитие робототехнических систем и систем автоматизации производства все активнее выдвигает требование по оснащению этих систем компьютерным видением. Достижения в развитии аппаратных средств сбора зрительных данных и ввода их в ЭВМ позволяют ставить и решать сложные задачи по машинной обработке видеоинформации. Особое место среди таких задач занимают задачи, требующие решения в масштабе реального времени, задаваемого внешними процессами.

К задачам обработки зрительных данных в реальном времени относятся мониторинг состояния различных объектов и систем, инспекционный технологический контроль, слежение за подвижными объектами, обработка зрительной информации в информационных системах манипуляционных и подвижных робототехнических комплексов. Во всех перечисленных приложениях требуется обеспечить в реальном времени получение и обработку зрительных данных с целью обнаружения на сформированных цифровых изображениях образов объектов интереса или их частей.

Отечественная практика применения систем технического зрения (СТЗ), а также ряд зарубежных работ, свидетельствуют о целесообразности использования в качестве базовой ЭВМ в СТЗ реального времени персональных компьютеров общего назначения. Это делает возможным внедрение прикладных СТЗ для решения народнохозяйственных задач, в которых существенное значение имеет доступность аппаратных компонентов автоматизированных систем обработки зрительной информации, а также возможность применения готового прикладного программного обеспечения для представления и обработки результатов, полученных с помощью СТЗ реального времени.



Сдерживающим фактором, особенно на стадии разработки систем технического зрения реального времени, является отсутствие методов программирования подобных систем. Существующие примеры программных средств для сбора и обработки зрительных данных не учитывают специфики требований реального времени или являются узко специализированными под решение отдельно взятой задачи с использованием жестко определенных аппаратных и программных средств. Известные в настоящее время коммерческие пакеты обработки изображений и средства для ускорения разработки приложений автоматизации производства на основе подхода быстрой разработки приложений, как правило, предлагают пользователю платформу, закрытую для модернизации и недостаточно документированную в плане выбранной программной архитектуры.

В диссертации предлагаются методы программирования систем технического зрения реального времени, восполняющие этот пробел. Эти методы обеспечивают разработку ПрО СТЗ реального времени и применимы для построения СТЗ на базе общедоступных персональных компьютеров. Эти методы программирования применялись для разработки ряда СТЗ реального времени прикладного и научного назначения. Среди них – СТЗ для определения взаимного расположения частей пантографов в движении, СТЗ для определения местоположения контактного провода железной дороги по высоте и в плане в процессе движения электроподвижного состава, СТЗ для контроля качества металлического порошка в порошковой металлургии, СТЗ для слежения за процессом сближения и стыковки космического корабля с Международной космической станцией, СТЗ в составе манипуляционных робототехнических систем «глаз-рука».

Важным этапом в процессе проектирования и разработки ПрО является формирование программной архитектуры. Она описывает назначение и типы структурных частей программной системы, а также способы взаимодействия этих частей. В настоящее время известны общепринятые архитектуры для применения в области разработки ПрО массового назначения (например, архитектура интерактивных приложений, клиент-серверных систем и др.), но для разработки ПрО СТЗ реального времени унифицированной программной архитектуры не существует. В данной работе предлагается архитектура ПрО СТЗ реального времени. Она определяет назначение и взаимодействие компонентов ПрО, использование которых упрощает разработку ПрО СТЗ реального времени для обработки полутоновых и цветных изображений с возможностью использования нескольких полей зрения.

Эта архитектура была сформирована в результате анализа опыта разработки более 10 прикладных СТЗ. Применение этой архитектуры позволило повторно использовать в процессе разработки ПрО СТЗ реального времени проектные решения и компоненты ПрО. В качестве структурных частей наиболее высокого уровня в ПрО СТЗ выделяются три параллельные подсистемы: подсистема интерфейса пользователя, подсистема ввода зрительных данных и подсистема обработки зрительных данных. Таким образом, предлагаемая архитектура ПрО СТЗ предназначена для использования в ПрО СТЗ, которое рассчитано на функционирование в среде многозадачной операционной системы (ОС) с поддержкой многопоточности.

Актуальность предлагаемых методов программирования связана также с тем, что в качестве базовой ОС для разработки ПрО СТЗ оказывается возможным выбрать ОС общего назначения. Критерием, позволяющим сделать такой выбор, является возможность соблюдения временных ограничений, характерных для конкретной прикладной задачи. В реализованных СТЗ удалось обеспечить обработку зрительных данных в реальном масштабе времени, сравнимым с кадровой частотой телевизионного стандарта, в ОС общего назначения семейства Microsoft Windows NT/XP. Разработанная архитектура не ориентирована исключительно на ОС данного семейства и допускает применение в среде других ОС.

В качестве методологии проектирования общего назначения в настоящее время распространен объектно-ориентированный подход. Известны технологии применения объектно-ориентированного подхода, специализированные для разработки ПрО систем реального времени. Но их перенос для проектирования ПрО СТЗ затруднителен в связи со спецификой СТЗ. В качестве характерных особенностей ПрО СТЗ можно указать: 1) опосредованное получение сведений о внешних событиях в результате обработки зрительных данных; и 2) сложность выбора представительных тестовых данных до этапа опытной эксплуатации системы. Эти особенности требуют, во-первых, обеспечения обработки зрительных данных в реальном времени с учетом того, что временные затраты на обработку и применяемые алгоритмы могут сильно зависеть от текущего состояния программной системы, и, во-вторых, в ПрО СТЗ необходимы отладочные средства, позволяющие обнаруживать необрабатываемые образцы изображений в процессе штатного функционирования системы с целью последующей модификации алгоритмов обработки.

С учетом приведенных особенностей рассматриваемых задач обработки зрительных данных и для упрощения применения объектно-ориентированного подхода к разработке ПрО СТЗ в данной работе была выполнена классификация компонентов ПрО СТЗ в рамках предлагаемой программной архитектуры. Эти компоненты реализуются в виде классов на языке программирования Си++.

Спроектированные с учетом решения ряда прикладных задач компоненты ПрО СТЗ были использованы для реализации каркаса ПрО СТЗ реального времени для многозадачной операционной системы. Этот каркас представляет собой заготовку приложения, которую требуется доработать для использования в конкретной задаче. Каркас реализует взаимодействие подсистем ПрО СТЗ в рамках предлагаемой многопоточной архитектуры. Аналогов каркаса для разработки ПрО СТЗ, открытых для повторного использования на уровне исходных текстов, в настоящее время не известно.

При проектировании и использовании каркаса в качестве одной из основных целей ставилась задача изоляции подсистемы обработки зрительных данных от остальных подсистем ПрО СТЗ, так чтобы эта подсистема не зависела от деталей интерфейса с пользователем и с аппаратным обеспечением СТЗ, а также могла быть перенесена на другие платформы с минимальными изменениями. Для сокращения платформно-зависимых деталей реализации в подсистеме обработки зрительных данных в каркасе ПрО СТЗ были предусмотрены программные интерфейсы, представляющие функциональность компонентов для взаимодействия с пользователем и аппаратурой на уровне СТЗ (например, интерфейс абстрактного «Источника ввода зрительных данных»).

Особенностью разрабатываемого каркаса ПрО СТЗ является направленность на функционирование ПрО СТЗ в двух режимах – в режиме настройки и в автоматическом режиме. Использование двух режимов работы связано с тем, что в настоящее время пока не удается обеспечить полностью автоматическую обработку зрительных данных без наложения сильных ограничений на структуру наблюдаемых сцен и условия освещения, что не всегда возможно в нелабораторных условиях. Режим настройки в ПрО СТЗ предназначен для интерактивной проверки корректности функционирования аппаратной части СТЗ, для проверки хода обработки изображений и настройки параметров обработки изображений (например, выбор зон контроля), а также для просмотра результатов обработки отдельных изображений и данных, полученных в автоматическом режиме. В автоматическом режиме выполняется обработка зрительных данных в реальном времени.

Для организации обработки зрительных данных в реальном времени существенно сокращение времени и повышение надежности обработки. С этой целью в ПрО СТЗ предлагается применять алгоритмы обработки последовательностей изображений на основе использования комбинированных методов распознавания объектов «снизу-вверх» для первоначального обнаружения и «сверху-вниз» для прослеживания объектов.

В процессе обработки методом «снизу-вверх» признаки, выделяемые на изображении, посредством последовательной проверки гипотез преобразуются в признаки более высокого уровня. На конечном этапе обработки принимается решение об обнаружении объекта интереса. Решение о неудачном результате обработки изображения может быть принято после проверки одной из промежуточных гипотез. В случае успешного обнаружения образа объекта интереса на текущем изображении при анализе последующих изображений временные затраты могут быть сокращены за счет применения обработки методом «сверху-вниз». Она заключается в подтверждении гипотезы расположения образа интереса в местоположении, вычисленном с учетом прогноза.

Алгоритмы обнаружения образов объектов методами «снизу-вверх» и «сверху-вниз» в ПрО СТЗ комбинируются для построения высокоуровневого алгоритма обработки зрительных данных, обеспечивающего решение целевой задачи конкретной СТЗ. Для применения в составе высокоуровневых алгоритмов, разрабатываемых с учетом априорных сведений из предметной области, также был сформирован набор низкоуровневых алгоритмов реального времени.





На основе предлагаемой программной архитектуры ПрО СТЗ и с применением разработанного каркаса ПрО СТЗ были успешно решены более 10 задач обработки зрительных данных в реальном времени. Разработанные СТЗ можно разделить на три категории: СТЗ для мониторинга состояния механических систем, СТЗ для инспекционного технологического контроля и СТЗ для слежения за подвижными объектами.

Исследования в области разработки методов программирования СТЗ реального времени были поддержаны грантами РФФИ № 02-01-00671 ("Исследование механики и управления движением робототехнических систем в реальном времени с использованием зрительных сенсоров"), № 02-07-90425 ("Создание телекоммуникационных ресурсов для исследования и информационного обеспечения распределенных мобильных систем"), № 03-07-06101 ("Исследование ввода и обработки зрительных данных с использованием камер произвольного доступа к элементам растра (CMOS-камер)"), грантом Президента РФ МК-3386.2004.9 («Разработка методов программирования систем технического зрения реального времени») и грантом Фонда содействия отечественной науке (программа «Кандидаты и доктора наук РАН» за 2004 и 2005 г.).

Цель работы заключается в разработке методов программирования систем технического зрения реального времени. Эти методы основаны на применении унифицированной архитектуры ПрО СТЗ, реализующего эту архитектуру каркаса ПрО СТЗ реального времени и методов проектирования высокоуровневых алгоритмов обработки зрительных данных. Особое внимание уделялось применимости предлагаемых методов программирования для разработки СТЗ на базе общедоступных программных и аппаратных компонентов персональных компьютеров. Также ставилась цель применения разрабатываемых методов программирования для решения прикладных и научных задач обработки зрительных данных в реальном времени.

Научная новизна. Разработана новая архитектура ПрО СТЗ реального времени для применения в среде многозадачных ОС с поддержкой многопоточности. Сформирована структура подсистем интерфейса пользователя, ввода и обработки зрительных данных в ПрО СТЗ. В функционировании ПрО СТЗ выделены два основных режима – автоматический и режим настройки. Спроектированы способы взаимодействия подсистем ПрО СТЗ в двух режимах, обеспечивающие средства контроля оператором или разработчиком ПрО хода обработки зрительных данных, а также обработку в реальном времени.

На основе предлагаемой архитектуры разработан каркас ПрО СТЗ реального времени. В нем реализованы параллельные подсистемы ПрО СТЗ. Этот каркас предназначен для наращивания применительно к решению конкретной задачи обработки зрительных данных в реальном времени. В состав подсистем каркаса ПрО СТЗ входят компоненты ПрО, оформленные в виде классов на языке Си++. Доработка каркаса в конкретной прикладной задаче выполняется в прогнозируемых точках роста ПрО на основе использования расширяемых классов каркаса. Разработанный каркас ПрО СТЗ является новым.

Предлагаемые методы программирования обеспечивают повторное и многократное использование компонентов ПрО СТЗ при решении задач обработки зрительных данных в реальном времени за счет повторного использования проектных решений и способов их реализации.

В работе предлагаются методы проектирования высокоуровневых алгоритмов обработки зрительных данных реального времени. Они основаны на выделении в высокоуровневом алгоритме ПрО СТЗ двух отдельных алгоритмов, выполняющих обработку в случае первоначального обнаружения объекта и в случае его прослеживания. В первом случае обработка выполняется методом «снизу-вверх» с учетом априорных сведений из предметной области задачи о структуре обрабатываемых изображений, во втором – методом «сверху-вниз», когда дополнительно могут учитываться результаты обработки предыдущих изображений и прогноз положения образов объектов интереса на новых изображениях. Для применения алгоритмов такой структуры в каркасе ПрО СТЗ реализованы специальные программные компоненты – базовые классы и интерфейсы, которые являются новыми.

Для применения в составе высокоуровневых алгоритмов обработки был сформирован набор алгоритмов низкого уровня, в которых не используется априорных сведений из предметной области задачи, но которые ориентированы на функционирование в реальном времени (в качестве примеров можно назвать алгоритм шаблонного сопоставления изображений, алгоритм трассировки контуров, алгоритм стековой заливки с бинаризацией по диапазону, алгоритмы для выборки граничных точек с фильтрацией по выпуклой оболочке). Основной метод обеспечения функционирования в реальном времени в этих алгоритмах заключается в сокращении объема обрабатываемых зрительных данных и в учете при низкоуровневой обработке временных ограничений, указываемых при вызове соответствующего низкоуровневого алгоритма.

Все полученные результаты диссертации являются новыми.

Практическая ценность работы. Предлагаемые методы программирования были разработаны и использованы в процессе решения ряда прикладных и научных задач обработки зрительных данных в реальном времени. При этом было спроектировано и реализовано ПрО более десяти СТЗ реального времени. Среди них можно выделить СТЗ для мониторинга состояния механических систем, СТЗ для инспекционного технологического контроля и СТЗ для слежения за подвижными объектами.

К разработанным СТЗ для мониторинга состояния механических систем, в частности, относятся СТЗ для определения взаимного расположения частей пантографов в движении; СТЗ для определения местоположения контактного провода железной дороги по высоте и в плане в процессе движения электроподвижного состава; СТЗ для определения колебаний контактного провода железной дороги; СТЗ для обнаружения дефектов верхнего строения железнодорожного пути. Перечисленные СТЗ позволяют получать информацию о состоянии механических систем бесконтактным способом, и в ряде случаев позволяют получить данные, недоступные иными измерительными методами. Например, СТЗ для определения местоположения контактного провода (в плане и по высоте относительно оси пути) предназначена для использования в составе передвижной лаборатории комплексной диагностики (ПЛКД) в процессе движения по железнодорожному перегону. Получаемые данные необходимы для обеспечения безопасности движения. Человек не может выполнять подобные измерения вручную (минимальные требования – 4 измерения в секунду). Существующие контактные методы позволяют выполнять измерения только с использованием пантографа вагона-лаборатории в ограниченном диапазоне скоростей движения. СТЗ при решении данной задачи позволяет выполнять определение интересующих параметров с требуемой частотой и использовать пантограф локомотива, что невозможно в случае контактных методов.



Pages:   || 2 | 3 | 4 | 5 |
 

Похожие работы:







 
© 2013 www.dislib.ru - «Авторефераты диссертаций - бесплатно»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.