Восстановление пространственных циркулярных моделейпо силуэтным изображениям

На правах рукописи

Цискаридзе Арчил Константинович

ВОССТАНОВЛЕНИЕ ПРОСТРАНСТВЕННЫХ
ЦИРКУЛЯРНЫХ МОДЕЛЕЙ
ПО СИЛУЭТНЫМ ИЗОБРАЖЕНИЯМ

Специальность 05.13.17 – теоретические основы информатики

АВТОРЕФЕРАТ

диссертации на соискание ученой степени

кандидата физико-математических наук

Москва – 2010

Работа выполнена в Московском физико-техническом институте

(государственном университете)

Научный руководитель: доктор технических наук,

профессор Л. М. Местецкий

Официальные оппоненты: доктор физико-математических наук,

профессор В. Н. Козлов

кандидат технических наук,

А. В. Копылов

Ведущая организация: Институт вычислительной математики и математической геофизики СО РАН

Защита диссертации состоится «____» ______________ 2010 г. в ____ часов
на заседании диссертационного совета Д002.017.02 в Учреждении Российской академии наук Вычислительный центр им. А.А. Дородницына Российской Академии Наук по адресу: 119333, г. Москва, ул. Вавилова, д. 40.

С диссертацией можно ознакомиться в библиотеке
Вычислительного Центра им. А.А. Дородницына РАН

Автореферат разослан «____» ______________ 2010 г.

Ученый секретарь
диссертационного совета Д 002.017.02
доктор физико-математических наук, профессор В. В. Рязанов

Общая характеристика работы

Задача восстановления формы пространственного объекта по нескольким двумерным изображениям-проекциям хорошо известна и имеет множество приложений, в частности, эта задача возникает при распознавании позы и жестов человека в системах видео наблюдения. Особенность рассматриваемой в диссертации постановки этой задачи состоит в том, что двумерные проекции представляют собой лишь силуэтные изображения пространственного объекта. Такая задача, в частности, возникает в системах видео наблюдения, работающих в условиях плохой освещённости либо большой удалённости камер от наблюдаемых объектов. В этих случаях камеры плохо передают текстурные особенности объектов и позволяют с достоверностью выявить на основе сегментации лишь их силуэты в виде бинарных изображений.

Невозможность анализа изображений на уровне текстур препятствует применению хорошо известных методов, основанных на автоматическом выявлении общих точек, присутствующих на обоих изображениях стереопары. Очевидно, что если на отдельном изображении представлен лишь силуэт объекта, то более или менее достоверно на нём можно идентифицировать только граничные точки этого силуэта. Но на двух картинках в стереопаре изображений границы силуэтов порождаются различными множествами граничных точек исходного пространственного объекта, т.е. прообразы точек на границе одного силуэта отличаются от прообразов граничных точек другого силуэта. Поэтому, как правило, из граничных точек силуэтов невозможно составить стереопару. Таким образом, задача восстановления пространственной формы сложного объекта по стереопаре силуэтных изображений известными методами не решается, что определяет актуальность темы данного исследования.

Целью диссертационного исследования является разработка новых методов восстановления формы сложных пространственных объектов (ладони и фигуры человека в целом) по стереопаре силуэтных изображений. Достижение цели позволит повысить эффективность и расширит возможности современных систем машинного зрения в части распознавания поз и жестов человека.

Научная задача работы состоит в восстановлении пространственной структуры сложного объекта (фигуры и ладони человека) по стереопарам силуэтных изображений. Под силуэтным изображением понимается такое, в котором плохо выражены текстурные свойства и достоверно регистрируется лишь общий контур фигуры. Сложность задачи определяется невозможностью выделения реперных точек на стереопаре изображений, наличием окклюзий в изображениях, а также требованиями реального времени работы систем компьютерного зрения.

Предлагаемый подход к решению основывается на двух основных идеях. Первая состоит в описании формы сложного пространственного объекта с помощью так называемых пространственных жирных кривых и циркуляров. Под жирной кривой понимается пространственное тело, образованное семейством шаров, центры которых расположены на некоторой осевой пространственной линии. Циркулярной моделью или просто циркуляром, называется объединение нескольких пространственных жирных кривых, у которых осевые линии образуют связное множество.

Существует определённый класс объектов, чьи структурные особенности позволяют рассматривать их как циркулярные модели. В частности, циркулярной моделью можно описать с приемлемой точностью такие объекты, как ладонь человека или фигура человека в целом. Имеется в виду точность, необходимая для решения задач распознавания жестов и поз.

Таким образом, в рамках предлагаемого подхода задача восстановления пространственной структуры сложного объекта ставится как восстановление пространственной циркулярной модели по стереопаре её проекций.

Вторая идея, лежащая в основе предлагаемого решения, состоит в построении и использовании непрерывных скелетов стереопары силуэтных изображений. Скелет представляет собой совокупность серединных осей силуэта, определяемых как геометрическое место точек – центров вписанных в силуэт окружностей.

Использование скелетов открывает несколько возможных путей для восстановления пространственной циркулярной модели по её проекциям. В диссертации исследуются два пути.

Первый путь состоит в прямом построении пространственной циркулярной модели пространственного объекта по скелетам проекций. Этот метод предполагает, что проекции отдельных элементов пространственного объекта не перекрываются между собой, т.е. не имеют окклюзий. Силуэтное изображение объекта называется изображением без окклюзии, если в каждую его точку проектируется не более двух точек поверхности объекта. Метод основывается на идее конструирования стереопар «невидимых» общих точек обоих изображений. Серединные оси силуэтов предлагается рассматривать, как плоские проекции пространственных осевых линий жирных кривых, составляющих объект. Данное допущение вполне справедливо в случае отсутствия окклюзий в силуэтах. Такой подход позволяет свести задачу восстановления осевых линий пространственных жирных кривых к вычислению пространственных кривых по стереопарам их проекций. Результатом решения задачи является циркулярная модель, представляющая собой объединение нескольких пространственных жирных линий (рис.1). Этот поход в работе условно назван восстановлением проволочной модели.

Второй путь состоит в восстановлении формы сложного пространственного объекта в виде циркулярной модели заранее заданной структуры. В частности, для восстановления позы человека используется кусочно-линейная «шарнирная» модель (рис.2). Шарнирная модель описывает пространственный объект как объединение нескольких шарнирно закрепленных твердых тел. Каждый элемент этой конструкции представляет собой пространственную жирную кривую постоянной ширины, у которой осевой линией является прямолинейный отрезок. Форма пространственного объекта ищется путём подбора некоторого преобразования шарнирной модели, при котором её проекции на плоскости изображений будут в наибольшей степени совпадать со стереопарой силуэтов. Процесс итерационного преобразования шарнирной модели называется подгонкой. В диссертации процесс подгонки строится на основе использования скелетов силуэтных изображений.

Использование шарнирных моделей позволяет решить задачу восстановления формы пространственного объекта даже при наличии существенных окклюзий. В рамках предлагаемого подхода в случае окклюзий формулируется задача предварительной классификации формы силуэтов с целью получения начального приближения для итерационной подгонки модели.

Результаты, выносимые на защиту

1. Метод описания формы сложного пространственного объекта в виде циркулярной модели.
2. Метод восстановления проволочной циркулярной модели без окклюзий по стереопаре силуэтных изображений. Метод состоит в построении пространственных осевых линий циркулярной модели по стереопаре скелетов проекций.
3. Метод восстановления шарнирной пространственной модели без окклюзий на основе итерационной подгонки.
4. Метод построения начального приближения шарнирной пространственной модели с окклюзиями для итерационной подгонки, основанный на топологической классификации силуэтных проекций объекта по форме скелета.

Научная новизна работы определяется:

- использованием циркулярных моделей для описания формы сложных пространственных объектов;

- использованием техники непрерывной скелетизации для восстановления циркулярных моделей по стереопаре силуэтных изображений;

- оригинальными методами восстановления проволочных и шарнирных циркулярных моделей по стереопаре силуэтных изображений.

Теоретическая и практическая значимость. Теоретическая значимость работы заключается в разработке и обосновании нового подхода к восстановлению формы сложных пространственных объектов по стереопарам изображений. Практическая значимость работы заключается в разработке алгоритмов, которые могут существенно расширить возможности и повысить эффективность систем машинного зрения.

Достоверность результатов диссертационной работы определяется корректностью постановок рассматриваемых задач исследования, применением математически обоснованных методов их решения, проведением ряда тестовых вычислительных экспериментов на синтезированных и реальных изображениях.

Апробация результатов исследования. Основные результаты диссертационного исследования докладывались на следующих конференциях: 49-я научная конференция Московского физико-технического института (Долгопрудный, 2006), 9-я Международная конференция по распознаванию образов и обработке информации (Минск, 2007), 13-я Всероссийская конференция «Математические методы распознавания образов» (Зеленогорск, 2007), 18-я и 19-я Международная конференция ГРАФИКОН (Москва, 2008, 2009), International conference on computer vision theory and applications (Лиссабон 2009).

Основные результаты исследования опубликованы в работах [1-7], в том числе в издании [1], входящем в список ВАК.

Структура и объем работы. Диссертация состоит из введения, четырех глав основного содержания, выводов и заключения, списка литературы. Работа содержит 110 страницу основного текста, 56 иллюстраций. Перечень библиографических источников включает 75 наименований.

Содержание диссертации

Введение содержит общую характеристику работы, обоснование актуальности темы исследования, цели и задачи диссертационного исследования.

В первой главе описываются задачи восстановления формы пространственных объектов, проводится обзор литературы. Рассматривается циркулярная и шарнирная модель фигуры человека. На основе анализа литературы показаны недостаточность существующих методов и подходов для восстановления формы по стереопаре силуэтных изображений. По результатам анализа формулируется научная задача диссертации.

Предлагаемый подход к решению основывается на идее построения непрерывных скелетов для стереопары силуэтных изображений. Скелет представляет собой совокупность серединных осей силуэта, определяемых как геометрическое место точек – центров вписанных в силуэт окружностей.

Рассмотрим непрерывное отображение отрезка числовой прямой во множество сфер в пространстве . Каждому значению параметра соответствует сфера:

с центром в точке и радиусом .

Объединение всех сфер этого семейства будем называть пространственной жирной кривой с осевой линией и шириной . Циркулярной моделью или просто циркуляром называется объединение нескольких пространственных жирных кривых, у которых осевые линии образуют связное множество.

Предлагается рассматривать приближённо ладонь человека и фигуру человека в целом, как объединение элементов, имеющих локальную осевую симметрию, и описывать эти элементы жирными кривыми. В диссертации исследуются два возможных пути построения и идентификации таких моделей на основе использования жирных кривых и скелетов силуэтных проекций.

Первый путь основывается на идее конструирования стереопар «невидимых» общих точек обоих изображений. Серединные оси силуэтов предлагается рассматривать, как плоские проекции осевых линий циркулярной модели. Данное допущение справедливо в случае отсутствия окклюзии в силуэтах. Рассмотрим множество точек в евклидовом пространстве , имеющее вид связного графа. Например, так можно схематично представить человеческой фигуру (рис.1).

С каждой точкой графа связан некоторый шар с центром в этой точке. Это семейство шаров составляет циркуляр. Граф называется осевым графом циркуляра. Объединение всех шаров семейства , как точечных множеств, является пространственной моделью объекта, в частности, фигуры человека. Границей является огибающая поверхность семейства шаров .

Рис.1: Циркулярная модель фигуры человека. Осевой граф (слева) и огибающая поверхность (справа).

Задача восстановления проволочной модели формулируется следующим образом:

Дано: стереопара силуэтов , проекционные матрицы камер . Проекционной матрицей камеры называется матрица размером , которая задает отображение однородных координат точек трехмерного пространства лабораторной системы в однородные координаты точек двумерного пространство изображения.

Найти: пространственный циркулярный граф , осевой граф которого имеет заданную структуру, при этом объединение проекций всех шаров на плоскости камер совпадают с и соответственно.

Второй путь использует заранее известное описание пространственного объекта в виде «шарнирной» модели заданной структуры. В частности, так упрощенно описывается фигура человека (рис.2.). Шарнирная модель описывает объект как объединение нескольких шарнирно закрепленных твердых тел. Каждый элемент этой конструкции представляет собой пространственную жирную кривую постоянной ширины, у которой осевая линия имеет вид прямолинейного отрезка. С каждым элементом свяжем систему координат, в которой ось направлена вдоль его оси симметрии, а начало координат находится в точке крепления оси с родительским телом. Для элемента известна его длина и ширина, а также точка крепления в системе координат родительского тела. Для фигуры человека элементы шарнирной модели по иерархии крепления образуют дерево с корневым элементом, соответствующим туловищу.

Вращение каждой части шарнирной модели задается относительно родительской системы координат. Его можно параметризовать с помощью суперпозиции трех поворотов на углы соответственно относительно осей своей системы координат (рис.2). Так как для человеческой фигуры допустимы не всякие вращения, для каждого тела вводятся ограничения на углы в виде прямоугольного параллелепипеда в пространстве параметров :

Например, суставы колена или локтя позволяют делать вращение только в определенной плоскости бедра или плеча в диапазоне углов 30°-180°. На рисунке 2 указано число степеней свободы для каждой части тела. Под позой объекта будем понимать вектор значений динамических параметров модели. Каждой позе соответствует точка в пространстве из 24 динамических параметров фигуры, а всё множество поз описывается параллелепипедом в 24-х мерном пространстве . Таким образом, задача состоит в том, чтобы по стереопаре бинарных изображений найти вектор динамических параметров шарнирной модели, аппроксимирующей форму пространственного объекта, силуэты которого представлены на бинарных изображениях. Этот вектор динамических параметров шарнирной модели и является описанием позы. Он может быть использован в качестве вектора признаков при дальнейшем распознавании позы и выражаемого ею жеста.

Задача восстановления шарнирной модели путём подгонки под стереопару силуэтных изображений формулируется следующим образом.

Дано: шарнирная модель, стереопара силуэтов , проекционные матрицы камер .

Найти: Вектор динамических параметров шарнирной модели , который обеспечивает стереопару силуэтов, максимально совпадающую с наблюдаемой стереопарой. Другими словами: . Здесь мера различия проекций циркулярной модели при параметрах с силуэтами .

В этой общей постановке задачи можно выделить два варианта, различающиеся наличием окклюзий. В соответствии с этим первый, более простой, вариант задачи представляют собой работу с изображениями без окклюзий. В этом случае в силуэтах человеческой фигуры видны голова и все конечности. Второй вариант задачи – когда окклюзии имеют место. При этом в силуэте человека конечности могут оказаться скрытыми полностью или частично. Перекрытия элементов объекта в проекциях могут образовывать «склейки», например, в позе «руки на поясе». При этом силуэт превращается в многосвязную область, в которой имеется кроме внешнего граничного контура ещё внутренние контуры, ограничивающие «дыры».