Разработка методов и технологии обработки трехмерных изображений с применением шейдерной графики

На правах рукописи

Буй Тхе Чуен

РАЗРАБОТКА МЕТОДОВ И ТЕХНОЛОГИИ ОБРАБОТКИ

Трехмерных изображений С применением ШЕЙДЕРНОЙ ГРАФИКИ

Специальность 05.13.01 – Системный анализ, управление и обработка информации (промышленность).

Автореферат

диссертация на соискание ученой степени

кандидата технических наук

Москва – 2008г.

Работа выполнена на кафедре вычислительной математики и программирования факультета прикладной математики и физики Московского Авиационного Института (Государственный Технический Университет).

Научный руководитель: - доктор технических наук

Гипич Геннадий Николаевич.

Официальные оппоненты:

- доктор технических наук, профессор

1. Тузов Александр Дмитриевич

- кандидат физико-математических наук, доцент

2. Андрианова Елена Гельевна

Ведущая организация: Научно-исследовательский институт микроприборов.

Защита диссертации состоится “ 19 ” июня 2008 года в 15 часов на заседании диссертационного Совета Д 002.017.03 в Вычислительном центре им. А.А Дородницына РАН по адресу: 119991, г.Москва, ул. Вавилова, д.40.

С диссертацией можно ознакомиться в библиотеке Вычислительного центра им. А.А Дородницына РАН.

Автореферат разослан “............ ” 2008 г.

Ученый секретарь диссертационного Совета Д 002.017.03

кандидат физико-математических наук Мухин А.В.

Общая характеристика работы.

Актуальность темы диссертации.

Разработка форматов и методов быстрой передачи высококачественных изображений по сети Интернет весьма является актуальной задачей.

В работе рассматриваются основные существующие форматы представления и обработки фотореалистичных динамических изображений в сети Интернет и разработаны предложения о перспективных представлениях эффектов освещенности, прозрачности, текстурирования, а также анимационных эффектов в процедурной форме на языке шейдерной графики.

Шейдером (англ. shader) называется микропрограмма, предназначенная для выполнения графическим процессором в финальных стадиях графического конвейера. При обработке списка вершин полигонов выполняются так называемые вершинные шейдеры, при обработке пикселей изображения – пиксельные. Вершинные шейдеры наиболее удобны для задания анимационных эффектов и вычисления параметров освещенности в вершинах, пиксельные – для создания атмосферных эффектов, для использования усложненных моделей расчета освещения. Появившиеся за последние годы шейдерные языки высокого уровня (HLSL – High Level Shader Language для DirectX фирмы Microsoft, GLSL для OpenGL, CG – фирмы NVidia) существенно упростили процесс программирования графических процессоров, сделав доступным использование управляющих конструкций и функций, сходных с имеющимися в обычных универсальных языках программирования, таких как C или C#.

Основным преимуществом использования шейдерной графики при передаче изображений по сети Интернет является компактность процедурного описания анимационных и изобразительных эффектов по сравнению с передачей растровых изображений (даже в сжатом состоянии).

Очевидным недостатком такого представления является необходимость наличия на клиентском компьютере (т.е. компьютере, где просматривается изображение) видеокарты, поддерживающей выполнение шейдеров. Однако, следует заметить, что шейдерная технология в компьютерной графике успешно развивается, о чем свидетельствует появление уже третьего поколения графических процессоров, поддерживающих шейдеры и то, что поддержка шейдеров стала фактическим стандартом для современных графических карт.

Передача изобразительных и анимационных эффектов в шейдерном виде ориентирована, в первую очередь, на сцены, сгенерированные компьютерами, например, на компьютерную визуализацию результатов научных исследований или изображения виртуальных миров. Возможность передачи шейдерных программ в Интернет наряду с координатами вершин полигональной сетки и другой информацией предусмотрена в стандарте X3D ( http://www.web3d.org ), являющимся дальнейшим развитием языка моделирования виртуальной реальности VRML.

Целью данной работы является разработка технологии обработки трехмерных изображений с применением шейдерной графики для использования в сети Интернет.

Основные задачи, которые решены в работе для достижения поставленной цели:

1. Исследование современных методов представления и обработки динамических трехмерных изображений в сети Интернет.

2. Разработка метода автоматизированной генерации по заданным шаблонам динамических трехмерных изображений, пригодных для быстрой передачи по сети Интернет.

В работе используются современные методы инженерной и компьютерной графики, прикладной математики, системного анализа, обработки изображений и управления, теории обучающих систем, систем автоматизированного контроля знаний, моделирования, проектирования и технологической поддержки промышленности.

Научную новизну представляют:

- Разработка нового метода генерации и передачи по сети Интернет динамических фотореалистичных изображений трехмерных сцен, основанного на процедурном представлении графических и анимационных эффектов с последующей интерпретацией графическим процессором.

- Разработка и реализация в форме действующего прототипа системы автоматизированной генерации анимированных фотореалистичных изображений трехмерных сцен, предназначенных для передачи по сети Интернет.

Предложенный автором метод генерации и передачи по сети Интернет динамических фотореалистичных изображений трехмерных сцен, основанный на процедурным представлении графических и анимационных эффектов может быть успешно использован в промышленности, в системах дистанционного обучения, для которых характерно большое количество изображений сходных по структуре сцен, с типизированными эффектами.

Результаты диссертации докладывались на научных конференциях, семинарах кафедры вычислительной математикой и программирования факультета прикладной математики и физики МАИ, на VI Всероссийской конференции “Технологии Microsoft в теории и практике программирования” М. 2007г.

Публикации

По материалам диссертации опубликовано 5 печатных работ, из них две в изданиях, бекомедованных ВАК.

Диссертация состоит из введения, трех разделов, заключения, приложения и списка использованных источников. Объем диссертации 100 страниц машинописного текска, включая библиографию 95 наименований, рисунков 16 и таблиц 9.

Во введении показывается актуальность выбранной темы исследований, формулируется постановка проблемы. Важность проблемы и современные тенденции ее решения отражены в обзоре литературы. Кратко перечислены основные цели и результаты диссертации.

Первый раздел посвящен анализу современных способов представления трехмерной динамической графики. Рассмотрена задача передачи динамических изображений по сети Интернет для различных типов математических описаний трехмерных сцен. В частности, рассмотрены технологии передачи векторной графики Macromedia Flash, в том числе различные способы транспортировки трехмерных сцен, такие как: генерация изображения Flash-машиной (интерпретатором языка ActionScript и формата SWF в целом) на клиентском компьютере «на лету» по XML-представлению, имитация трехмерной графики с использованием графического редактора Flash3D. Также приведен обзор таких популярных транспортных форматов трехмерной графики как IGES, DXF, STEP, SVG, указаны достоинства и недостатки этих форматов, их основные области применения.

В разделе подробно рассмотрены обработки и технологии графической информации и ее трансформация в интерактивные транспортные форматы трехмерной динамической фотореалистичной компьютерной графики VRML и X3D, поддерживающие транспортировку сцен уровня виртуальной реальности. Отмечены трудности мануального создания сцен, сложность которых превышает уровень сложности простой комбинации стандартных примитивов. Сделан вывод об эффективности автоматизированной генерации X3D описаний в случае построения параметризованных наборов сцен, который сравнительно часто встречается в практике разработки обучающих систем, систем автоматизированного контроля знаний, систем автоматизированного геометрического моделирования, проектирования и технологической поддержки промышленного производства.

В этом разделе также приведены методы обработки и управления данными, позволяющие повысить скорость передачи данных за счет уменьшения их объема путем различных видов кодирования (кросс-кадровое сжатие, сжатие с частичной потерей информации и т.д.). Также изучены методы конструктивной геометрии, оперирующей с высокоуровневыми примитивами. Показано, что использование таких методов, в определенных классах существенно векторных изображений позволяет обеспечить высокую степень сжатия транспортируемого файла. Рассмотрены ограничения, накладываемые этими методами на изобразительные возможности сцены, связанные с невозможностью применения графических эффектов, повышающих выразительность сцены.

В первом разделе также показана эффективность обработки и передачи информации с применением процедурных описаний графических и анимационных эффектов в трехмерной векторной графике. 1

Пример 3D сцен на рисунке 1.

рис.1. Представление трехмерных объектов в Интернет.

Выводы первого раздела:

1. Контент web-страниц является все более объемным и насыщенным высококачественной графикой. Несмотря на постоянное увеличение пропускной способности сетевых каналов, задача создания компактного транспортного графического формата для фотореалистичной трехмерной графики остается актуальной.
2. Компактный транспортный графический формат для широкого класса фотореалистичных трехмерных изображений может быть создан не только за счет совершенствования алгоритмов сжатия данных, но и путем процедурного описания используемых анимационных и визуальных эффектов.

Во втором разделе рассматривается возможность использования современных языков и систем программирования графических процессоров для компактного представления анимационных и графических эффектов, обеспечивающих наглядность и реалистичность изображений.

В начале раздела приведены основные сведения о современных технологиях шейдерного микропрограммирования графических процессоров, рассмотрены особенности архитектуры современных графических процессоров.

Проводится сравнительный анализ высокоуровневых языков шейдерного микропрограммирования графических процессоров HLSL, GLSL, CG, широко распространенной системы шейдерного программирования RenderMonkey фирмы ATI. Приводятся примеры микропрограммирования различных стадий графического конвейера (пиксельные и вершинные шейдеры) для нескольких предметных областей.

Архитектуры вершинного и пиксельного шейдера показаны на рис. 2а и 2б.

Рис.2а. Архитектура вершинного шейдера.

Рис.2б. Архитектура пиксельного шейдера.

В этом же разделе рассмотрены и систематизированы типы анимационных и графических эффектов. В качестве основы классификации предложены методы параметризации эффектов их зависимость от геометрической формы объектов сцены.

Рис.3. Шейдерное преобразование.

Рис.4. Графическая модель волны.

Далее, на основании этого анализа, делается вывод об эффективности по памяти процедурного представления анимационных и графических эффектов.

В данном разделе отдельно рассмотрены реализация типичных анимационных эффектов с помощью вершинных шейдеров и реализация графических эффектов с применением пиксельных шейдеров HLSL. Также описаны особенности использования текстур в шейдерном графическом программировании.

Приведены примеры реализации нескольких типовых шейдерных эффектов для сцен, состоящих из объектов различной геометрической формы.

Также предложено решение проблемы обработки и передачи изображений, включающих шейдерные процедуры с помощью формата X3D, расширенного, например, HLSL-узлами.

Выводы второго раздела:

1. Поддержка шейдерного микропрограммирования является фактическим стандартом для современных графических процессоров.
2. Использование шейдерных программ для транспортного представления анимационных и графических эффектов выгодно с точки зрения повышения скорости передачи данных.
3. В качестве физической реализации процедурного представления анимационных и графических эффектов удобно использовать шейдерные микропрограммы, оформленные в шейдерные узлы формата X3D.

В третьем разделе рассматривается предложенная автором диссертационного исследования система генерации трехмерных динамических изображений, использующих шейдерную графику. Целью данной системы является автоматизированное создание пригодных для Интернет-трансляции файлов, содержащих фотореалистичные изображения трехмерных анимированных сцен, полученные применением заранее подготовленных графических и анимационных эффектов к параметризованным шаблонам сцен. В данном разделе подробно описаны:

- формат представления графических и анимационных эффектов;

- формат представления шаблонов сцен;

- пользовательский интерфейс системы;

- ограничения совместимости эффектов и шаблонов сцен;

- методика использования системы, включая рекомендации по созданию шаблонов сцен и наборов эффектов.

Схема работы системы приведена на рис. 5

Рис.5. Схема работы системы генерации трехмерных

динамических изображений.

На рис. 6 приведен пример пользовательского интерфейса системы. В окне пред просмотра - сгенерированное изображение.

Рис.6. Пример пользовательского интерфейса системы.

На рис. 7a и 7б показан пример применения одного и того же эффекта к двум различным текстурам. Рис. 7в и 7г содержат пример применения различных эффектов к одной текстуре.

Рис 7а, 7б. Применение одного эффекта к двум различным текстурам.	Рис. 7в, 7г. Эффекты к одной текстуре.

В третьем разделе также приведены сведения о разработанном автором действующем прототипе рассматриваемой программной системы, обеспечивающим базовую функциональность системы и иллюстрирующем эффективность предложенных автором решений и достоверность его выводов. К этим сведениям относятся: архитектура действующего прототипа системы, особенности его программной организации, функциональные ограничения.

Выводы третьего раздела:

1. Автором диссертационного исследования разработана и реализована в форме действующего прототипа система автоматизированной генерации анимированных фотореалистичных изображений трехмерных сцен, предназначенных для передачи по сети Интернет.
2. Апробация действующего прототипа подтверждает предложенные автором решения и достоверность его выводов.

В ходе выполнения диссертационного исследования на актуальную тему разработки форматов и методов быстрой передачи высококачественных изображений по сети Интернет автором разработан метод генерации и передачи по сети Интернет динамических фотореалистичных изображений трехмерных сцен, основанный на процедурным представлении графических и анимационных эффектов, реализованный в форме действующего прототипа системы автоматизированной генерации анимированных фотореалистичных изображений трехмерных сцен, предназначенных для передачи по сети Интернет.

Результаты работы апробированы и полностью опубликованы.

1. Буй Тхе Чуен, С.С. Крылов, «Применение стандарта X3D для создания интерактивных 3D иллюстраций в системах дистанционного обучения» ВМСППС-2005г., с.91- с.92.
2. С.С. Крылов, Буй Тхе Чуен, «Использование шейдерной графики при передаче изображений по сети Интернет» NPNJ 2006г, с.217 - с.218.
3. Буй Тхе Чуен, «Преставление динамических 3D-изображений в сети Интернет с использованием шейдерной графики и формата X3D» Труды VI Всероссийской конференции 2007г, «Технологии Microsoft в теории и практике программирования». с.96 - с.97.
4. Буй Тхе Чуен, С.С. Крылов, «Система генерации динамических трехмерных изображений с применением шейдерной графики для использования в сети Интернет». Вестник МАИ, 2008г.
5. Нгуен Куанг Тхыонг, Нгуен Тхе Хуей, Буй Тхе Чуен «Метод автоматизированной генерации описаний фотореалистичных сцен для обработки динамических трехмерных изображений». Труды ИСА РАН 2007г. Динамика линейных и нелинейных систем. Под редакцией чл-корр РАН Попкова Ю.С. Т30 (1).

---

1 Под графическими эффектами здесь и далее понимаются особенности визуализации объектов с заданной геометрической формой, зависящие от модели освещения сцены (в том числе среды распространения света), а также от взаимодействия материала поверхности объектов с падающим на нее светом. Под анимационными эффектами понимаются в первую очередь изменения формы объектов с течением времени, а также изменения других параметров сцены.