авторефераты диссертаций БЕСПЛАТНАЯ РОССИЙСКАЯ БИБЛИОТЕКА - WWW.DISLIB.RU

АВТОРЕФЕРАТЫ, ДИССЕРТАЦИИ, МОНОГРАФИИ, НАУЧНЫЕ СТАТЬИ, КНИГИ

 
<< ГЛАВНАЯ
АГРОИНЖЕНЕРИЯ
АСТРОНОМИЯ
БЕЗОПАСНОСТЬ
БИОЛОГИЯ
ЗЕМЛЯ
ИНФОРМАТИКА
ИСКУССТВОВЕДЕНИЕ
ИСТОРИЯ
КУЛЬТУРОЛОГИЯ
МАШИНОСТРОЕНИЕ
МЕДИЦИНА
МЕТАЛЛУРГИЯ
МЕХАНИКА
ПЕДАГОГИКА
ПОЛИТИКА
ПРИБОРОСТРОЕНИЕ
ПРОДОВОЛЬСТВИЕ
ПСИХОЛОГИЯ
РАДИОТЕХНИКА
СЕЛЬСКОЕ ХОЗЯЙСТВО
СОЦИОЛОГИЯ
СТРОИТЕЛЬСТВО
ТЕХНИЧЕСКИЕ НАУКИ
ТРАНСПОРТ
ФАРМАЦЕВТИКА
ФИЗИКА
ФИЗИОЛОГИЯ
ФИЛОЛОГИЯ
ФИЛОСОФИЯ
ХИМИЯ
ЭКОНОМИКА
ЭЛЕКТРОТЕХНИКА
ЭНЕРГЕТИКА
ЮРИСПРУДЕНЦИЯ
ЯЗЫКОЗНАНИЕ
РАЗНОЕ
КОНТАКТЫ

Pages:   || 2 | 3 |

Метод повышения эффективности обработки видеоинформации с использованием распределенных вычислений

-- [ Страница 1 ] --

На правах рукописи

ЕРМАКОВ Александр Вадимович

МЕТОД ПОВЫШЕНИЯ ЭФФЕКТИВНОСТИ ОБРАБОТКИ

ВИДЕОИНФОРМАЦИИ С ИСПОЛЬЗОВАНИЕМ

РАСПРЕДЕЛЕННЫХ ВЫЧИСЛЕНИЙ

Специальность 05.13.01 - Системный анализ, управление и обработка

информации (в технической отрасли)

АВТОРЕФЕРАТ

диссертации на соискание ученой степени

кандидата технических наук

Саратов 2011

Работа выполнена в ГОУ ВПО «Саратовский государственный

технический университет»

Научный руководитель - кандидат технических наук, доцент Долинина Ольга Николаевна
Официальные оппоненты - доктор технических наук, профессор Большаков Александр Афанасьевич
- доктор физико-математических наук, доцент Шульга Татьяна Эриковна
Ведущая организация ФГОУ ВПО «Астраханский государственный технический университет»

Защита состоится «5» июля 2011 г. в 14.00 часов на заседании диссертационного совета Д 212.242.04 при ГОУ ВПО «Саратовский государственный технический университет» по адресу: 410054, г. Саратов, ул. Политех­ническая, 77, Саратовский государственный технический университет, ауд.1/319

С диссертацией можно ознакомиться в научно-технической библиотеке ГОУ ВПО «Саратовский государственный технический университет».

Отзыв на автореферат (в двух. экз.), заверенный печатью, просим
выслать по адресу: 410054, г. Саратов, ул. Политехническая, 77, каф. ПИТ.

Автореферат разослан «___» июня 2011 года

Автореферат размещен на сайте СГТУ www.sstu.ru. «3» июня 2011 г.

Ученый секретарь диссертационного совета В.В. Алешкин

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность исследования. Для обработки видеоинформации с высоким качеством большие ее объемы создаются и хранятся в цифровой форме. Концепции цифрового представления видеоинформации разрабатываются экспертной группой по кинематографии (MPEG – Moving Picture Expert Group) и отражены в работах Джона Уоткинса, Сакаэ Окубы, Элойса Бока, Леонардо Чиэйрлогна и др. Обычно цифровая видеопоследовательность является набором межкадрово- и внутрикадрово-сжатых цифровых изображений. Такая форма представления позволяет решать широкий круг задач по обработке видеоинформации, имеющих различную природу и широкое научно-практическое применение. К ним относятся, например, анализ видеоизображений для поиска объектов, применение фильтрующих алгоритмов, совмещение видеоизображений с компьютерно-сгенерированными объектами.

Видеообработка – это процесс, подчиняющийся строгому алгоритму, целью которого является внесение изменений в блок информации об изображениях. Обработка может производиться посредством одного из подходов, предлагаемых различными разработчиками программного и аппаратного обеспечения. Среди основных методов можно выделить обработку с применением аппаратных средств (платы видеообработки или видеокарты, реализованные в программно-аппаратных решениях компаний Pinnacle Systems, Nvidia и др.), с использованием локальных вычислительных машин, с распределенными вычислениями в локальных вычислительных сетях (используемые в программном продукте компании Adobe, программном пакете virtualDub), параллельную обработку на основе вычислительных кластеров.



С точки зрения соотношения времени обработки и затраченных вычислительных ресурсов, для решения большинства задач предпочтительнее методы обработки на базе локальных вычислительных сетей. Однако такой подход обладает рядом недостатков: недостаточно развиты модели оценки эффективности обработки видеофайлов; в состав вычислительной среды должны входить только гомогенные узлы единого административного домена, что значительно ограничивает объем доступных вычислительных ресурсов.

Одним из актуальных направлений эффективного развития параллельных и распределенных вычислений для обработки видеоинформации является применение GRID-технологий, разрабатываемых такими зарубежными учеными как Ян Фостер, Карл Кассельман, Стив Тьюки, Райкумар Буйя и др. Среди отечественных организаций, занимающихся проблемами GRID-вычислений, следует выделить НИИЯФ МГУ, Институт Теоретической и Экспериментальной Физики, Институт физики высоких энергий, Институт математических проблем биологии РАН. Этот подход активно используется для решения задач с большими объемами вычислений, например, в ядерной физике. Его достоинством является возможность решения проблем, связанных с реализацией безопасной, надежной и эффективной обработки данных, использующей ресурсы не только доступные в локальной вычислительной сети, но и предоставляемые пользователями сети Интернет для совместных вычислений. Однако для задачи обработки видеоинформации с использованием GRID-вычислений также недостаточно развиты модели и методы, которые могут определить эффективность обработки видеоинформации.

Целью исследования является повышение эффективности обработки видеоинформации в GRID-среде.

Задачами исследования являются: 1) обоснование вычислительной архитектуры, необходимой для осуществления распределенной обработки видеоинформации для больших вычислительных сетей; 2) разработка метода определения производительности вычислительных узлов GRID-среды; 3) создание математической модели для оценки времени обработки видеофайла с использованием GRID-вычислений; 4) разработка метода повышения эффективности обработки видеоинформации в вычислительных сетях; 5) создание программного комплекса практически реализующего предложенный метод; 6) определение эксплуатационных характеристик разработанного метода.

Методы исследования. В работе использованы методы обработки видеоинформации и распределения заданий в GRID-среде, статистического анализа, имитационное моделирование, численные методы оптимизации.

Достоверность и обоснованность полученных результатов обеспечивается корректной физической и математической постановкой задач, применением классических математических методов, в т.ч. статистики, использованием апробированных моделей обработки информации в GRID-среде. Результаты исследования не противоречат данным в известных работах других авторов.

На защиту выносятся:

  1. Математическая модель оценки времени обработки видеофайла в GRID-среде, разработанная на основе экспериментально полученных зависимостей, адекватность которой подтверждена методами математической статистики.
  2. Метод определения производительности и формирования групп вычислительных узлов, организующий процесс оценки времени обработки видеофайла, позволяющий осуществить оценку производительности вычислительных узлов, которая независима от колебаний, обусловленных случайными процессами.
  3. Метод повышения эффективности обработки видеоинформации, определяющий состав пакета заданий и количество вычислительных узлов, а также их

характеристики, что позволяет сократить время обработки видеоинформации.

Научная новизна работы состоит в следующем:

  1. Предложена математическая модель обработки видеоинформации в GRID-среде, которая позволяет оценить время обработки видеоинформации для GRID-среды и задачи обработки с известными характеристиками.
  2. Разработан метод определения групп производительности для вычислительных узлов, отличающийся механизмом относительной оценки производительности, что позволило усовершенствовать управление порядком распределения заданий в GRID-среде и повысить эффективность обработки видеоинформации.
  3. Создан метод повышения эффективности обработки видеоинформации в GRID–среде, позволяющий добиться снижения времени обработки путем целенаправленного воздействия на значения управляемых переменных разработанной математической модели.
  4. Предложен метод осуществления обработки видеоинформации, отличающийся использованием GRID-вычислений и сочетанием методов обработки информации в GRID-среде с разработанным методом, повышающим эффективность обработки видеоинформации.

Практическая ценность диссертационной работы заключается в следующем:

  1. Предложенный метод позволяет сократить время обработки видеоинформации по сравнению с применяемыми для таких задач методами.
  2. Применение разработанного метода позволяет повысить эффективность использования вычислительных узлов GRID-среды, что обусловлено исключением из обработки узлов, не сокращающих время обработки.
  3. Разработанная и внедренная система позволяет осуществлять кодирование и декодирование видеоотрезков в формате MPEG-2 и их обработку.
  4. Экспериментально выявлены закономерности процессов обработки видеоинформации в GRID-среде при различных значениях плана обработки и состава вычислительной среды.

Реализация и внедрение результатов работы. Разработанные модели и методы реализованы в комплексе программ, внедренном в Саратовском государственном техническом университете в рамках проекта Hewlett Packard Adaptive-Enterprise Grid for University Teaching and Learning, а также на Нижневолжской студии кинохроники, что подтверждено соответствующими актами.

Апробация работы. Результаты работы докладывались на международных конференциях «Математические методы в технике и технологиях XXI» (Саратов, 2008), «Математические методы в технике и технологиях XXII» (Иваново, 2009) и «Математические методы в технике и технологиях XXIII» (Саратов, 2010); на Всероссийской конференции «Практические вопросы информационного обеспечения инновационной деятельности» (Саратов, 2008); на Всероссийской научно-практической конференции «Инновации и актуальные проблемы техники и технологий» (Саратов, 2009); на XVII Всероссийской научно-практической конференции «Телематика -2010» (Санкт-Петербург, 2010); на научных семинарах кафедры «Прикладные информационные технологии» Саратовского государственного технического университета в 2008 - 2011 годах. Работа получила поддержку программы «У.М.Н.И.К.-2011».

Публикации. Основные положения диссертации отражены в 10 публикациях, в т.ч. в 3 журналах, рекомендованных ВАК РФ. Без соавторов опубликовано 2 работы.

Личный вклад автора. Разработан метод определения производительности вычислительных узлов, математическая модель оценки времени обработки видеоинформации и метод повышения эффективности обработки видеоинформации.

Структура и объем работы. Диссертационная работа изложена на 144 страницах и состоит из введения, трех глав, и заключения; список использованной литературы включает 104 наименования; диссертационная работа содержит 3 приложения, 28 таблиц, 32 рисунка.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность решаемой задачи, определены цели и задачи диссертационной работы.

В первой главе приведено описание предметной области, рассмотрены вопросы представления видеоинформации, методов ее обработки с использованием GRID-вычислений.

Существующие методы представления видеоинформации разработаны для обеспечения наиболее компактного способа хранения видеофайлов. Структура видеофайла, приведенная на рис. 1, позволяет реализовать три основных алгоритмических подхода к обработке: параллельная обработка внутрикадрового сжатия (ДКП); параллельная или распределенная покадровая обработка; распределенная обработка независимых групп изображений. С вычислительной точки зрения, указанные методы могут быть реализованы с помощью одной из вычислительных архитектур, краткие характеристики которых приведены на рис. 2. Среди существующих подходов можно выделить использование локальных вычислительных машин, специализированных аппаратных плат обработки, ресурсов локальных вычислительных сетей (ЛВС), вычислительных кластеров.

 Схема кодирования MPEG-2 -0
Рис. 1. Схема кодирования MPEG-2 Рис. 2. Методы обработки видеоинформации




Преимуществом методов, основанных на программной обработке видеоинформации, является возможность относительно быстрого изменения ее алгоритмов и оптимальное соотношение стоимости и времени ее обработки. Однако этот метод ограничен в масштабируемости вычислительной среды, и он не решает проблему обеспечения эффективности обработки. Критериями эффективности являются время обработки видеофайла и число используемых вычислительных узлов.

Использование GRID-вычислений позволяет устранить рассмотренные недостатки, на основе снятия ограничений по масштабированию, а также применения GRID-ориентированных средств обеспечения надежности и безопасности обработки. Однако существующие в GRID-системах методы распределения заданий недостаточно развиты с точки зрения эффективного выполнения задачи обработки видеоинформации, что обуславливает актуальность решения задачи.

Вторая глава посвящена выбору метода распределения видеоинформации при обработке данных, созданию математической модели обработки видеоинформации, разработке метода повышения ее эффективности, а также построению алгоритма обработки видеоинформации в GRID-среде.

GRID-среда S образована множеством сайтов , где — сайты, f — число сайтов в GRID-среде S. Каждый сайт является совокупностью вычислительных узлов, управляемых локальным планировщиком распределения обработки и менеджером управления ресурсами.

Обработка видеофайла представляет собой совокупность распределенно выполняемых заданий (tasks) по обработке видеоинформации, объединенных в один план (job). Задание является неделимым блоком операций, выполняемых на одном вычислительном узле. План J — это множество заданий, которые должны быть выполнены для получения результата обработки: .

Выполнение плана в GRID-среде означает, что любой сайт при обработке плана J может использовать ресурсы любого .

Таким образом, план отождествляет один видеофайл, а для формирования заданий выбран метод, в котором минимальной единицей обработки (одним заданием) является независимо сжатая группа изображений (GOP — Group of Pictures). Этот метод позволяет максимально по сравнению с остальными существующими методами, сократить объем передаваемых данных, увеличением вычислительной нагрузки на конечные узлы. Его использование обусловлено тем, что наиболее узким местом распределенной обработки видеофайлов является время передачи данных ввиду их большого объема.

Технологически базовым механизмом обработки является система OurGrid, функционирующая на базе P2P сетей. Для распределения заданий в GRID-среде выбран метод сходства памяти (Storage Affinity(SA)), который минимизирует объем передаваемых данных поиском таких блоков ранее переданных данных, которые совпадают с текущими. В том случае, если повторно используемые данные отсутствуют, применяется метод WQR (Working Query Replication), который распределяет данные между всеми узлами, отслеживая ошибки в обработке данных и исключая из списка доступных узлы, регулярно отказывающие в обработке.

В диссертации приведено описание GRID-системы и разработана модель задачи обработки видеоинформации в ней. В общем виде время обработки видеоинформации представляется

, (1)

где – время обработки и передачи данных всего плана соответственно.

Для определения времени обработки плана введем понятие производительности. Под производительностью GP будем понимать число задач, выполненных вычислительным узлом в единицу времени. Для узла, осуществляющего обнаружение ресурсов, производится тест его производительности GP получением времени , затраченного на обработку тестового задания. Это время принимается за производительность, равную единице. Это означает, что узел выполняет обработку одного задания за единицу времени. Для остальных узлов также производится обработка тестового задания, причем производительность вычисляется как

для , (2)


Pages:   || 2 | 3 |
 

Похожие работы:







 
© 2013 www.dislib.ru - «Авторефераты диссертаций - бесплатно»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.