авторефераты диссертаций БЕСПЛАТНАЯ РОССИЙСКАЯ БИБЛИОТЕКА - WWW.DISLIB.RU

АВТОРЕФЕРАТЫ, ДИССЕРТАЦИИ, МОНОГРАФИИ, НАУЧНЫЕ СТАТЬИ, КНИГИ

 
<< ГЛАВНАЯ
АГРОИНЖЕНЕРИЯ
АСТРОНОМИЯ
БЕЗОПАСНОСТЬ
БИОЛОГИЯ
ЗЕМЛЯ
ИНФОРМАТИКА
ИСКУССТВОВЕДЕНИЕ
ИСТОРИЯ
КУЛЬТУРОЛОГИЯ
МАШИНОСТРОЕНИЕ
МЕДИЦИНА
МЕТАЛЛУРГИЯ
МЕХАНИКА
ПЕДАГОГИКА
ПОЛИТИКА
ПРИБОРОСТРОЕНИЕ
ПРОДОВОЛЬСТВИЕ
ПСИХОЛОГИЯ
РАДИОТЕХНИКА
СЕЛЬСКОЕ ХОЗЯЙСТВО
СОЦИОЛОГИЯ
СТРОИТЕЛЬСТВО
ТЕХНИЧЕСКИЕ НАУКИ
ТРАНСПОРТ
ФАРМАЦЕВТИКА
ФИЗИКА
ФИЗИОЛОГИЯ
ФИЛОЛОГИЯ
ФИЛОСОФИЯ
ХИМИЯ
ЭКОНОМИКА
ЭЛЕКТРОТЕХНИКА
ЭНЕРГЕТИКА
ЮРИСПРУДЕНЦИЯ
ЯЗЫКОЗНАНИЕ
РАЗНОЕ
КОНТАКТЫ


Pages:   || 2 |

Разработка методов представления и обработки естественного языка для проблемно-ориентированных систем автоматического понимания речи

-- [ Страница 1 ] --

Санкт-Петербургский институт информатики и автоматизации Российской академии наук

На правах рукописи

ЛИ

Изольда Валерьевна

Разработка методов представления и обработки естественного языка для проблемно-ориентированных систем автоматического понимания речи

Специальность 05.13.11 – Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей

АВТОРЕФЕРАТ

диссертации на соискание ученой степени

кандидата технических наук

Санкт-Петербург

20хХ

Работа выполнена в Федеральном государственном бюджетном учреждении науки Санкт-Петербургском институте информатики и автоматизации Российской академии наук (СПИИРАН).

Научный руководитель:

доктор технических наук,

профессор Косарев Юрий Александрович

Официальные оппоненты:

доктор технических наук,

профессор, МЕСТО РАБОТЫ, ДОЛЖНОСТЬ!!! Тимофеев Адиль Васильевич

кандидат технических наук,

доцент, МЕСТО РАБОТЫ, ДОЛЖНОСТЬ!!! Станкевич Лев Александрович

Ведущая организация:

ПОЛНОСЬТЮ!!! Санкт-Петербургский Государственный Электротехнический Университет

Защита состоится «____» ______________20ХХ г. в ____ часов на заседании диссертационного совета Д.002.199.01 при Федеральном государственном бюджетном учреждении науки Санкт-Петербургском институте информатики и автоматизации Российской академии наук по адресу: 199178, Санкт-Петербург, В.О., 14 линия, 39.

С диссертацией можно ознакомиться в библиотеке Федерального государственного бюджетного учреждения науки Санкт-Петербургского института информатики и автоматизации Российской академии наук

Автореферат разослан «____» ______________20ХХ г.

Ученый секретарь

диссертационного совета Д.002.199.01

Нестерук Филипп Геннадьевич

общая характеристика работы

Актуальность темы диссертации. Обеспечение взаимодействия с ЭВМ на естественном языке является важнейшей задачей исследований по искусственному интеллекту. Сейчас речевые технологии активно включаются в различные сферы нашей жизни, способствуя ускорению процессов информационного обмена в различных предметных областях, что привело к развитию проблемно-ориентированных систем понимания речи. При этом наиболее остро проявилась проблема разрешения языковой неоднозначности, а также проблема учета информации об иерархии понятий и терминов определенной предметной области. Первая проблема обусловлена многозначностью слов естественного языка, ошибками распознавания отдельных слов и синтаксическими неточностями в речи диктора. Вторая - ведет к терминологической путанице, возникающей из-за разницы в толковании терминов у системы и пользователя. Решение этих проблем связано с адекватным отображением естественного языка во внутреннее машинное представление. Для этого следует эффективно использовать всю доступную априорную информацию, включая синтаксис, семантику и прагматику.

Как правило, подходы к представлению и обработке естественного языка используют только два вида информации: синтаксическую и семантическую. Причем основной упор делается на синтаксис, т.е. методы грамматического разбора. Синтаксический анализ становится самоцелью и приводит к построению грамматически правильных предложений, которые, однако, могут содержать смысловую неоднозначность. В результате многолетних исследований в области обработки естественного языка и речи было установлено, что для решения проблемы неоднозначности необходимо использовать информацию о соотнесении знаков естественного языка, объектов и событий реальной действительности, к которым относятся семантическая и прагматическая информация, и которые представляют собой по существу информацию о предметной области. Стало очевидным, что сложность понимания и методы обработки естественного языка определяются не только структурой и особенностями входного текста, но и представлением о предметной области, в рамках которой осуществляется человеко-машинное взаимодействие.

Существует достаточно обширный набор средств представления знаний о предметной области, наиболее эффективным на сегодняшний день считается онтология. Применение этих средств для представления семантической и прагматической информации в области речевых технологий является актуальной темой исследования, поскольку ведет к разрешению проблем языковой неоднозначности и учета иерархии понятий предметной области при автоматическом понимании речи.

Цель работы и задачи исследования. Основной целью диссертационной работы является разработка методов разрешения неоднозначности естественного языка и учета иерархии понятий при представлении и обработке естественного языка в системах автоматического понимания речи. Для достижения поставленной цели в диссертационной работе поставлены и решены следующие задачи:

  1. Анализ основных подходов к представлению и обработке естественного языка;
  2. Построение эффективной модели представления и обработки естественного языка;
  3. Разработка методов эффективного семантико-прагматического анализа.

Методы исследования. Для решения поставленных задач в работе используются методы теории информации, теории множеств, экспертного, статистического и эвристического анализа, а также методы итерационного поиска. Компьютерная реализация разработанных алгоритмов производилась на основе объектно-ориентированного подхода.

Положения, выносимые на защиту:

  1. Модификация базовой модели представления естественного языка за счет внесения онтологии предметной области.
  2. Метод верификации онтологического подмножества гипотезы входной фразы, позволяющий отсечь гипотезы входной фразы, содержащие семантически несвязные словосочетания.
  3. Метод оценки лексической близости ситуативных переходов гипотезе входной фразы, позволяющий отсечь заведомо бесперспективные ситуативные переходы при ситуативном анализе.
  4. Модификация базовой модели обработки естественно-языкового высказывания.

Научная новизна работы состоит в следующем:

  1. Разработана эффективная модель представления естественного языка за счет использования онтологии предметной области в виде иерархии понятий предметной области, которая учитывает семантическую информацию и позволяет легко расширять предметную область.
  2. Разработан алгоритм верификации онтологического подмножества гипотезы входной фразы, позволяющий оценить его семантическую связность и существенно ускорить процесс обработки речи за счет предварительного отсечения гипотез, содержащих семантически несвязные понятия.
  3. Разработан метод оценки лексической близости ситуативных переходов гипотезе входной фразы, позволяющий избежать последовательного перебора всех возможных канонических перефразировок при определении квантитативной оценки расстояния между входной гипотезой и каноническими перефразировками.

Обоснованность и достоверность научных положений, основных выводов и результатов диссертации обеспечивается за счет тщательного анализа состояния исследований в данной области, подтверждается корректностью предложенных моделей, алгоритмов и согласованностью результатов, полученных при компьютерной реализации, а также апробацией основных теоретических положений диссертации в печатных трудах и докладах на международных научных конференциях.

Практическая ценность работы. Разработанные модели и алгоритмы направлены на разрешение проблемы адекватного отображения естественно-языкового представления во внутреннюю информационную модель, которая представлена ситуативной базой данных, матрицы межсловных ассоциаций и онтологией предметной области.

Разработанный метод верификации онтологического подмножества входной гипотезы позволяет оценить семантическую связность гипотезы входной фразы и обеспечивает систему понимания механизмом обобщения терминов предметной области. В результате пользователь может использовать широкий спектр понятий и терминов предметной области при взаимодействии с прикладной системой автоматического понимания речи.

Разработанный в рамках настоящего диссертационного исследования алгоритм оценки лексической близости ситуативных переходов гипотезе входной фразы позволяет уйти от последовательного перебора всех канонических перефразировок за счет предварительного анализа ситуативных переходов и отсечения заведомо бесперспективных, что позволило существенно повысить скорость ситуативной обработки.

За счет внесения онтологии, использования алгоритмов верификации онтологического подмножества и метода оценки лексической близости ситуативных переходов достигается сокращение избыточности модели представления естественного языка и повышение скорости обработки гипотез входной фразы.

Реализация результатов работы. Исследования, отраженные в диссертации, проведены в рамках научно-исследовательских работ: СПб НЦ РАН: «Разработка методов автоматического перевода устной речи» (№ 01.2.00309944) и «Перевод устной речи на основе интегрального подхода: исследование и применение ситуативной информации» (№01.2.00309949) (2002-2003гг.); ФЦП «Интеграция»: Образовательно-исследовательский центр языка и речи, № 326.81; проект МНТЦ № 1993P (задача 4) «Модель голосового управления подвижным объектом». Кроме того, результаты диссертационной работы использованы при разработке средств голосового доступа к информационной системе «Автомаркет» для компании «BridgeQuest».

Апробация результатов работы. Основные положения и результаты диссертационной работы представлялись на Международных конференциях «Речь и Компьютер» SPECOM (Санкт-Петербург 2000, Москва 2001, Санкт-Петербург 2002, Москва 2003, Санкт-Петербург 2004), IX международной конференции «Региональная информатика РИ-2004» (Санкт-Петербург 2004).

Публикации. Основные результаты по материалам диссертационной работы опубликованы в 9 печатных работах.

Структура и объем работы. Диссертация объемом 132 машинописные страницы, содержит введение, четыре главы и заключение, список литературы (106 наименований), 15 таблиц, 42 рисунок.

содержание работы

Во введении обоснована важность и актуальность темы диссертации, сформулированы цели диссертационной работы и решаемые задачи, определяется научная новизна работы и ее практическая значимость, кратко описаны разработанные методы и алгоритмы, а также представлены основные результаты их реализации в экспериментально-исследовательских моделях речевого диалога.

В первой главе диссертации рассмотрен анализ состояния дел в области автоматического понимания речи. Качественному пониманию речи препятствуют факторы, связанные с соотнесением естественно-языкового высказывания с ожидаемыми действиями системы. К ним относятся неоднозначности, обусловленные синтаксическими неточностями, оговорками диктора и многозначностью слов, а также наличие различных уровней обобщения тех или иных специфических терминов предметной области, которое ведет к терминологической путанице. Поэтому основными проблемами понимания речи являются семантико-синтаксическая неоднозначность речевого высказывания, а также учет иерархии понятий предметной области. Эти проблемы возникают в условиях недостаточности априорной информации о естественном языке, поэтому решение этих проблем в первую очередь связано с адекватным отображением априорной информации о естественном языке во внутреннее машинное представление.

В результате обзора существующих методов представления и обработки ЕЯ были выделены три основных подхода: лингвистический, семантический и прагматический. Лингвистические теории построения модели естественного языка, основанные на извлечении правильных синтаксических конструкций ЕЯ. Одной из наиболее известных является теория трансформационных грамматик И. Хомского, которая предлагает формально-логическую модель, в виде синтаксического дерева разбора на основе правил. Статистический подход к представлению естественно-языкового текста был предложен в начале 80-х Ф. Джелинеком. Статистическая модель n-грамм строится на основе показательных текстов предметной области. Её цель состоит в оценке вероятности появления некоторой цепочки слов w1,w2,…,wq. Однако, такие модели позволяют только оценить синтаксическую корректность фразы, но не учитывают семантических связей и, следовательно, не решают проблему семантической неоднозначности естественно-языкового высказывания.

Таким образом, избыточность синтаксического анализа не позволяет решить проблему установления семантических связей. Попытки построения семантически связных текстов привели к появлению теории семантических падежей Филлмора, в которой смысл предложения рассматривается как форма сообщения, выражающая определенный смысл. Одна из наиболее популярных идей, используемых в семантическом анализе, основана на предположение о возможности прямого отображения между предикатно-аргументной структурой и поверхностным языковым представлением. Она была предложена Й. Уилксом в виде теории семантики предпочтений. Одним из первых эту концепцию реализовал Б. Богураев в 1979г. Реализация представляла собой систему для описания семантических предпочтений и применялась для системы обработки запросов к базе данных. Семантический подход позволил рассматривать слово в зависимости от его предметной прикрепленности. В результате возникла необходимость учета прагматической информации, помимо модели языка стала учитываться модель предметной области. В области искусственного интеллекта разработан ряд средств представления знаний о предметной области, одним из наиболее эффективных на сегодняшний день среди них является онтология.

В результате многолетних исследований в области проблем автоматического понимания речи и естественно-языковой неоднозначности была осознана необходимость комплексного подхода к построению семантико-синтаксической модели языка и прагматической модели ПО. При таком подходе синтаксическая информация используется как вспомогательная и позволяет оценить грамматическую корректность естественно-языковых конструкций, семантическая информация накладывает связи между знаками естественного языка, а прагматическая информация соотносит знаки естественного языка с реальными объектами и ситуациями.

Таким образом, анализ существующих подходов к представлению и обработке естественного языка показал, что существует ряд средств эффективного представления и обработки естественного языка, применение которых в системах автоматического понимания речи позволит решить проблему неоднозначности и учесть иерархию понятий ПО.

Во второй главе приводится описание интегральной модели понимания речи (разработанной ранее в группе речевой информатики СПИИРАН). Модель содержит модули акустического и естественно-языкового анализа. В данной работе более полно рассматривается уровень естественно-языкового анализа, поскольку он претерпел изменения за счет модификации представления и обработки естественного языка, учитывающих иерархию терминов ПО.

Базовая модель интегрального понимания речи использует ассоциативный и ситуативный виды естественно-языкового анализа. Ситуативная модель описывает модель восприятия мира, ограниченную конкретной предметной областью, и может быть представлена ориентированным графом, где узлами являются ситуации, возможные в данной предметной области, а дуги - переходы между ситуациями, которые могут быть отражены наборами возможных перефразировок:

K- каноническая фраза в наборе возможных перефразировок, которая представлена множеством пар , где wi – слово из фразы, vi - вес слова во фразе, при этом сумма весов по фразе постоянна и одинакова для всех фраз ситуативной модели, L – длина канонической перефразировки.

На основе всех канонических перефразировок, заданных в ситуативной модели строится ассоциативная модель, которая представляет собой матрицу межсловных ассоциаций. В результате ассоциативного анализа получают количественную меру соответствия гипотезы одновременно синтаксису и семантике, заданным в данной ПО.

Ситуативный анализ позволяет разрешить семантико-прагматическую неоднозначность входной фразы и оценить степень соответствия анализируемой гипотезы фразы F и возможных ситуативных переходов. При этом вычисляется насколько гипотеза входной фразы коррелируется с каждой канонической перефразировкой:

где A1=F/K, A2=K/F, M=|F|, L=|K|, а p1, p2 – весовые коэффициенты, которые позволяют минимизировать влияние случайных или незначащих слов на оценку D(F,K), которая вычисляется для всех канонических перефразировок, что приводит к избыточности ситуативного анализа.

Кроме того, существенный недостаток базовой модели интегрального понимания проявляется при учете иерархии понятий ПО. При этом возникает избыточность представления перефразировок для каждого перехода, содержащего синонимичные понятия или понятия, различного уровня обобщения. Пример устранения такой избыточности представлен на рисунке 1. Как видно из примера, перефразировки тиражируются как в рамках одного набора перефразировок, так и для каждого ситуативного перехода. Наличие обобщающего понятия позволяет представить ситуативные переходы более компактно.

Для решения проблемы учета иерархии понятий предлагается использовать простейший вид онтологии: классификацию терминов ПО в формате XML, который удовлетворяет критериям расширяемости онтологии, и, в то же время, позволяет ввести набор понятий, достаточный для моделирования необходимой модели мира в задаче речевого взаимодействия. Построение онтологии начинается от корневого, наиболее обобщенного понятия, и далее по пути классификации объектов предметной области по общим признакам выстраивается иерархия понятий предметной области.

 Пример устранения избыточности-3

Рис. 1. Пример устранения избыточности ситуативной модели

Онтология в интегральной модели представляет собой простую иерархическую систему понятий (терминов предметной области), связанных между собой отношением is_a («быть элементом класса»). Отношение is_a имеет фиксированную заранее семантику и позволяет организовывать структуру понятий онтологии в виде дерева.



Pages:   || 2 |
 





 
© 2013 www.dislib.ru - «Авторефераты диссертаций - бесплатно»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.