Модели и методы декодирования помехоустойчивых кодов на основе нейросетевого базиса

Берёзкин

Александр Александрович

МОДЕЛИ И МЕТОДЫ ДЕКОДИРОВАНИЯ ПОМЕХОУСТОЙЧИВЫХ КОДОВ НА ОСНОВЕ НЕЙРОСЕТЕВОГО БАЗИСА

Специальность 05.13.01 – Системный анализ, управление и обработка информации

АВТОРЕФЕРАТ

диссертации на соискание

ученой степени кандидата технических наук

Санкт-Петербург

2009г.

Работа выполнена в Санкт-Петербургском государственном университете телекоммуникаций им. проф. М.А. Бонч-Бруевича.

Научный руководитель: кандидат технических наук, доцент

Официальные оппоненты: доктор технических наук, профессор

Саенко Игорь Борисович

кандидат технических наук

Кунгурцев Вадим Викторович

С диссертацией можно ознакомиться в библиотеке Санкт-Петербургского государственного университета телекоммуникаций им. проф. М.А. Бонч-Бруевича.

Отзыв на автореферат в двух экземплярах, заверенный печатью учреждения, просим направлять по указанному адресу на имя ученого секретаря диссертационного совета.

Автореферат разослан «01» июня 2009 г.

Ученый секретарь диссертационного совета,

кандидат технических наук, доцент В.Х. Харитонов

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы. Современный этап развития телекоммуникацион­ных систем характеризуется широким развитием проводных и беспроводных сетей передачи данных. Рост числа пользователей таких сетей, появление но­вых мультимедийных услуг предъявляют высокие требования к скорости, на­дежности и времени задержки при обработке информации. Одна из самых ве­сомых задержек связана с помехоустойчивым кодированием и декодированием данных. Для снижения этого фактора постоянно необходимо решать проблемы совершенствования существующих и разработки новых методов обработки ин­формации.

В настоящее время подобные проблемы решаются различными путями, в том числе внедрением параллельных методов кодирования и декодирования, основанных на элементах теории искусственных нейронных сетей (ИНС). На сегодняшний день отечественными и зарубежными исследователями (Галуш­кин А.И., Горбань А.Н., Комашинский В.И., Оссовский С., Bruck J., Blaum M., Mayora-Ibarra O., Zeng G., Hush D., Ahmed N., Stefano A.D., Lippmann R.P., Ahmed S. и др.) предложено множество различных нейросетевых моделей, в том числе решаю­щих задачи декодирования помехоустойчивых кодов. Однако они слабо свя­заны с параметрами используемых кодов и до сих пор не разрабо­тана единая концепция их применения и настройки. Это влечет за собой увели­чение струк­турной избыточности и сложности функционирования нейронных декодеров. Более того, в современной научно-технической литературе недоста­точно про­работан вопрос обоснованности применения различных нейросетевых моделей для декодирования широко используемых на практике блоковых помехоустой­чивых кодов, что обуславливает актуальность настоящей работы, направленной на повышение обоснованности применения ИНС в задачах поме­хоустойчивого кодирования.

В то же время разработчики систем помехоустойчивого кодирования ре­шают компромиссную задачу «сложность-эффективность». На программно-аппаратном уровне, решение этой задачи приводит к необходимости как алго­ритмического, так и технического упрощения, включающего выбор наименее сложной реализации алгоритма.

Объектом исследования система помехоустойчивого кодирования (СПК).

Предметом исследования являются методы декодирования и их реализа­ция на основе ИНС.

Цель исследования. Целью диссертационной работы является повышение эффективности системы помехоустойчивого кодирования на основе совершен­ствования методов и параметров итеративных и нейронных декодеров двоич­ных блоковых кодов.

В связи с этим выделены два направления, определяющие постановку за­дачи диссертационной работы. Первое направление связано с исследованием современного итеративного метода де­кодирования. Второе – направлено на повы­шение эффективности системы помехоустойчивого кодирования за счет использования параллельных нейронных декодеров, существенно снижающих задержки на операцию декодирования.

Научная задача заключается в разработке методов и моделей итератив­ных и нейронных декодеров, обеспечивающих повышение эффективности сис­темы помехоустойчивого кодирования и характеризуемых предельно малой сложностью функционирования.

Методы исследования. В работе использовался математический аппарат теорий вероятностей, помехоустойчивого кодирования, нейронных сетей, ста­тистического обучения, полезности, сложности вычислений, а также методы имитационного моделирования (Монте-Карло). Экспериментальные исследова­ния проведены с использованием пакета математического, статистического и имитационного моделирования MATLAB.7.01 и программных средств Statistica Neural Networks 4.0.

Научная новизна работы определяется:

1. Разработанным лично автором итеративно-перестановочным (ИП) мето­дом декодирования, обеспечивающим увеличение надежности приема инфор­мационных элементов путем мажоритар­ного построения дополнительных про­верочных уравнений, который является дальнейшим развитием метода итера­тивного декодирования блоковых кодов.

2. Кроме того, новым является разработанный лично автором подход к выбору параметров моделей нейронных декодеров, который отличается от известных в части более точной настройки параметров на характеристики используемых кодов и структуру кодового пространства. Это позволяет сокра­тить структурную избыточность нейронных декодеров и повысить обоснован­ность их применения по сравнению с существующими подходами.

3. Впервые автором предлагается использовать нейронные декодеры и для исправления стираний, что не рассматривалось в работах других исследовате­лей.

4. В работе впервые разработан подход, позволяющий обоснованно сокра­тить размер обучающего множества путем использования запрещенных кодо­вых комбинаций только с максимально исправляемой кодом кратностью оши­бок и стираний. Это позволят существенно сократить объем обучающих дан­ных и, как следствие, уменьшить время на разработку нейронных декодеров, сокра­тить число используемых нейронов, а также расширить применение нейронных декодеров в область исправления стираний.

5. Автором впервые предложена методика оценки сложности методов деко­дирования, позволяющая учесть большее, по сравнению с классическими мето­диками, количество факторов, влияющих на сложность функционирова­ния, за счет использования комплексного показателя сложности, в который включены сложность алгоритмической и программной реализаций, и тем самым повысить точность оценки.

Обоснованность и достоверность научных положений обеспечены пре­емственностью проводимых исследований, подтверждена адекватным приме­нением математических методов, корректностью постановок задач, вводи­мых допущений, ограничений и формулировок выводов; соответствием приме­няе­мых моделей физическим процессам в СПК; непротиворечивостью полученных результатов известным научным данным; результатами экспери­ментов; апро­бацией основных теоретических положений в печатных трудах и докладах на научных конференциях и семинарах.

Практическая ценность. Предложенный подход к повышению обосно­ванности выбора параметров нейронных декодеров (НД) расширяет возможно­сти их реализации для кодов больших длин и может быть использован при про­ектировании перспективных СПК, работающих в реальном масштабе времени.

Предложенная методика формирования обучающего множества позволяет разрабатывать НД с меньшим числом нейронов, что при практической реализа­ции уменьшает время декодирования.

Результаты также могут быть использованы в образовательном процессе высших учебных заведений связи, при написании учебников и учебных посо­бий, при разработке перспективных СПК.

Реализация результатов работы. Основные научные и практические ре­зультаты диссертационной работы использованы в разработках ЗАО НПП «ИСТА-Системс» для обоснования выбора перспективных методов передачи и обработки речевых и факсимильных данных, а также в учебном процессе СПбГУТ им. проф. М.А. Бонч-Бруевича при разработке лекций по перспектив­ным методам декодирования, что подтверждается актами внедрения и реализа­ции.

Апробация работы и публикации. Результаты работы обсуждались и были одобрены на: 57, 58, 59, 60, 61-й НТК профессорско-преподавательского состава, научных сотрудников и аспирантов ГУТ им. проф. М.А. Бонч-Бруевича, XI международной конференции «Региональная информатика-2008», Международной НПК «Перспективы развития телекоммуникационных систем и информационные технологии-2008». По результатам диссертации опублико­вано 13 печатных работ (3 в соавторстве), из них 3 в изданиях, рекомендован­ных ВАК, получено положительное решение о выдаче патента РФ на полез­ную модель.

Структура и объем работы. Диссертационная работа состоит из введения, четырех глав с выводами, заключения, списка литературы и двух приложений. Основная часть работы содержит 155 страниц текста, 44 рисунка, 16 таблиц, включает 169 наименований отечественной и зарубежной литературы, объем приложений составляет 24 страницы.

Основные научные положения, выносимые на защиту:

1. Метод декодирования двоичных линейных блоковых кодов на основе итеративно-перестановочного подхода.
2. Модель «жесткого» и «мягкого» нейронного декодера с исправлением ошибок и стираний.
3. Методика формирования обучающего множества, обеспечивающая по­строение нейронного декодера как обучаемой модели с меньшим числом ней­ронов.
4. Методика оценки сложности функционирования методов кодирования и декодирования на основе комплексного показателя.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность рассматриваемой проблемы, сфор­мулированы цели и задачи работы, определены практическая ценность и об­ласть применения результатов, представлены основные научные положения, выносимые на защиту.

В первой главе диссертации рассмотрено современное состояние про­блемы декодирования помехоустойчивых кодов и оценки сложности методов декодирования.

Показано, что декодирование есть отображение множества принимаемых кодовых комбинаций (КК) на множество информационных слов, которое может состоять из композиции двух отображений (нахождения кодового слова по принятому и определения вектора информационных символов по кодовому слову):

а) или б) , (1)

где – алфавит из : * – символ стирания, D – оператор нахождения кодового слова, – множество принимаемых КК, – множество всех разрешенных кодовых комбинаций (РКК), – множество информационных слов РКК. Отмечено, что на задержки декодирования напрямую влияет слож­ность отображения D.

Отмечено, что новые методы декодирования, необходимо рассматривать с позиций развития существующих современных методов. Приведен обзор направлений развития современных методов «мягкого» декодирования блоко­вых кодов и отмечены их недостатки. Обосновывается выбор метода итератив­ного декодирования, а также направление его модификации.

Выявлена необходимость в разработке параллельных методов кодирования и декодирования на основе моделей ИНС. Проведен обзор результатов различ­ных исследователей в данной области.

Сделаны выводы об актуальности рассмотрения проблем декодирования применительно к сложности их функционирования.

Таким образом, полученные в главе 1 результаты, позволили обосновать выбор направления исследований и выявить необходимость в разработке параллельных методов кодирования и декодирования на основе моделей ИНС.

Во второй главе выбраны, изучены и исследованы известные модели НД и итеративного декодера.

Обосновывается использование известной математической модели итера­тивного декодера, описываемой формулой

, (2)

где LLR («мягкий» выход) вне декодера, Lc(x) LLR канала (получается в результате канальных измерений в приемнике), L(d) априорное LLR бита дан­ных, внешнее LLR (внешняя информация о структуре кода, выявляемая в процессе декодирования). На основе используемой математической модели описан обобщенный алгоритм итеративного декодирования блоковых кодов и показаны возможности его модификации [4].

Для достижения цели работы выбраны, изучены и исследованы известные в научно-технической литературе модели ИНС, предназначенные для решения задач классификации и задач, относящихся к классу проблем построения отношений на множестве объектов. Показано, что данные модели непосредственно осуществляют отображение (1) без проведения сложных процедур комбинаторного или алгебраического декодирования:

модель нейронного классификатора Хэмминга, в виде рекуррентного нейронного декодера 1-й модификации (РНД1) (рис. 1а) [5–7]. Использование данной модели позволяет решить задачу декодирования блоковых кодов по критерию максимального правдоподобия с использованием «жесткой» схемы принятия решений в демодуляторе. Показано, что РНД1 обеспечивает отобра­жение (1б);

модель обучаемой ИНС (рис. 1б), построенной на основе многослойного персептрона (сети с прямым распространением сигнала) с антисимметричными сигмоидальными функциями активации, в виде нейронного декодера прямого распространения (НДПР), обеспечивающего отображение (1а). Использование НДПР позволит разработчику СПК полностью реализовать корректирующие возможности используемых кодов [8].

а)

б)