Методы обработки нестационарных экспериментальных данных с использованием вейвлет-преобразования

На правах рукописи

Князева Татьяна Николаевна

Методы обработки нестационарных экспериментальных данных

с использованием вейвлет-преобразования

01.04.01 – Приборы и методы экспериментальной физики

АВТОРЕФЕРАТ

диссертации на соискание ученой степени

кандидата физико-математических наук

Санкт-Петербург

2010

Работа выполнена в ОАО “Научно-инженерный центр Санкт-Петербургского электротехнического университета”

Научный руководитель:

доктор физико-математических наук Новиков Лев Васильевич

Официальные оппоненты:

доктор физико-математических наук Буляница Антон Леонидович

кандидат физико-математических наук Максименко Ирина Евгеньевна

Ведущая организация: Санкт-Петербургский университет телекоммуникаций им. проф. М.А. Бонч-Бруевича

Защита состоится “25” июня 2010 г. в _1500_ часов

на заседании диссертационного совета Д 002.034.01 при Учреждении Российской академии наук Институте аналитического приборостроения РАН по адресу: 190103, Санкт-Петербург, пр. Рижский, д. 26.

С диссертацией можно ознакомиться в библиотеке ИАП РАН

Автореферат разослан “ ” мая 2010 г.

Ученый секретарь Диссертационного Совета,

кандидат физико-математических наук

А.П. Щербаков

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы. Повышение качества обработки данных физического эксперимента, состояния объекта исследований или технологического процесса, полученных с помощью приборов, было и остается важнейшей задачей, решаемой разработчиками информационно-измерительных систем. Однако существующие методы обработки базируются в основном на предположении стационарности поступающих в обработку данных. В то же время при работе приборов в критических условиях, например, в промышленности, на подвижных объектах (спутниках) при получении информации по телеметрическим каналам, данные искажены скачками шума, разрывами в полезном сигнале и т.п. Например, дисперсия нестационарного шума может изменяться по кусочно-постоянному закону или по неизвестному закону, описываемому гладкой функцией, что требует создания соответствующих методов адаптивной фильтрации.

Реальные сигналы нередко содержат особенности (резкие изменения, разрывы производной), которые необходимо максимально точно восстановить из зашумленных данных. Чаще всего эти особенности содержат главную информацию о сигнале. Если особенности представляются значительным количеством отсчетов (неизолированные особенности), то при очистке от шума таких сигналов традиционными методами информация о тонких деталях резких изменений сигнала или ее производных теряется. Если особенности представляются малым количеством отсчетов (изолированные особенности), то в результате обработки, в местах особенностей (как и в классическом случае Фурье преобразования, но в меньшей степени) наблюдается эффект Гиббса.

Цель работы заключается в разработке методов и эффективных вычислительных алгоритмов очистки сигналов от шума в сложной помеховой обстановке, то есть содержащих выбросы, осциллирующие составляющие, временные разрывы, нестационарный или коррелированный шум, изолированные и неизолированные особенности.

Методы исследований.

Для достижения указанной цели были исследованы возможности современной теории вейвлетов, свойства частотно-временной локализации которых, позволяют восстанавливать функции с разрывами в производных и сигналы с особенностями.

В диссертационной работе приводятся методы и алгоритмы обработки и анализа данных построенные на основе методов математической статистки и вейвлет-теории. Предлагаемые алгоритмы были реализованы и протестированы в среде МАТЛАБ.

Научная новизна состоит в том, что:

1. Предложены методы восстановления полезного сигнала в условиях нестационарного шума и разрывов сигнала, отличительной чертой которых является использование вейвлет-преобразования (ВП) на всех этапах обработки, что позволяет создавать быстрые вычислительные и эффективные алгоритмы обработки. В частности, разработаны методы удаления нестационарного шума, дисперсия которого изменяется по кусочно-постоянному закону и неизвестному закону, описываемому гладкой функцией. Разработаны методы сегментной очистки сигналов от шума на основе обнаружения изолированных и неизолированных особенностей.
2. Разработаны методы обработки данных перед очисткой сигналов от шума. В частности, метод отбраковки выбросов на основе максимально накладывающегося дискретного вейвлет-преобразования (МНДВП), работающий при наличии осциллирующих составляющих на фоне тренда. Исследован способ выделения и удаления осциллирующих и др. составляющих сигнала с использованием мультиразрешающего анализа на основе МНДВП. Разработан метод адаптивного заполнения разрывов, позволяющий заполнять большие разрывы, чем известные методы, основанные на B-сплайнах и локально-полиномиальной регрессии.
3. Разработан метод компенсации краевых эффектов с помощью экстраполяции по оцененной на границе полиномиальной модели с адаптивно оцениваемой структурой и порядком, который обеспечивает лучшие результаты очистки от шума на границах, по сравнению методами, основанными на симметричном и периодическом продолжении.

Практическая ценность работы состоит в том, что предложенные методы могут быть использованы для создания алгоритмов восстановления сигналов с особенностями, содержащих выбросы, нестационарный или коррелированный шум.

Положения, выносимые на защиту.

1. Методы обработки нестационарных данных с использованием ВП. В частности, метод удаления шума, дисперсия которого изменяется по кусочно-постоянному закону или по неизвестному закону, описываемому гладкой функцией, методы сегментной очистки сигналов от шума на основе обнаружения изолированных и неизолированных (с использованием максимальных кривизн) особенностей.
2. Метод отбраковки выбросов на основе МНДВП.
3. Метод адаптивного заполнения разрывов сигнала, основанный на полиномиальном прогнозировании.
4. Метод компенсации краевых эффектов с помощью экстраполяции по оцененной на границе полиномиальной модели с адаптивно оцениваемой структурой и порядком.

Апробация полученных результатов. Результаты работы докладывались на семинарах в ИАнП РАН, третьей всероссийской научной конференции “Проектирование инженерных и научных приложений в среде MatLab”, Санкт-Петербург, 2007; конференции «Технологии Microsoft в теории и практике программирования», Санкт-Петербург, 2008; на 10-ой Международной конференции и выставке «Цифровая обработка сигналов и ее применение», Москва 2008; XI Международной конференции по мягким вычислениям и измерениям (SCM’2008), Санкт-Петербург, 2008; на международной конференции “Wavelets and Applications”, St. Petersburg, 2009; на 11-ой Международной конференции и выставке «Цифровая обработка сигналов и ее применение», Москва, 2009.

Публикации. По теме диссертации опубликовано 10 работ, в том числе 2 работы в рецензируемых журналах, список которых приведен в конце автореферата.

Структура и объем работы. Диссертация объемом 190 стр. состоит из введения, шести глав, разбитых на параграфы, приложений и списка литературы, содержащего 116 названий.

Личный вклад автора состоит в создании методов очистки от шума в специфических условиях, методики очистки нестационарных сигналов от шума, разработке, реализации и отладке методов, включенных в состав программных комплексов, проверке работы методов на реальных данных телеметрических и аналитических приборов.

СОДЕРЖАНИЕ И ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

Первая глава посвящена анализу существующих методов очистки от шума сигналов и постановке задачи. Рассматриваются дискретные сигналы, получаемые на выходе различных измерительных устройств, используемых при проведении эксперимента. Анализируемый дискретный сигнал является функцией дискретной переменной , принимающей фиксированные равноотстоящие значения. Модель рассматриваемого в работе сигнала имеет вид

, (1)

где - кусочно-непрерывная и кусочно-гладкая составляющая на такая, что существует разбиение и

где , - гладкие сигналы, - осциллирующая составляющая, - в общем случае нестационарная случайная составляющая, включающая нестационарный шум, дисперсия которого изменяется по кусочно-постоянному или неизвестному закону, описываемому гладкой функцией и выбросы, - независимые величины, имеющие распределение Тьюки , - вероятность появления выброса, уровень которого в раз превосходит среднеквадратическое отклонение (СКО) шума, - функция стандартного нормального распределения. Общая задача заключается в поиске оценки полезного сигнала . В зависимости от исследований в работе рассматриваются и частные постановки задачи, предполагающие наличие различных составляющих в других комбинациях.

В главе проводится анализ основных подходов к очистке сигналов от шума, перечисляются преимущества и недостатки существующих методов, представляется итоговая классификация. По результатам анализа методов сделан вывод о неприемлемости линейных методов оценивания для поставленной задачи. Основным недостатком линейных методов является то, что они применимы лишь для восстановления гладких функций, не содержащих особенностей (резких изменений). Анализ нелинейных методов приводит к выбору вейвлет-обработки, как наиболее эффективному методу оценивания полезного сигнала из модели (1).

Во второй главе проводится анализ нелинейных методов вейвлет-пороговой обработки, объясняются преимущества использования вейвлетов для очистки от шума, анализируются различные виды ВП.

В результате анализа ВП были выявлены две группы: неизбыточные (например, для дискретного вейвлет-преобразования (ДВП), число вейвлет-коэффициентов (ВК) на уровне разложения соответствует объему выборки ) и избыточные (например, для МНДВП [1] число ВК на уровне равно ).

Исследования, проведенные в работе, показали, что использование избыточных ВП, в частности, МНДВП, для очистки сигналов от шума обладает рядом преимуществ. Поскольку число ВК в ДВП с увеличением уровня разрешения уменьшается в два раза за счет процедуры децимации, то на старших уровнях нельзя провести достоверный статистический анализ ВК. При МНДВП число ВК на каждом уровне разложения одинаково и равно размеру входной выборки. Несмотря на то, что МНДВП является избыточным неортогональным преобразованием, оно обеспечивает более качественную очистку от шума, инвариантно относительно сдвига и способно работать с выборками произвольного объема. Поэтому все основные этапы обработки и анализа данных, используемые в работе, были адаптированы под это преобразование.

Отличительной чертой МНДВП является нормирование коэффициентов высокочастотного и низкочастотного фильтров на и отсутствие операции децимации.

Далее рассматриваются отдельные этапы, показанные на рис.2, обработки сигналов, полученных в условиях реальных измерений.

Третья глава включает процедуры предварительной обработки и анализа данных: поиск и удаление выбросов, осциллирующих и др. составляющих, заполнение разрывов.

Удаление выбросов. Процедура пороговой вейвлет-обработки основана на предположении, что шум имеет близкое к гауссовскому распределение, поэтому выброс в вейвлет-области рассматривается как локальная особенность сигнала. Следовательно, выбросы необходимо выявить и исключить из дальнейшего рассмотрения перед этапом очистки от шума. Были исследованы и проанализированы представленные в литературе методы отбраковки выбросов и предложен новый метод обнаружения выбросов, основанный на МНДВП, который более эффективен при обработке допплероподобных

сигналов и осциллирующих сигналов на фоне трендов.

Основная идея предлагаемого метода отбраковки выбросов на основе МНДВП опирается на три наблюдения. Первое основное наблюдение заключается в том, что выброс соответствует скачку в свойствах непрерывности функции или ее производных, поэтому он соответствует большим по амплитуде ВК. Вся гладкая составляющая не проходит в вейвлет-область, а переходит в область аппроксимирующих коэффициентов. Второе заключается в том, что при правильном выборе порядка базисной функции вся информация о тонких особенностях сигнала сосредоточена в вейвлет-области. На рис.3а представлен исходный сигнал, являющийся смесью полинома, гармонического сигнала, гауссовского шума и выбросов. На рис.3б показаны фрагменты ВК, полученных с помощью МНДВП для фильтра Добеши длины 4. Видно, что в область ВК первого уровня попали шумовая составляющая сигнала, выбросы, а также гармоническая составляющая, которая может быть искажена при модификации ВК первого уровня. Для того чтобы исключить возможные изменения гармонической составляющей, необходимо увеличить длину носителя. Это проиллюстрировано на рис.3в.

Третье наблюдение состоит в том, что в вейвлет-области общий вид одиночных выбросов имеет форму, схожую с используемым высокочастотным вейвлет-фильтром (рис.4).

Алгоритм обнаружения выбросов на основе МНДВП включает следующие шаги:

2. определяются ВК первого уровня с помощью МНДВП;
3. полученные ВК разбиваются на интервалы, равные длине фильтра;
4. находится максимальный по модулю ВК в каждом интервале;
5. определяются индексы ВК, соответствующие предполагаемым выбросам в соответствии с максимумом импульсной характеристики высокочастотного фильтра;
6. с учетом требуемого уровня отбраковки рассчитывается величина порога для определения ВК, соответствующих выбросам , где - СКО ВК. Формула для расчета СКО на первом уровне ВП имеет вид

, (2)

где обозначает медиану, - вектор ВК первого уровня разложения;

7. с учетом рассчитанного порога определяются наибольшие ВК, которые соответствуют выбросам;
8. проводится коррекция индексов найденных выбросов для исходного сигнала;
9. повторяются шаги 2-7, но при этом окно сдвигается на половину длины фильтра. Находится пересечение индексов найденных выбросов в первом случае и в случае сдвинутого окна для исключения обнаружения ложных выбросов;
10. коррекция обнаруженных выбросов;

10) повторяются шаги 1-9 до тех пор, пока алгоритм не найдет ни одного выброса или в случае превышения максимально возможного числа итераций.

Удаление осциллирующих и др. составляющих. Мультиразрешающий анализ на основе МНДВП. Произвольный входной сигнал можно рассматривать в виде суммы разнотипных составляющих: тренда, различных осциллирующих компонент, флуктуаций, локальных особенностей. Инструментом разделения сигналов на такие составляющие является мультиразрешающий анализ. Предлагается проводить разделение сигнала на составляющие с помощью мультиразрешающего анализа во временной области, а не в традиционной вейвлет-области. Преимуществом представления сигнала по частотным полосам во временной области является то, что мы получаем проекции на детализирующее и аппроксимирующее пространства для различных частотных полос, используя фильтры с нулевой фазой. Их легче анализировать, поскольку в вейвлет-области за счет формы используемого вейвлет-фильтра составляющие, соответствующие различным частотным полосам, сдвигаются, и общая картина становится менее понятной. Мультиразрешающий анализ на основе МНДВП на уровне представляется в виде суммы следующих составляющих:

,

где и - проекции на детализирующее и аппроксимирующее пространства соответствующих частотных полос во временной области, , - матрицы преобразования размерности для выделения высокочастотных и низкочастотных ВК соответственно, и - матрицы размерности , соответствующие -у уровню, каждая строка матрицы содержит коэффициенты вейвлет и масштабирующего фильтров соответственно.

Наиболее информативные частотные составляющие в работе определяются из распределения средних энергий по частотным полосам на основе мультиразрешающего анализа с использованием декомпозиции выборочной дисперсии исходного сигнала.

Заполнение разрывов. При обработке и анализе сигналов нередко возникает задача восстановления пропущенных значений на важных для анализа участках. Эти пропуски могут быть обусловлены, например, сбоями в регистрирующей аппаратуре или пропусками, образованными в результате удаления выбросов. В данном разделе предлагается вариант адаптивного заполнения разрывов, основанный на полиномиальном прогнозировании. Для заполнения разрыва строятся проверочные полиномы слева и справа от разрыва, по которым формируются прогнозы и выбирается наилучший прогноз, обеспечивающий наименьшую суммарную ошибку.

В четвертой главе поясняется этап разведочного анализа данных, решается проблема компенсации краевых эффектов. В конце главы приводится общая схема очистки сигналов от шума и способы оценки результатов очистки на основе диагностики остатков.