авторефераты диссертаций БЕСПЛАТНАЯ РОССИЙСКАЯ БИБЛИОТЕКА - WWW.DISLIB.RU

АВТОРЕФЕРАТЫ, ДИССЕРТАЦИИ, МОНОГРАФИИ, НАУЧНЫЕ СТАТЬИ, КНИГИ

 
<< ГЛАВНАЯ
АГРОИНЖЕНЕРИЯ
АСТРОНОМИЯ
БЕЗОПАСНОСТЬ
БИОЛОГИЯ
ЗЕМЛЯ
ИНФОРМАТИКА
ИСКУССТВОВЕДЕНИЕ
ИСТОРИЯ
КУЛЬТУРОЛОГИЯ
МАШИНОСТРОЕНИЕ
МЕДИЦИНА
МЕТАЛЛУРГИЯ
МЕХАНИКА
ПЕДАГОГИКА
ПОЛИТИКА
ПРИБОРОСТРОЕНИЕ
ПРОДОВОЛЬСТВИЕ
ПСИХОЛОГИЯ
РАДИОТЕХНИКА
СЕЛЬСКОЕ ХОЗЯЙСТВО
СОЦИОЛОГИЯ
СТРОИТЕЛЬСТВО
ТЕХНИЧЕСКИЕ НАУКИ
ТРАНСПОРТ
ФАРМАЦЕВТИКА
ФИЗИКА
ФИЗИОЛОГИЯ
ФИЛОЛОГИЯ
ФИЛОСОФИЯ
ХИМИЯ
ЭКОНОМИКА
ЭЛЕКТРОТЕХНИКА
ЭНЕРГЕТИКА
ЮРИСПРУДЕНЦИЯ
ЯЗЫКОЗНАНИЕ
РАЗНОЕ
КОНТАКТЫ

Pages:   || 2 | 3 |

Устойчивое оценивание статистических моделей при распределении наблюдений по закону минимальных значений

-- [ Страница 1 ] --

На правах рукописи

Грюнер Дмитрий Александрович

УСТОЙЧИВОЕ ОЦЕНИВАНИЕ СТАТИСТИЧЕСКИХ МОДЕЛЕЙ ПРИ РАСПРЕДЕЛЕНИИ НАБЛЮДЕНИЙ ПО ЗАКОНУ МИНИМАЛЬНЫХ ЗНАЧЕНИЙ

05.13.17 – Теоретические основы информатики

Автореферат диссертации на соискание ученой степени

кандидата технических наук

Новосибирск – 2010

Работа выполнена в Государственном образовательном учреждении высшего профессионального образования «Новосибирский государственный технический университет»

Научный руководитель: доктор технических наук, доцент Лисицин Даниил Валерьевич
Официальные оппоненты: доктор технических наук, профессор Хабаров Валерий Иванович
кандидат технических наук Щеколдин Владислав Юрьевич
Ведущая организация: Государственное образовательное учреждение высшего профессионального образования «Томский государственный университет систем управления и радиоэлектроники», г. Томск

Защита состоится «23» декабря 2010 г. в 1600 часов на заседании диссер­тационного совета Д 212.173.06 при Государственном образовательном учреждении высшего профессионального образования «Новосибирский государственный технический университет» по адресу: 630092, г. Новосибирск, пр. К. Маркса, 20.

С диссертацией можно ознакомиться в библиотеке Новосибирского государственного технического университета.

Автореферат разослан «____» ноября 2010 г.

Ученый секретарь диссертационного совета Чубич В. М.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Одна из основных задач в анализе данных – оценивание статистических моделей, описывающих определенные процессы или явления. В классических методах оценивания постулируется некоторое гипотетическое модельное распределение. Наиболее часто встречается гауссово распределение, основанное на центральной предельной теореме. На практике данное предположение достаточно часто нарушается, например, из-за наличия в выборке засоряющих наблюдений, вызванных нарушением ус­ловий эксперимента или неверным вводом данных. В результате данного нарушения статистические выводы могут быть существенно искажены. Классические методы оценивания оказались крайне неустойчивы даже при малых отклонениях распределения наблюдений от модельного (Дж. Тьюки). В связи с этим встал вопрос об устойчивом оценивании параметров, что привело к развитию так называемых непараметрических методов (Ф. П. Тарасенко, Ю. Н. Тюрин, Т. П. Хеттманспергер), свободных от какого-либо модельного распределения.

Отказ от постулирования модельного распределения приводит, с одной стороны, к возможности решать широкий класс задач, но, с другой стороны, мы существенно теряем в эффективности найденных оценок. Кроме того, непараметрические методы обладают преимуществом перед параметрическими лишь при резких отклонениях наблюдений от центральной части распределения, в противном случае они проигрывают по точности последним. Как правило, по результатам первичной обработки данных исследователь может выбрать определенное гипотетическое ( модельное) распределение, которое разумно использовать при построении более эффективных оценок.



Следующим этапом развития устойчивого оценивания являются методы, основанные на минимаксном принципе построения оценок для некоторого множества возможных распределений, в том числе и робастные методы (П. Хьюбер, С. А. Смоляк, Б. П. Титаренко, Б. Т. Поляк, Я. З. Цыпкин). Однако предложенные подходы, как непараметрический, так и минимаксный, теряют устойчивость при асимметричном засорении симметричных распределений.

Ф. Хампель ввел понятие функции влияния и предложил свой локально-устойчивый подход, который позволил выделить оценки, обладающие устойчивостью к асимметричному засорению данных. Но введенное им понятие B-робастности не приводит к устойчивости для данного вида засорения.

Исследованиями по проблеме робастности занимались также Дж. Пфанзагль (J. Pfanzagle), Л. Жакель (L. A. Jaeckel), Д. Эндрюс (D. F. Andrews), Б. Ю. Лемешко, Л. Д. Мешалкин, В. П. Шуленин и многие другие ученые.

В теории надежности, анализе выживаемости часто используются статистические модели с распределением наблюдений по закону Вейбулла–Гнеденко (Б. В. Гнеденко, Ю. К. Беляев, А. Д. Соловьев, Д. К. Ллойд, М. Липов). Для оценивания параметров удобнее преобразовать модели, перейдя к логарифмам наблюдения. При этом от распределения Вейбулла–Гнеденко переходим к распределению минимальных значений. Исследованию оценок параметров распределения Вейбулла–Гнеденко и экстремальных значений посвящено множество научных работ (K. Boudt, D. Caliskan, C. Croux, R. W. Berger, K. Lawrence, R. Langlois, S. D. Dubey, T. Kernane, Z. A. Raizah, N. B. Marks, V. Niola, R. Oliviero, G. Quaremba), в которых авторы используют оценки, не обладающие свойством устойчивости к асимметричным засорениям. Асимптотическая эффективность этих оценок существенно ниже, чем у метода максимального правдоподобия.

Предлагаемые в диссертационной работе методы основаны на подходе А. М. Шурыгина, обеспечивающем локальную устойчивость оценок к широкому множеству асимметричных засорений асимметричного модельного распределения и высокую асимптотическую эффективность. Данный подход применяется впервые к оцениванию параметров распределения минимальных значений, а также к оцениванию параметров регрессии в предположении распределения остатков по закону минимальных значений.

Цель и задачи исследований. Основной целью диссертационной работы является построение и исследование устойчивых оценок параметров статистических моделей с распределением наблюдений по закону минимальных значений при асимметричном засорении данных.

Для реализации цели исследования были поставлены и решены следующие задачи:

  1. конструирование устойчивых оценок;
  2. теоретическое исследование построенных оценок;
  3. экспериментальные исследования построенных оценок;
  4. практическое применение построенных оценок.

Методы исследования. При решении поставленных задач использовался ап­па­рат теории вероятностей, методы математической статистики, математического анализа, вычислительной математики, статистического моделирования.

Научная новизна. Автором были получены следующие основные новые результаты, которые выносятся на защиту:

– построены локально-устойчивые и стойкие оценки параметров сдвига и масштаба;

– найдены локально-устойчивые и стойкие оценки параметров регрессионной модели;

– сформулирован и доказан ряд теорем, касающихся свойств локально-устойчивых и стойких оценок параметров сдвига и масштаба;

– разработано программное обеспечение робастного оценивания статистических моделей и численного исследования оценок;

– численно исследованы локально-устойчивые и стойкие оценки сдвига и масштаба, выявлены области их превосходства над оценкой максимального правдоподобия;

– численно исследованы устойчивые оценки параметров регрессионной модели и масштаба, выявлены области их превосходства над оценкой максимального правдоподобия;

– найдены оценки параметров регрессионной модели стойкости сверл с использованием локально-устойчивого оценивания;

– найдены оценки параметров сдвига и масштаба распределения времени жизни мышей, облученных радиацией, с использованием локально-устойчивого оценивания;

– проведено оценивание регрессионной модели времени пробоя электроизоляционной жидкости при помощи локально-устойчивых оценок.

Обоснованность и достоверность научных положений, рекомендаций и выводов обеспечиваются:

– применением для исследования свойств рассматриваемых оценок аналитического аппарата математического анализа, математической статистики и теории вероятностей;

– подтверждением аналитических выводов результатами испытаний с использованием статистического моделирования;

– решением прикладных задач.

Практическая ценность результатов:

– построенные оценки устойчивы к наличию выбросов в массиве данных, к асимметричному засорению наблюдений, а также обладают высокой асимптотической эффективностью;

– созданное программное обеспечение позволяет эффективно производить вычисление оценок линейных регрессионных моделей;

– полученные результаты исследований используются в учебном процессе в рамках читаемого магистрантам курса «Современные проблемы прикладной математики и информатики» (направление 010500 – «Прикладная математика и информатика», специализация «Математическое и программное обеспечение информационных технологий моделирования и анализа данных») на факультете прикладной математики и информатики Новосибирского государственного технического университета (НГТУ), при проведении лекционных и практических занятий по курсу «Эконометрика» для студентов Омского юридического института, а также при подготовке аспирантов Омской государственной медицинской академии (ОмГМА); регрессионная модель стойкости сверл используется в научно-исследовательских работах кафедры проектирования технологических машин НГТУ.

Апробация работы. Основные результаты диссертационной работы опубликованы в ряде статей, докладывались и обсуждались на следующих конференциях: VI International Symposium on Optimization and Statistics (India, Aligarh, 2008); Всероссийская научная конференция молодых ученых «Наука. Технологии. Инновации» (Новосибирск, 2009); X юбилейная окружная конференция молодых ученых «Наука и инновация XXI века» (Сургут, 2009); V Международный научный конгресс «Роль бизнеса в трансформации российского общества – 2010» (секция «Актуальные проблемы высшей и прикладной математики», Москва, 2010); Российская научно-техническая конференция «Информатика и проблемы телекоммуникаций» (Новосибирск, 2010); региональная конференция молодых ученых «Современные проблемы математики и ее прикладные аспекты» (Пермь, 2010), а также на научных семинарах кафедры прикладной математики НГТУ.

Публикации. По теме диссертации опубликовано 7 основных работ, в том числе: 2 – в ведущих научных журналах и изданиях, входящих в перечень, рекомендованный ВАК РФ, 3 – в сборниках научных трудов, 2 – в материалах Российских конференций.

Структура работы. Диссертационная работа состоит из введения, четырех глав основного содержания, заключения, списка использованных источников из 72 наименований и приложений. Общий объем диссертации составляет 159 страниц, включая 22 таблиц и 78 рисунков.

Краткое содержание работы

Глава 1. Обзор методов оценивания статистических моделей

111

В главе приводятся основные понятия, ставятся в математической форме задачи, описывается современное состояние направления, связанного с проблемой робастности, проводится обзор подходов к ее решению и обосновываются задачи исследований.

Основные понятия. Пусть – наблюдения случайной величины , имеющей плотность распределения , где и параметр .

М-оценка (П. Хьюбер, 1984) параметра определяется следующим образом:

2 23

где – непрерывная, дифференцируемая почти всюду функция, которая называется функцией потерь. Оценочным уравнением называется необходимое условие минимума в выражении (1.1):

,

где функция является оценочной функцией, определенной с точностью до не зависящего от x множителя (здесь и ниже точкой сверху будем обозначать дифференцирование по параметру ).

Условие асимптотической несмещенности





, 4 35

где – оператор математического ожидания (по модельной плотности), является необходимым условием состоятельности оценок (А. А. Боровков, 1997).

Асимптотической дисперсией оценки (1.1) называется величина

,

где представляет собой нормирующий множитель соответствующей оценочной функции. Будем называть оценочную функцию нормированной, если .

Пусть реальное распределение наблюдений является -засоренным с плотностью , где 0   < 1 – уровень засорения, – функция Дирака, которая моделирует аномальное наблюдение y с засоряющей плотностью s (y, ) (байесовское точечное засорение).

При наличии засорения оценка становится асимптотически смещенной, асимптотическое смещение при некоторых условиях регулярности, малом уровне засорения и фиксированном значении y равно , где – функция влияния по Хампелю (Ф. Хампель, 1989).

Элементы теории локально-устойчивого оценивания. Квадрат евклидовой нормы функции влияния определяется функционалом вида (А. М. Шурыгин, 2000)

, 6 47

и называется неустойчивостью оценки.

При использовании s (y,) = 1 приходим к максимально неопределенному байесовскому точечному засорению (Д. В. Лисицин, К.В. Гаврилов, 2006) и критерию (1.3) как математическому ожиданию квадрата функции влияния.

При минимизации функционала (1.3) по аргументу получаем оценку максимальной устойчивости (ОМУ) (А. М. Шурыгин, 2000) с оценочной функцией

, 8 59

где находится из условия асимптотической несмещенности (1.2), – ненулевая функция параметра.

Устойчивостью оценки (А. М. Шурыгин, 2000) называется относительная характеристика , определенная по аналогии с эффективностью , где – оценочная функция оценки максимального правдоподобия (ОМП) (А. А. Боровков, 1997).

Условно-оптимальное семейство (ОУО) оценок (А. М. Шурыгин, 2000) определяется оценочной функцией

, , 10 611

где константы и имеют тот же смысл, что и в (1.4). Данное семейство позволяет достичь минимума неустойчивости при фиксированном значении асимптотической дисперсии и одновременно минимума асимптотической дисперсии при фиксированном значении неустойчивости. Параметр в (1.5) позволяет изменять значения эффективности и устойчивости оценок. При значении получаем ОМП, при значении – компромиссную оценку (ОК), при имеем ОМУ. Условно-оптимальная оценка, для которой выполняется условие , называется равнооптимальной (ОРО) (Д. В. Лисицин, К. В. Гаврилов, 2006).

Помимо условно-оптимального семейства целесообразно рассматривать семейство обобщенных радикальных оценок (ООР), которое предложил Л. Д. Мешалкин для случая нормального распределения данных, с оценочной функцией

, , 12 713

где – представляет собой параметр радикальности, и определяются так же, как и в (1.4). Обобщенная радикальная оценка при значении параметра радикальности называется радикальной (ОР) (А. М. Шурыгин, 2000).

Теория стойких оценок. Рассмотрим ситуацию, когда засоряющая плотность s (y, ) принадлежит к классу модельных плотностей F.

Показатель неустойчивости оценки в этом случае определяется формулой (А. М. Шурыгин, 2000):

.

На практике засоряющая плотность s(x,) неизвестна. Один из подходов к решению данной проблемы – использование максиминной формулировки (А. М. Шурыгин, 2000):

. 14 815

При совпадении множества S с множеством модельных плотностей F соответствующая оптимальная оценка называется стойкой (А. М. Шурыгин, 2000).

В качестве засоряющей плотности рассмотрим семейство

16 917

с параметрами сдвига и масштаба , где – сдвиг засоряющей плотности относительно модельной, – отношение масштаба модельной плотности к засоряющей. Требуется найти параметры * и * как решение задачи (1.7).

Оптимальной при засоряющей плотности (1.7) оценке, которую будем называть стойкой оценкой максимальной устойчивости (СОМУ), соответствует оценочная функция

, 18 1019

где определяется из условия асимптотической несмещенности (1.2), – ненулевая функция параметра.

Стойкостью оценки назовем относительную характеристику , которая введена аналогично устойчивости и эффективности.

Функционал, оптимизируемый при построении оценки, может иметь компромиссный вид, учитывающий как асимптотическую дисперсию, так и неустойчивость (А. М. Шурыгин, 2000, Д. В. Лисицин, 2009):

,

где – параметр компромисса. Его минимизация по оценочной функции при приводит к семейству стойких условно-оптимальных оценок (СОУО). Оптимальное решение имеет вид (Д. В. Лисицин, 2009):

, , 20 1121

где константы c и имеют тот же смысл, что и в (1.9), и обеспечивают минимальную неустойчивость при фиксированной асимптотической дисперсии и одновременно минимальную асимптотическую дисперсию при фиксированной неустойчивости. Параметр в (1.10) позволяет изменять значения неустойчивости и асимптотической дисперсии оценок. Так, при  = 0 получаем ОМП, при – компромиссную стойкую оценку (СОК), при – СОМУ. Условно-оптимальную стойкую оценку, удовлетворяющую условию , назовем стойкой равнооптимальной (СОРО).

Обоснование задач исследований:



Pages:   || 2 | 3 |
 

Похожие работы:







 
© 2013 www.dislib.ru - «Авторефераты диссертаций - бесплатно»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.