Разработка методов и моделей оценки качества образовательной деятельности в высшем учебном заведении

На правах рукописи

Козлов Алексей Николаевич

РАЗРАБОТКА МЕТОДОВ И МОДЕЛЕЙ ОЦЕНКИ КАЧЕСТВА ОБРАЗОВАТЕЛЬНОЙ ДЕЯТЕЛЬНОСТИ В ВЫСШЕМ УЧЕБНОМ ЗАВЕДЕНИИ

Специальность 08.00.13 – «Математические и инструментальные методы экономики»

Автореферат

диссертации на соискание ученой степени

кандидата экономических наук

Москва, 2009

Диссертация выполнена на кафедре Прикладной информатики в экономике Московского государственного университета экономики, статистики и информатики.

Научный руководитель	Диго Светлана Михайловна Кандидат экономических наук, профессор
Официальные оппоненты	Уринцов Аркадий Ильич Доктор экономических наук, профессор Курганова Екатерина Владимировна Кандидат экономических наук
Ведущая организация	ГОУ ВПО «МАТИ» - Российский государственный технологический университет имени К.Э.Циолковского

Защита состоится «25» февраля 2009 г. в 14.00 часов на заседании Диссертационного Совета Д212.151.01 при Московском Государственном Университете Экономики, Статистики и Информатики по адресу: 119501, г. Москва, ул. Нежинская д. 7.

С диссертацией можно ознакомиться в библиотеке Московского государственного университета экономики, статистики и информатики.

Автореферат разослан «23» января 2009 г.

Ученый секретарь

Диссертационного Совета

кандидат технических наук, доцент ( Мастяева И.Н.)

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы исследования. В основе динамичного развития современной экономики лежит качество подготовки кадров. На данный момент российская система высшего образования адаптируется к потребностям предприятий, однако, скорость ее изменений не соответствует быстроте перемен в экономике. В этих условиях отечественные организации вынуждены тратить значительное время и ресурсы на переподготовку молодых специалистов. В свою очередь у новых сотрудников на предприятиях увеличивается период адаптации, усложняется процесс ее вовлечения в трудовую жизнь.

Дополнительными факторами, обусловливающими актуальность совершенствования деятельности высших учебных учреждений, стали:

• демографический спад, который повлек за собой снижение количества абитуриентов, что в свою очередь привело к увеличению конкуренции между ВУЗами за право обучать бюджетных и внебюджетных студентов;
• начало процесса сближения систем образования стран Европы – Болонский процесс, обязательным параметром которого является «Контроль качества высшего образования».

Выше сказанное подтверждает необходимость инновационных изменений в сфере высшего образования, одним из которых является внедрение системы управления качеством.

Внедрение системы менеджмента качества (СМК) предполагает соблюдение условий, определяемых:

• международными стандартами в области качества;
• положениями, определенными Государственными стандартами;
• требованиями, изложенными в стандартах учебного заведения.

Существующие подходы и методы оценки качества образования не позволяют провести комплексную оценку разных направлений деятельности ВУЗа (в частности, финансовой и маркетинговой), а также не учитывают их взаимного влияния, и их влияния на результат обучения студентов. Основным недостатком существующих моделей оценки качества образовательной деятельности является также то, что они не способны выявлять устойчивые зависимости между эффективностью обучения студентов и качеством организации деятельности ВУЗа.

Указанные недостатки обусловливают необходимость разработки математических моделей, которые позволят не только учесть влияние качества организации деятельности ВУЗа на эффективность обучения студентов, но и значительно сократят временные затраты на проведение оценки, за счет автоматизации данного процесса. Следовательно, вопрос оценки качества образования в ВУЗе, а также задача разработки математических методов и моделей оценки качества образовательной деятельности, учитывающая многоаспектность данного понятия, являются актуальными.

Цели и задачи исследования. Целью диссертационного исследования является разработка математических методов и моделей оценки качества образовательной деятельности, которые позволяют учитывать взаимное влияние направлений деятельности ВУЗа, а также их влияние на результат обучения студентов.

Достижение поставленной цели исследования предполагает решение следующих задач:

1. Анализ методов и моделей оценки качества образовательной деятельности в ВУЗе, позволяющий выявить основные тенденции развития подходов к оценке качества образовательной деятельности в ВУЗе.
2. Разработка методики и системы показателей для оценки качества организации деятельности в ВУЗе, учитывающей различные аспекты его деятельности.
3. Разработка метода оценки знаний студентов на основе компетентностного подхода, нацеленного на получение сведений о соответствии знаний, умений и навыков выпускников потребностям предприятий и рынка в целом.
4. Создание методики прогнозирования уровня качества знаний студентов в зависимости от качества организации деятельности в ВУЗе.
5. Построение математической модели оценки качества образовательной деятельности в ВУЗе и её программная реализация.
6. Проведение эксперимента по внедрению разработанных методов и моделей.

Предмет и объект исследования. Объектом исследования являются процессы деятельности ВУЗа. Предметом исследования являются методы и модели оценки качества процессов деятельности ВУЗа.

Теоретическую и методологическую основу исследования составили работы отечественных и зарубежных специалистов в области управления качеством, оценки знаний студентов высших ВУЗов на основе компентностного подхода, оценки деятельности организации, математических методов и моделей, в том числе нейросетевого подхода. В диссертационном исследовании использованы положения, разработанные зарубежными авторами: Капланом Р., Нортоном Д., Уордом К., Мэйселом Л., Уоссерменом Ф., Нивеном П., Адамсом К., Робертсом П., Мк-Нейером К. и др. Из отечественных авторов рассматриваемым вопросам посвящены работы Тихомирова В.П., Тихомировой Н.В., Плакского С.И., Геворкян Е.Н., Коломниеца Б.К., Зимней И.А., Байденко В.И., Тартура Ю.Г., Нуждина В.Н., Махотило К.В., Перева Е.В., Галяминой И.Г., Заенцева И.В. и др.

Научная новизна

1. Предложено сочетание компетентностного подхода и системы сбалансированных показателей (ССП) для оценки качества образовательной деятельности в ВУЗе.
2. Создана методика формирования ССП, и на её основе разработан шаблон ССП для оценки эффективности деятельности в ВУЗе.
3. Определен набор показателей для оценки качества деятельности ВУЗа, охватывающий различные категории процессов, обеспечивающих эффективность деятельности учебного заведения.
4. Сформирована структура дерева компетенций выпускника, отражающая как моноподготовку студентов, так и двухуровневую систему образования.
5. Предложена структура нейронной сети для прогнозирования значений уровня компетенций студентов ВУЗов в зависимости от состояния значений показателей деятельности ВУЗа.
6. Построена математическая модель оценки качества образовательной деятельности в ВУЗе, направленная на анализ показателей процессов учебного заведения и позволяющая выявить устойчивые зависимости между эффективностью обучения студентов и качеством организации деятельности ВУЗа.

Практическая значимость, апробация и внедрение результатов.

Теоретические и практические выводы, полученные в результате проведенного исследования, могут быть использованы ВУЗами для построения собственных моделей для оценки качества оказываемых ими образовательных услуг, что подтверждается результатами апробации разработанной модели на базе ГОУ ВПО «МАТИ» - Российского государственного технологического университета имени К.Э.Циолковского.

Разработанные структура дерева компетенций и шаблон ССП могут быть адаптированы для любого ВУЗа вне зависимости от его размеров, количества направлений подготовки, а также сложности существующей организационной структуры и количества процессов.

Модель позволяет прогнозировать уровень знаний студентов в зависимости от качества организации деятельности в ВУЗе. Данное свойство разработанной модели позволяет выстроить процессы управления научной деятельностью, организации учебного процесса, управления персоналом, учебно-методического обеспечения, финансового обеспечения таким образом, чтобы получать наиболее высокий уровень знаний и умений студентов при выпуске.

Шаблон ССП был реализован с использованием пакета прикладных программ (ППП) ARIS BSC. Для описания структуры нейронной сети, её обучения и тестирования использовался модуль Neural Network Tool ППП MATLAB 6.0.

Результаты исследований представлены на научных конференциях и семинарах: 7-ой, 9-ой научно-практических конференциях «Реинжиниринг бизнес-процессов на основе современных информационных технологий. Системы управления знаниями», Международной молодёжной научной конференции «XXX Гагаринские чтения», 6-ой Всероссийской научно-практической конференции «Управление качеством», а также были отражены в отчетах по НИР кафедры ПЭИС МЭСИ по темам «Разработка методологических основ создания систем управления бизнес-процессами» и «Разработка методологических основ создания систем интеграции знаний».

Публикации. По теме диссертации опубликовано 7 работ общим объёмом 2,63 печ.л, в том числе 2 работы в журналах, входящих в «Перечень ведущих рецензируемых научных журналов и изданий, в которых должны быть опубликованы основные научные результаты диссертации на соискание ученой степени доктора и кандидата наук».

Структура диссертации. Диссертация состоит из введения, трёх глав, выводов по главам, заключения и списка литературы. Представленный материал иллюстрируется рисунками и приложениями.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность темы диссертации, формулируются цели и задачи исследования, определяются предмет и объект исследования, раскрывается научная новизна работы, представляются сведения об апробации и внедрении результатов исследования, а также о теоретической и практической значимости проведенного исследования.

В первой главе анализируются существующие модели оценки качества образования, рассматриваются инструменты, применяемые для оценки эффективности деятельности организации и возможность их адаптации к сфере высшего образования, анализируется возможность применения математических методов для выявления устойчивых зависимостей между эффективностью организации различных процессов ВУЗа и компетенциями студентов.

Качество образования определяется:

1. Качеством организации деятельности в ВУЗе – тем, насколько эффективно и результативно функционируют процессы учебного заведения.
2. Качеством знаний, получаемых студентами в процессе обучения.

В работе показано, что уровень компетенций студентов, являющийся результатом деятельности ВУЗа, определяется качеством организации процессов деятельности ВУЗа.

В первой главе были проанализированы модели оценки качества образовательной деятельности, в основе которых лежат требования, подходы к оценке и наборы показателей, определяемые нормативными актами Российской Федерации, международными стандартами в области качества, а также отдельными методиками, предложенными специалистами в области качества.

Проанализированные модели обладают рядом недостатков:

1. Сложность адаптации к сфере высшего образования и недостаточная эффективность по сравнению с моделью, изначально разработанной для учебных заведений.
2. Невозможность оценки ВУЗа по отдельным направлениям деятельности.
3. Нацеленность на оценку либо компетенций студентов, либо эффективности процессов деятельности ВУЗа.
4. Невозможность выявления причин проблем, возникающих в процессе деятельности ВУЗа.

В работе были проанализированы подходы к оценке качества организации деятельности в ВУЗе и уровня компетенций студентов. При выборе подхода к оценке эффективности деятельности организации были проанализированы следующие методы:

1. SWOT – анализ, который позволяет выявить сильные и слабые стороны организации, а также потенциальные возможности и угрозы.
2. Gap-анализ – анализ разрывов; с его помощью можно организовать поиск шагов для достижения заданной цели.
3. ССП (система сбалансированных показателей) – система взаимосвязанных целей и показателей, отражающая состояние основных направлений деятельности организации (составляющих или перспектив ССП) и позволяющая выявлять причины несоответствий в процессах учебного заведения.

В результате анализа, для оценки деятельности ВУЗа была выбрана ССП, обладающая по сравнению с другими подходами следующими возможностями:

1. Выявление причин недостатков, обнаруженных в процессах ВУЗа.
2. Изменение структуры ССП в соответствии с требованиями конкретного ВУЗа.
3. Учет нефинансовых показателей.
4. Использование ССП для государственных организаций.

Для оценки знаний и умений студентов предлагается использовать компетентностный подход, предполагающий оценку уровня достижения студентом набора компетенций и обладающий рядом преимуществ:

• получение студентами именно тех знаний, которые понадобятся им при дальнейшей трудовой деятельности;
• учет требований рынка труда при составлении содержательной части образовательных программ;
• унификация подхода к оценке знаний выпускников на базе единых требований к их компетенциям.

В работе показано, что определение устойчивых зависимостей между рядами значений компетенций и составляющими ССП возможно за счет применения методов прогнозирования. Общим недостатком большинства рассмотренных методов прогнозирования (метод экспоненциального сглаживания, вероятностного моделирования, адаптивного сглаживания) является то, что возможности методов математической статистики ограничены жесткими статистическими предположениями о свойствах временных рядов и во многих случаях не позволяют прогнозировать ход реальных процессов. Поэтому для решения задачи выявления функциональной взаимосвязи между показателями ССП и показателями компетентностной модели было предложено использовать инструментарий нейронных сетей, реализующих идеи предсказания и классификации при наличии обучающих последовательностей.

Во второй главе определяется порядок формирования и состав модели для оценки эффективности процессов деятельности ВУЗа, рассматриваются подходы к оценке результатов деятельности ВУЗа, приводится математический аппарат, используемый для выявления устойчивых взаимосвязей между качеством деятельности ВУЗа и уровнем компетенций студентов.

В соответствии с классической концепцией ССП оценка организации происходит на основе четырех составляющих: финансы, клиенты, процессы и персонал. Разработанный шаблон ССП включает в себя восемь составляющих, представляющих собой ключевые направления деятельности ВУЗа: