Разработка модели и инструментальных средств оптимального распределения инвестицийв непрерывное образование на основе компетентностного подхода

Вектор содержит нормированные значения весовых коэффициентов альтернатив – то есть искомые веса компетенций.

В формировании общей компетентности специалиста наравне с весовыми коэффициентами компетенций стоят уровни компетенций специалиста , являющиеся объектом управления и ядром изучаемой системы. Существующие подходы к оценке уровней компетенций не содержат универсальных методов и алгоритмов, позволяющих получить достоверную информацию об уровне подготовки специалиста. Для решения данной задачи разработана инновационная методика оценки компетентности, основанная на трех основных принципах:

1. компетентностная модель в основе теста;
2. комбинированный метод оценки;
3. адаптивность.

В отличие от большинства существующих методов тестирования, предложено создавать тест в виде компетентностной модели или ориентированного графа G, вершинами которого являются компетенции с ненормированными весовыми коэффициентами большими нуля. Каждому заданию при этом ставится в соответствие набор оцениваемых в нем компетенций . Разработанный алгоритм оценки компетентности сводится к обходу имеющихся вершин графа G и получению оценок по компетенциям в соответствии с заданными правилами и порядком измерений. Предложенное решение является основой для автоматизированной оценки компетентности испытуемого и позволяет сместить акцент с содержания теста на его результат и измеряемые параметры.

Комбинированный метод оценки подразумевает использование двух методов тестирования (традиционного и имитационного) и позволяет оценивать не только знания, но и компетентность испытуемого, причем, как ее отдельные элементы, так и их сочетание. Традиционное тестирование (knowledge-based test) является эффективным средством оценки знаний испытуемого и заключается в выполнении общеизвестных типов тестовых вопросов: множественный выбор, установление соответствия, сортировка и т.д. Имитационные методики (performance-based test) позволяют измерять опыт, практические навыки и когнитивные способности испытуемого. Каждое имитационное задание предлагает уникальную тестовую ситуацию (сценарий) и проверяет навыки решения определенного класса задач, возникающих в реальной жизни. Во время имитационного тестирования поочередно предлагаются симуляционные задания различной степени сложности. В процессе их выполнения отслеживается последовательность, рациональность и результат действий испытуемого. При формировании тестов должен соблюдаться баланс между заданиями различных типов с тем, чтобы измерение было адекватным и полноценным.

Распространенным недостатком автоматизированных систем тестирования является низкая точность измерения в случае, когда средняя сложность заданий теста не соответствует уровню подготовленности испытуемых. Для устранения данного недостатка предложено использовать механизм адаптивного тестирования, позволяющий оценивать «способность» испытуемых и трудность заданий в одной и той же интервальной шкале при помощи математико-статистических моделей измерения. Разработан алгоритм адаптивного тестирования, основанный на методологии Item Response Theory (IRT) и однопараметрической модели Раша. Алгоритм состоит из шести шагов: (1) априорная оценка уровня компетентности, (2) выбор оптимального задания, (3) выдача задания и получение результата, (4) апостериорная оценка уровня компетентности, (5) проверка выполнения стоп-критериев, (6) получение итогового уровня компетентности.

Предложенная методика оценки компетентности, основанная на инновационном сочетании трех описанных принципов, позволяет получать количественную оценку уровня компетентности испытуемого и не имеет аналогов в России.

В третьей главе «Разработка программного комплекса мониторинга компетентности» рассматривается программно-инструментальная реализация предложенных подходов и приводится экспериментальное подтверждение достоверности предложенной экономико-математической модели оптимального распределения инвестиций в непрерывное обучение.

Численный расчет в рамках разработанной экономико-математической модели оптимального распределения инвестиций в непрерывное образование связан с большим объемом вычислений, проведение которых вручную является достаточно трудоемкой задачей. Вследствие этого, было спроектировано и разработано программное средство, позволяющее автоматизировать предложенную методику расчета, а также реализовать возможности интерактивного ввода и изменения параметров и исходных данных модели в документах распространенных форматов (XLS, XML).

С помощью созданного программного обеспечения смоделированы экспериментальные расчеты, подтверждающие достоверность предложенной модели по оптимальному распределению инвестиций в непрерывное развитие компетенций и выбору эффективного плана обучения, обеспечивающего заданный уровень компетентности специалиста. Необходимо отметить, что полученное с помощью методов динамического программирования решение есть лишь некоторое приближение к оптимальному решению и его можно улучшить, взяв более мелкий шаг оптимизации. В ходе экспериментов определены величины шагов оптимизации по переменным состояния моделируемого процесса, при которых достигается приемлемая точность решения задачи (Таблица 1).

Таблица 1. Рекомендуемые величины шагов оптимизации

Переменная	Описание	Шаг оптимизации
a	Общая итоговая компетентность специалиста перед очередным шагом (состояние системы для внешней модели).	0,1%
b	Начальный уровень компетенции специалиста перед очередным шагом (состояние системы для внутренней модели).	1%

Подсчитана трудоемкость расчета модели с использованием созданного инструментария для указанных значений шагов оптимизации и следующих исходных данных: число компетенций профиля (n) – 22 ед.; этапов обучения (m) – 5 лет; минимальный шаг обучающего воздействия (x) – 10%. Средняя трудоемкость автоматизированного расчета (на процессоре Intel Pentium 4 2660 МГц) с учетом его программной оптимизации составила 4 сек; при этом общее число рассмотренных состояний для внешней модели – более 22 000, вариантов управлений для внешней модели – более 199 000, количество расчетов по внутренним моделям – более 1 000 (итоговые цифры зависят от исходных данных по начальным и требуемым уровням компетенций специалиста).

Для реализации разработанной методики и алгоритмов оценки уровней компетенций специалиста в соответствии с концепцией компетентностного подхода в образовании сформулировано техническое задание на создание программного комплекса оценки компетентности, проведено проектирование, разработка, тестирование и документирование программного обеспечения. В качестве средств разработки выбрана платформа Microsoft.NET Framework 2.0, СУБД MySQL 5.0, среда Microsoft Visual Studio 2005, язык программирования C#, технологии.NET Remoting, XML. В результате проведенных работ создан инновационный инструментарий оценки компетентности, поддерживающий международный стандарт по упаковке и хранению учебного и измерительного контента IMS. Упрощенная схема архитектуры программного комплекса представлена на Рис. 2.

Рис. 2. Архитектура программного комплекса оценки компетентности

На административном уровне расположен центральный сервер системы, осуществляется хранение тестов, ведение единой базы данных, статистическая обработка и анализ данных, создание дистрибутивов, а также разработка, администрирование и интеграция контрольно-измерительных материалов. Системный уровень построен в соответствии с архитектурой «клиент-сервер». На системном уровне осуществляется установка тестовой программы, управление учетными записями испытуемых, организация процесса тестирования и сбор зашифрованных результатов испытаний.

Разработанный программный комплекс тестирования характеризуется обобщением лучшего мирового и российского опыта в создании систем тестирования (ECDL, Microsoft MOS, Microsoft ISTE, ETS «ICT Literacy Assessment», Questionmark, АСТ-Тест), а также инновационными возможностями оценивания компетенций и знаний с использованием адаптивности, компетентностной модели в основе теста, сочетанием традиционных и имитационных методик тестирования.

Для проверки системы создана экспериментальная база данных контрольно-измерительных материалов, предназначенная для измерения компетентности в сфере ИКТ (компьютерной грамотности) – одной из ключевых компетенций, владение которой является обязательным для большинства специалистов вне зависимости от вида их трудовой деятельности.

Разработанный инструментарий апробирован в ходе выполнения ряда НИР и внедрен в высших учебных заведениях: МЭСИ и АТиСО. Всего с использованием системы протестировано несколько тысяч учащихся и работников образования (преподавателей, администраторов) в 11 субъектах РФ. В процессе функционирования система тестирования показала высокую степень надежности и работоспособности. Эксперты положительно оценили предложенный программный комплекс и точность измерения компетентности испытуемых.

Успешная апробация инструментария подтвердила возможность практического применения предложенных в диссертационном исследовании подходов и методов для мониторинга и непрерывного развития компетенций специалистов. Пакет разработанных прикладных инструментов может быть использован в учебных заведениях при создании новых программ обучения студентов и сторонних слушателей, а также для оценки результатов образования на основе компетентностного подхода.

В заключении изложены основные результаты диссертационной работы и определены направления дальнейших исследований.

Основные выводы и результаты исследования

Основные выводы и результаты проведенной работы сводятся к следующим положениям:

1. Исследованы особенности применения компетентностного подхода в сфере непрерывного послевузовского образования. Проведен анализ методов мониторинга и оценки компетентности на примере области ИКТ, определены достоинства и недостатки существующих систем тестирования.
2. Исследована система непрерывного развития компетенций специалиста. Показано, что элементами системы являются уровни компетенций и их весовые коэффициенты, предложена формула расчета общей компетентности. Исследованы основные процессы, протекающие в системе. Обосновано, что процессы забывания не влияют на задачу поэтапного развития компетенций. Разработана модель жизненного цикла компетенции. Проанализированы виды внешних воздействий, приводящих к устареванию, разработана классификация компетенций по времени жизни, периоду и характеру их устаревания.
3. Создана экономико-математическая модель оптимального распределения инвестиций в непрерывное обучение специалиста, позволяющая обеспечивать необходимый уровень его общей компетентности и заданные уровни отдельных компетенций на протяжении всех этапов с наименьшими затратами на обучение. Модель позволяет реагировать на изменения, происходящие на рынке, и формировать эффективную стратегию инвестиций в непрерывное обучение. С помощью специально разработанного программного обеспечения проведены экспериментальные расчеты, подтверждающие достоверность и практическую значимость модели.
4. Разработана методика вычисления весов компетенций с использованием метода анализа иерархий, необходимая для принятия экономически обоснованных решений по инвестированию средств в непрерывное обучение в условиях неопределенности.
5. Предложена инновационная методика и алгоритмы оценки компетентности, позволяющие автоматизировать процесс измерения и мониторинга уровня компетентности. Создан программный комплекс тестирования и база контрольно-измерительных материалов для оценки уровня компьютерной грамотности и ИКТ-компетентности. Проведена апробация инструментария, демонстрирующая его эффективность и полную готовность для внедрения в учебное заведение любого масштаба и решения задач, связанных с оценкой компетентности различных групп и категорий испытуемых в различных дисциплинах и областях знания.
6. Комплексное использование предложенных моделей и инструментальных средств направлено на повышение качества непрерывного образования и его экономической эффективности, востребованности специалистов на рынке труда и конкурентоспособности высших учебных заведений на новых образовательных рынках.

Список работ, опубликованных по теме диссертации:

В изданиях, рекомендованных ВАК:

1. Комлева Н.В., Макаров С.И., Перевалов В.А. Открытые Образовательные Ресурсы // Открытое Образование. - 2007. - № 2, с. 30-34 (0,33 п.л.).
2. Скуратов А.К., Хеннер Е.К., Хорошилов А.В., Ярных В.В., Макаров С.И., Пахомов И.С., Бояшова С.А., Богданов М.Ю., Перевалов В.А. Национальный центр мониторинга и сертификации компьютерной грамотности и ИКТ-компетентности в системе образования Российской Федерации // Открытое Образование. - 2007. - №5, с. 12-18 (0,51 п.л.).
3. Комлева Н.В., Макаров С.И. Инновационная технологическая среда оценки компетентности в образовании // Открытое Образование. - 2008. - № 5 (0,46 п.л.).

В других научных изданиях: