Mathematical methods for monitoring the quality of education

Abstract

The paper considers approaches to monitoring the quality of teaching. A list of existing classification algorithms is presented. The authors introduce the term of dynamic cluster quality assessment.

Full Text

Вопросы расчета качественных показателей процесса обучения неоднократно обсуждались в литературе и внедрялись в практику образовательных учреждений. Оценка качества, несомненно, важная задача: имея инструмент для измерения качества, выяснив, какие условия работы образовательных учреждений (прежде всего, школ) влияют на качество обучения и как они влияют, можно ставить и решать задачи оптимального управления образовательным процессом на мезо- и макроуровнях. Задача расчета качественных показателей основана на построении критериальной функции наблюдаемых характеристик образовательного процесса. Ожидается, что значения критериальной функции коррелированы с качеством обучения. Но принцип построения такой функции не определен, так как: а) качество обучения - интуитивно понятный, но сложно формализуемый показатель; б) качество обучения - субъективно переживаемый, но объективно выраженный показатель. Рассмотрим образовательную систему как сложную систему, состоящую из множества субъектов (подсистем), разделенных на два класса: внутренний - учащиеся, преподавательский состав, администрация школы, и внешний - родители учащихся, образовательные учреждения разного уровня, в том числе другие школы, властные структуры, производство, научные, в том числе педагогические центры и пр. Каждый субъект является неоднородным как по своим целям, так и по своим характеристикам, поэтому интуитивные понятия о качестве зачастую не только не совпадают, но и противоречат друг другу. При этом общей заявленной целью совокупности всех подсистем является все-таки получение качественного образования. При данных условиях глобального (или единого) определения «качество образования» быть не может. В ситуациях, когда нельзя четко формализовать исследуемые свойства и критерии понятия «качества образования», измерить качество образования можно на основании косвенных показаталей или эвристического мнения экспертов. При этом стоит учитывать, что образовательная система относится к вероятностным системам, одно и то же воздействие на систему или на косвенные показатели может приводить к различным результатам, каждый из которых наступает с некоторой вероятностью. Модели оценки качества образования можно условно разделить на два больших класса: линейный и кластерный. Линейная модель позволяет определить место отдельной образовательной системы в общем перечне аналогичных систем (относительно «хуже-лучше»). Кластерная модель дает возможность разбить множество образовательных система на группы с учетом как наблюдаемых показателей, так и скорости их изменения. Кроме этого, кластерная модель позволяет проверить выдвигаемые предположения о наличии некоторой структуры в изучаемой совокупности объектов образовательной системы. Ввиду высокой сложности создания объективного метода оценки качества образовательного процесса, применимого ко всем подсистемам, большинство исследований рассматривают проблему с точки зрения одной из выбранных подсистем. Но при этом методы для всех подсистем зачастую применяются одинаковые. Для примера: для подсистемы администрация - линейный рейтинг школ; для подсистемы учащиеся - такой же линейный рейтинг: средний балл. Действительно, рейтинговые оценки наиболее распространены при оценке качества образования [1]. Пусть имеется r образовательных учреждений, которые характеризуются m общими для них показателями. X - вектор количественных показателей, характеризующий объекты M1, M2, …Mr в заданный момент времени. В качестве показателей обычно берутся относительные показатели. При этом общая рейтинговая оценка выбранного, i-ого, объекта сводится к формуле: , где a - вектор весовых множителей, произвольно назначаемый экспертами. Значение итогового результата находится в сильной зависимости от весовых множителей, что означает, что предпочтения экспертов оказывают не меньшее влияние на результат оценки качества, чем значения наблюдаемых показателей. Попытка объективно выбрать весовые коэффициенты - метод рейтингирования на основе концепции информационной энтропии [2]. В данном методе интегральное качество [3] ранжируется как интегральная сумма вида: , где H - вектор значений энтропии каждого показателя. Например, если все образовательные учреждения имеют одинаковые качественные оценки по некоторому показателю, то энтропия этого показателя равна нулю, т.е. показатель имеет нулевую значимость. Чем больше разброс в количественных оценках показателя, тем больше его энтропия. С увеличением энтропии значимость образовательного показателя возрастает. Образовательные учреждения, которые достигли высоких качественных (или количественных) показателей с большой энтропией, должны иметь и больший рейтинг [4]. Однако и в этом случае произвольное деление шкал показателей на интервалы может использоваться для подгонки результата к ожиданиям экспертов. Таким образом, линейные модели обеспечивают оценку качества, зависящую от значений наблюдаемых показателей и предпочтений экспертов, формирующих вектор весовых коэффициентов. Кроме того, линейный порядок образовательных учреждений формирует шкалу успешности образовательных учреждений, что препятствует организации многопрофильных образовательных стратегий и приводит к конкурентной борьбе на рынке образовательных услуг. Рассматриваемый далее метод относятся ко второму классу моделей оценки качества образования - кластерной модели. Наблюдаемые показатели школ можно представить как координаты точки в m-мерном пространстве. Для записи формализованных алгоритмов кластерного анализа используются следующие условные обозначения: M1, M2, …Mr - совокупность образовательных учреждений; - i-е наблюдение в m-мерном пространстве признаков; Мерой расстояния между объектами будем использовать евклидово расстояние: , где - нормированные значения исходных переменных; - расстояние между -м и -м объектами. Строить кластеры можно иерархическим агломеративным методом. Сущность этого метода сводится к тому, что на первом шаге каждый объект выборки рассматривается как отдельный кластер. Процесс объединения кластеров происходит последовательно: на основании матрицы расстояний. Если матрица расстояний первоначально имеет размерность (), то полностью процесс объединения завершается за () шагов. В итоге все объекты на выходе объединены в один кластер. Использование различных методов и алгоритмов кластерного анализа приводит к разным результатам образования кластеров. Для оценки полученных результатов необходимо проверить качество разбиения. Сделать это можно, например, суммой внутрикластерных дисперсий () , где - дисперсия -й переменной в -м кластере. Оптимальным следует считать разбиение, при котором сумма внутрикластерных дисперсий будет минимальной. Анализ распределения этих точек позволяет определить области повышенной плотности распределения, что указывает на существование рациональных стратегий формирования школ. Напротив, отсутствие явно выраженных кластеров говорит об отсутствии стандартных подходов и единых для групп школ стратегий развития. Еще одним направлением поиска новых форм оценки качества обучения является анализ не существующего положения, а динамики развития школы. Если школа находится в тяжелом положении, но изменение наблюдаемых показателей позволяет сделать оптимистический прогноз, то задачей субъектов образовательной системы является поддержать такое развитие. Динамика рассматриватся как скорость движения точки в m-мерном пространстве. Мониторинг качества образования в таком случае понимается как определение кластеров положения и скоростей точек, соответствующих образовательным учреждениям в пространстве наблюдаемых параметров. Использование кластерных методов анализа качества образования (назовем такой подход кластерной динамической оценкой качества обучения) позволяет: 1. обеспечить взаимодействие и кооперацию между школами, сняять проблему конкуренции школ; 2. мотивировать самоорганизацию и поиск свободных стратегий в образовательной системе; 3. обеспечить поиск новых форм и методов образовательного процесса, способствовать разрушению информационных барьеров в школе, построению открытых образовательных систем; 4. обеспечить возможность управления динамикой состояния школ, не разделяя школы на страты. Несмотря на указанные преимущества кластерной динамической оценки качества обучения, имеются и проблемы, которые будут препятствовать функционированию такой оценки или которые могут привести к нежелательным для школ последствиям. Некоторые из таких проблем перечислены ниже. Рейтинговые оценки являются привычными, так же, как и использование понятных квазицелей. Изменение подхода к оценке качества окажется стрессовой ситуацией, что вызовет неприятие в школах. Составление простых и понятных отчетов о состоянии образовательной системы в регионе также становится более затруднительным, что вызовет сомнения в адекватности системы существующим моделям. Пути решения таких проблем связаны с значительным снижением отчетности школ и требование отказа от отрицательной мотивации при использовании кластерных динамических оценок. Отсутствие заранее известных эталонов приводит к потере мотивации для развития образовательного процесса. Пути решения: создание множества эталонных точек, движение к которым мотивируется властными структурами. Наличие нескольких эталонов исключает возможность стандартизации образовательного процесса. Дублирование компьютерной и бумажной отчетности приведет не к снижению, а к резкому увеличению нагрузки по составлению отчетности, прежде всего на преподавательский состав школ. Для решения этой проблемы необходимо окончательно отказаться от бумажных документов в школе (организовать электронный документооборот). Отказ от бумажных документов позволяет автоматически собрать любой отчетный документ без дополнительных трат времени преподавательского состава. Следует понимать, тем не менее, что освоение электронного документооборота преподавателями старшего возраста требует особой поддержки, а создание удобной системы документооборота - значительных финансовых затрат. Переход от тотального контроля за деятельностью образовательных учреждений, формирования системы ранжирования и стратификации школ к процессу мониторинга и мотивационного управления, к самоорганизации и созданию систем кооперации между школами в интересах их гармоничного развития - основная задача региональной образовательной системы, которая может быть решена путем введения новых подходов к оценке качества обучения. Развитие образования несовместимо с внедрением производственной модели образовательного процесса и информационной замкнутости школ. Кластерная динамическая оценка качества обучения - один из таких подходов.