STATISTICAL ANALYSIS OF TESTING RESULTS BY SECTION «LINEAR ALGEBRA AND ANALYTICAL GEOMETRY» IN THE MOODLE ENVIRONMENT

Full Text

В связи с постоянным сокращением часов для преподавания курса «Математика» необходимо активнее внедрять электронные системы управления обучением. В СамГУПС такой системой является система on-line обучения Moodle - программный комплекс, обеспечивающий организацию учебного процесса, посредством сети Internet. Система Moodle дает возможность моделировать этапы обучения и контроль знаний. Тестирование с использованием Moodle позволяет проводить контрольные замеры вне аудиторных занятий, так как обучающиеся проходят тестирование on-line в точке доступа Internet. В системе управления обучением Moodle имеется набор средств для автоматизации подсчетов статистических показателей качества тестовых заданий, дающих реальную оценку пригодности тестовых заданий с точки зрения измерения уровня подготовки обучаемых, т. е. процесс тестирования становится более технологичным. Тестирование проводилось по курсу «Линейная алгебра и аналитическая геометрия» на первом курсе специальностей 24.03.05 «Эксплуатация железной дороги» и 23.05.06 «Строительство железных дорог, мостов и транспортных тоннелей». В ходе обучения студенты имели доступ к примерам, аналогичным тестовым заданиям. Для максимального снижения вероятности угадывания верного ответа количество дистракторов (от англ. distract - отвлекать - неверный, но правдоподобный ответ с выбором одного или нескольких вариантов ответов) в тестовых заданиях заложено не менее пяти. Для снижения воздействия факторов, связанных с применением подсказок, списывания, сторонних лиц, использовалась функция смешивания вариантов ответов, т. е. варианты ответов не связывались с порядковым номером дистрактора. Средства анализа Moodle позволяют анализировать дистракторы. Если дистрактор используется редко (менее чем в 10 % случаев), то его заменяли на более подходящий ответ. Для ограничения вероятности списывания верные ответы показывались только после закрытия теста. В данной работе проведен математико-статистический анализ качества тестовых заданий, реализованных в электронной образовательной системе Moodle, с помощью следующих характеристик: надежность, валидность, дискриминативность. Электронная система управления обучением Moodle позволяет сохранять результаты тестирования в виде электронных таблиц в MS Excel и использовать все возможности данного пакета для расчета статистических числовых характеристик и построения графиков. В тестировании принимали участие 216 студентов, результаты 11 человек были исключены из рассмотрения, так как эти студенты либо по техническим причинам выбыли из процесса, либо не справились с заданиями и не решили ни одной задачи. Такие работы исключались из выборки, так как информацией о качестве теста не обладают. Статистическая обработка результатов таких испытаний позволяет получить числовые характеристики, дающие возможность объективно оценить как результаты испытуемых, так и качество отдельных тестовых заданий и теста в целом. При применении автоматизированных тестовых систем возникает возможность применения формализованных подходов, основанных на методологии теории педагогических измерений. Статистический анализ качества отдельных вопросов и теста в целом осуществляли с использованием заложенного функционала электронной образовательной среды Moodle. Данный тест относится к нормативно-ориентированным тестам. Для этого вида тестов при исследовании качества важной является следующая характеристика: вариация тестовых заданий pj qj, где pj = mj / n - доля правильных ответов на j-ое задание; qj = 1 - pj - доля неправильных ответов на j-ое задание; pj qj - дисперсия j-ого задания. Здесь mj - количество правильных ответов на j-ое задание; n - общее количество испытуемых. Отсортируем номера заданий в порядке убывания количества правильных ответов и построим ее график (рис. 1). Эксперты считают, что величина вариативности должна примерно равняться 0,25 [1 - 5]. Менее всего удовлетворяют этим требованиям 1-5, 9, 13 и 23 задания. Поэтому рекомендуется их изменить. Рис. 1 Значения вариативности заданий теста (The values of variability of the test) а) б) Рис. 2 Гистограмма и функция нормальной плотности распределения оценок при прохождении теста студентами специальностей СЖД (а) и ЭЖД (б) (The histogram and the density function of the normal distribution estimated for this test, the students of SDS (a) and Estonian railway (b)) Распределение оценок за тест по специальностям представлено на рис. 2. На представленных гистограммах по горизонтальной оси откладываются оценки в баллах, по вертикальной - количество студентов с указанной оценкой. Согласно [5] тест считается валидным, если средний результат тестирования свойственен большей части тестируемых, а сами оценки распределяются по нормальному закону. Из рис. 2 можно сделать вывод о том, что распределение тестовых баллов близко к нормальному. Проверка гипотезы о нормальном распределении указанных баллов проводилась по критерию Пирсона. Статистический анализ результатов 205 тестируемых показал, что для рассматриваемой выборки можно принять гипотезу о том, что оценки являются случайными величинами, распределенными по нормальному закону. Вычислим оценки связи тестовых заданий как между собой, так и с суммой тестовых баллов испытуемых. Проведем оценку надежности теста с помощью коэффициента корреляции Спирмана-Брауна. Метод относится к классу методов раздельного коррелирования и является наиболее часто используемым методом этого класса [8]. Задания теста делятся на две части по четным и нечетным номерам, затем определяется коэффициент корреляции rxy между этими двумя группами (Х и Y) с последующим вычислением поправки по формуле Спирмана-Брауна [5, 8]: . Взяв в качестве представителей разрядов их середины, получим коэффициент надежности rху = 0,77, а с учетом поправки r = 0,87. Тогда согласно [5] надежность теста хорошая. Далее проверим значимость полученного коэффициента корреляции при уровне значимости 0,05 и установим, что задания теста по четным и нечетным номерам взаимосвязаны. Для этого подсчитаем наблюдаемое значение статистического критерия по формуле , которая имеет распределение Стьюдента с степенями свободы и сравнивается с критическим значением. Результаты расчетов показывают, что коэффициент rху значим. Рис. 3 Среднее квадратическое отклонение результатов выполнения заданий (The average square deviation of the results of the tasks) На рис. 3 представлен график изменения средних квадратических отклонений итогов выполнения заданий. Среднее квадратическое отклонение s характеризует разброс значений оценок, полученных за данное задание теста. Если для какого-то задания s = 0, это означает, что все проверяемые получили за этот вопрос одинаковую оценку. Такое задание следует признать не удовлетворяющий задачам тестирования. В литературе отмечается [9], что в соответствии с требованиями педагогической теории измерений, задания со значением среднего квадратического отклонения менее 0,3 лучше исключать из теста, так как они не обладают в достаточной мере дифференцирующей способностью, т. е. не способны разделить сильных и слабых студентов. Такими заданиями являются 2 и 13. Для большинства тестовых вопросов оно имеет значение выше 0,3, что соответствует требованиям педагогической теории измерений [5, 6, 9] и является довольно хорошим индикатором их дифференцирующей способности. Оптимальным считается такое среднее квадратическое отклонение результатов выполнения заданий s, при котором значение среднего равно утроенному значению стандартного отклонения = 3s. В данном тесте по модулю «Линейная алгебра и аналитическая геометрия» оптимальное значение среднего квадратического отклонения пока не получено, отношение к s составляет для специальности СЖД 2,61, а для специальности ЭЖД - 2,7. Дифференцирующая способность задания (эффективность дискриминации) рассчитывается как разность двух показателей: сложности задания для сильной группы с высокой продуктивностью тестируемых и сложности задания для группы с низкой продуктивностью тестируемых. Чем выше дифференцирующая способность задания, тем лучше оно разделяет испытуемых по уровню знаний. Значения индекса эффективности дискриминации для исследуемой выборки заданий теста приведены на рис. 4. Рис. 4 Значения индекса эффективности дискриминации заданий теста (Values of the index of efficiency of discrimination of tasks of the test) Выводы. 1. Разработка тестов по разделам математики требует длительного подготовительного этапа, охватывающего все стадии создания теста. Применение электронные системы управления обучением Moodle позволяет стандартизировать процедуру апробации теста, выявления и корректировки заданий, способствует повышению точности и созданию качественных тестов. 2. Анализ результатов тестирования двух специальностей показал, что выборка подчинена нормальному закону распределения статистических данных, поэтому разработанные тесты можно использовать в качестве инструмента измерения знаний. 3. Надежность тестов (76 %) попадает в допустимую полосу значений, но может быть увеличена при дальнейшей целенаправленной работе над тестовыми заданиями. 4. Необходим дальнейший анализ характеристик используемых тестовых заданий, а также составление новых заданий, направленных на повышение валидности теста.

About the authors

Lyudmila V. Kaidalova

Samara state University of railway engineering

Email: ludmila.kaid@gmail.com
Candidate of Physical and Mathematical Sciences, Associate Professor, Associate Professor of the Department «Applied mathematics, computer science and information systems»

Julia V. Gumennikova

Samara state University of railway engineering

Email: gumennikuv@yandex.ru
Candidate of Physical and Mathematical Sciences, Associate Professor, Associate Professor of the Department «Applied mathematics, computer science and information systems»

Ruzilya N. Chernytsyna

Samara state University of railway engineering

Email: y-abc@mail.ru
senior lecturer of the department «Applied mathematics, computer science and information systems»

References

Supplementary files