Контрольно-измерительные материалы и интерпретация результатов тестирования

Таблица 1.1 указывает соотношение между разностями Q - d в логитах и их трактовкой в виде вероятности того, что задание трудности d будет верно выполнено участником с уровнем подготовленности Q. Данные этой таблицы никак не изменятся, если к величинам Q и d прибавить любую константу. Последний столбец таблицы 1.1 содержит произведения р(1 - р), которые можно трактовать как количество информации о разности Q - d, которое содержится в соответствующем элементе матрицы ответов. Содержание этого столбца мы используем позже, но уже сей час полезно отметить, что информативность ответов зависит только от расстояния |Q - d| между Q и d и заметно падает с увеличением этого расстояния. Так, одно задание максимальной эффективности равносильно (с точки зрения поддержания одной и той же точности измерения) около 25 заданий минимальной эффективности.

Метрическая (интервальная) шкала, в которой определено начало отсчета, называется шкалой нормированной. В такой шкале определено не только понятие метрики, по и понятие нормы, позволяющее измерять "длины" (то есть определенно» местоположение относительно нуля, на чала отсчета). Поэтому и такой шкале имеет смысл говорить не только о разностях типа Q - d, но и о каждой величине Q или d в отдельности. Такая шкала является наиболее привлекательной, а ее построение в теории педагогических измерений представляет собой определенную революцию в этой теории, поскольку позволяет преодолеть основной ее недостаток – зависимость оценок одного индивидуума от использованного теста и контингента всех участников тестирования или определенной группы участников.

Кроме перечисленных "количественных" шкал, выделяют еще номинальную шкалу, основанную на качественных переменных, не поддающихся количественному измерению. Примером может служить пол участников тестирования, принадлежность определенному региону России и т.п. Числа по-прежнему используются в номинальных шкалах, но служат они всего лишь для различения отдельных фактов, как бы для их названия. Поэтому никаких содержательных соотношений, кроме а = b или а ¹ b, между такими числами нет. При этом выбор чисел вместо реальных имен или других способов идентификации, конечно, не обязателен, поскольку речь не идет о том, на сколько отличаются друг от друга объекты или события, обладающие каким-либо свойством или признаком.

Если признаков, различающих объекты или события, только два, то номинальная шкала называется дихотомной. Примером могут служить элементы матрицы ответов участников тестирования на задания теста: правильное выполнение задания ("да") обозначается единицей, ошибочное ("нет") – нулем. При этом разность 1-0 не имеет никакого смысла, и сами цифры 1 и 0 можно заменить любыми другими, например, цифрами 9 и 5, символами "+", "-", словами "да", "нет", "зачет", "незачет" и т.п.

Соответствующие номинальным шкалам данные состоят из наблюдаемых значений частот или табличных сведений о числе появлений каждой из разновидностей изучаемой переменной. Для характеристики номинальных данных часто используются такие (дескриптивные) статистики, как пропорция и процентное отношение.

Использование той или иной шкалы из перечисленных четырех накладывает отпечаток и на применимость тех или иных методов математической обработки, которой обычно подвергаются исходные данные. Например, регрессионный анализ применим только по отношению к количественно выраженным переменным, измеряемым, по крайней мере, в метрической шкале. Примерно тоже самое можно сказать и относительно наиболее известных методов корреляционного анализа. Сказанное не означает, что результаты тестирования, отнесенные к порядковым или даже номинальным шкалам, нельзя анализировать количественно. Однако методы такого анализа должны быть, в общем случае, специальными и от личными от тех, которые используются для переменных в шкалах метрических и нормированных. Например, даже такую общепринятую оценку центра рассеяния переменной как арифметическая средняя часто бывает более обоснованным заменить медианой вариационного ряда, если переменные отнесены к шкале порядковой, а не метрической.

Таким образом, содержательная интерпретация результатов математической обработки данных тестирования может быть дана лишь в том случае, если методы этой обработки адекватны тем шкалам, к которым отнесена исходная информация.

После сбора эмпирических данных начинается этап математико-статистической обработки, которая проводится, как правило, с помощью специального программного обеспечения. В практическом плане применение программного обеспечения сопряжено с некоторыми трудностями. В частности, необходимо использование компьютерной техники, приобретение программных продуктов, создание специальной группы технического сопровождения. Однако, как показывает опыт, все эти трудности могут быть преодолены даже силами небольшого преподавательского коллектива, особенно в тех случаях, когда подсчет статистики осуществляется на небольших выборках в 50-100 человек.