Контрольно-измерительные материалы и интерпретация результатов тестирования

Начнем с привычных шкал термометра, вольтметра или обыкновенной школьной линейки. По положению ртутного столбика, стрелки вольтметра или штрихов линейки мы узнаем температуру, напряжение или длину, т.е. измеряем определенные характеристики определенных объектов. Результатом измерения является число. В реальной жизни не всегда удается выполнить измерение непосредственно. Часто для измерения доступны лишь некоторые функции интересующих нас латентных параметров объекта, и оценивание этих параметров производится путем определенной математической обработки косвенных измерений. Примером такой ситуации является и обработка результатов тестирования с целью оценивания подготовленности участников тестирования или трудности заданий. Раскрытие смысла этих параметров и разработка средств и методов их оптимального оценивания и являются основными объектами теории моделирования и параметризации педагогических тестов.

С математической точки зрения, процесс измерения есть отображение состояния измеряемого объекта на некоторое множество действительных чисел (или на некоторое множество точек числовой оси), называемое шкалой. Однако шкала – это не просто определенное множество – дискретное или сплошь заполняющее некоторый промежуток. Важнейшей отличительной чертой шкалы является набор тех соотношений между ее элементами (отсчетами), которые имеют содержательный смысл и разумное толкование в рамках этой шкалы.

Существует много различных шкал, в том числе, в педагогике. Но нас будут интересовать только четыре вида.

1. Порядковые шкалы, где результаты измерений осмысленно можно только сравнивать между собой. Примером может служить принятая в школе система оценок, выставляемых ученикам в зависимости от их успехов в учебе. Из соотношения отметок b1 < b2 для учеников А1 и А2 можно лишь заключить, что А1 учится хуже А2. Если же, например, b1 - b2 = 1, то утверждение "успехи А1 на 1 выше, чем успехи А2" не объясняет, каково различие между учениками и, по существу, лишено смысла. То же можно сказать и относительно шкалы первичных баллов (в абсолютном или относительном выражении) как для участников тестирования, так и для тестовых заданий. Максимум, что можно сделать в рамках этих шкал, это упорядочить участников тестирования или тестовые задания в порядке возрастания (или убывания) оценок соответствующих латентных параметров.

Основными статистиками порядковых шкал являются медиана, квантили и ранговая корреляция.

2. Шкала более высокого уровня называется интервальной, или метрической.

Ее отличительной чертой является наличие метрики. Это означает, что для любых отсчетов b1 и b2 содержательный смысл имеют не только соотношения типа b1 < b2 или b1 - b2, но и разность b2 - b1. При этом |b2 - b1| трактуется как расстояние (между двумя элементами метрического множества), выраженное в определенных единицах и, главное, имеющее осмысленное толкование. Специфика шкалы состоит в отсутствии нулевого штриха, то есть в отсутствии начала отсчета. Поэтому метрическая шкала прекрасно подходит для фиксации взаимного положения измеряемых объектов (относительно друг друга), но она не в состоянии информировать о местоположении объекта в некоторой единой системе координат (удалении от начала отсчета). С математической точки зрения указанная ситуация означает, что на множестве определена метрика, единица измерения расстояния, но нет понятия нормы (определено понятие "расстояние", но нет понятия "длина"). Например, при строительстве гидросооружений важно измерять превышения (разности высот) между определенными точками (взаимное положение по высоте, имеющее конкретную гидродинамическую трактовку), но не сами высоты. Превышение между двумя точками, имеющие высоты, например 48 м. и 45 м., имеет то же смысл, что и превышение между точками с высотами 5 м. и 2 м. В противоположность этому разности между первичными баллами 48-45 и 5-2 невозможно сравнивать осмысленно.

По такой же, по существу, шкале, по которой измеряются превышения, измеряются и латентные параметры трудность задания (d) и уровень знаний (Q), но только единицей измерения расстояний служат не метры, а логиты.

Таблица 1.1