Эмпирическая проверка и статистическая обработка результатов

Наличие достаточного числа тестовых заданий позволяет перейти к разработке теста как системы, обладающей целостностью, составом и структурой. На третьем этапе отбираются задания и создают тесты, повышаются качество и эффективность теста.

Целостность теста образует взаимосвязь ответов испытуемых на задания теста, наличие общего измеряемого фактора, влияющего на качество знаний.

Состав теста образует правильный подбор заданий, позволяющий минимально необходимым числом отобразить существенные элементы языковой компетентности испытуемых.

Уровень и структура знаний выявляются при анализе ответов каждого испытуемого на все задания теста. Чем больше правильных ответов, тем выше индивидуальный тестовый балл испытуемых. Обычно этот тестовый балл ассоциируется с понятием "уровень знаний" и проходит процедуру уточнения на основе той или иной модели педагогического измерения. Один и тот же уровень знаний может быть получен за счет ответов на различные задания. Например, в тесте из тридцати заданий испытуемый получил десять баллов. Эти баллы скорее всего, получены за счет правильных ответов на первые десять, сравнительно легких заданий. Присущую для такого случая последовательность единиц, а затем нулей можно назвать правильной структурой подготовленности испытуемого. Если же обнаруживается противоположная картина, когда испытуемый правильно отвечает на трудные задания и неправильно - на легкие, то это противоречит логике теста и потому такой профиль знаний можно назвать инвертированным. Он встречается редко, и чаще всего, по причине ошибочности теста, в котором задания расположены с нарушениями требования возрастающей трудности. При условии, что тест сделан правильно, каждый профиль свидетельствует о структуре знаний. Эту структуру можно назвать элементарной (поскольку есть еще факторные структуры, которые выявляются с помощью методов факторного анализа).

Для определения уровня структурированности подготовленности можно использовать коэффициент Л.Гутмана, ранее неточно называвшийся мерой «надежности теста».

rg = 1 -

где rg коэффициент структурированности;.

- - сумма ошибочных элементов индивидуальных структур, подсчитываемых в векторах-строках баллов испытуемых;

- N – число испытуемых;

- k – число заданий.

Уровень знаний в значительной степени зависит от личных усилий и способностей, в то время как структура знаний заметно зависит от правильной организации учебного процесса, от индивидуализации обучения, от мастерства педагога, от объективности контроля - в общем, от всего того, чего обычно не хватает. Путь к достижению этого идеала лежит через трудности создания качественных тестов.

Разработка тестов начинается с анализа содержания преподаваемых знаний и овладения принципами формулирования тестовых заданий. К сожалению, на тесты все еще смотрят как на средство, которое легко придумать, в то время как сильная сторона тестов - их эффективность, проистекающая из теоретической и эмпирической обоснованности.