4.4. Экспертиза качества содержания аттестационных тестов

Оценка качества содержания теста должна проводиться по определенной методике независимыми экспертами, не участвовавшими в разработке теста. Как правило, число экспертов составляет не менее трех человек по каждому тесту.

Методика экспертизы качества содержания теста обычно включает три раздела, которые выстраивают сообразно трем направлениям работы экспертов. Перед началом работы каждый эксперт должен ознакомиться со спецификацией рецензируемого теста, содержащей пояснения по его структуре и планируемому к проверке содержанию. Один из вариантов подобных методик для оценки качества содержания аттестационного теста приводится далее.

Работа экспертов по первому направлению заключается в анализе качества содержания отдельных заданий теста. При работе по первому направлению вначале эксперт сам выполняет весь тест, сопоставляя полученные правильные ответы с ключом ответов автора для заданий с выбором ответа и анализируя оценочные категории, представленные автором к заданиям со свободно конструируемым ответом.

В процессе выполнения заданий возможны случаи появления неоднозначности, когда на месте планируемого единственного ответа могут возникнуть дополнительные, частично правильные ответы.

Эксперту необходимо также определить уровень базовости содержания каждого задания, который в определенной степени является субъективной оценкой его трудности. Дифференциация заданий по уровням позволяет разделить их на три группы: базовые, повышенной трудности и наиболее трудные.

Эксперт оценивает уровень значимости содержания каждого задания теста и ожидаемое время его выполнения студентами со средним уровнем подготовленности, выявляет логически некорректные задания, где, помимо правильного, возникают частично правильные ответы. В процессе экспертизы особенно важно выявить случаи отсутствия четкого логического выделения одного предмета измерения. Для достижения логической четкости в каждом задании следует спросить только о чем-либо одном. Часто встречающиеся попытки проверить сразу несколько аспектов подготовленности и ввести несколько величин в ответы, как правило, отрицательно сказываются на качестве заданий и всего теста.

Необходимо также попросить эксперта охарактеризовать качество формулировок содержательной основы заданий теста, отметить в случае необходимости лексическую избыточность формулировок, охарактеризовать качество представления графической информации и других компонентов заданий. При экспертизе следует помнить о том, что тестовые задания должны быть сформулированы предельно четко, точно, лаконично и корректно с точки зрения общепринятой в учебном предмете терминологии и символики предмета.

Второе направление работы эксперта связано с анализом качества содержания всего теста. При выполнении работ по второму направлению следует оценить полноту охвата требований ФГОС в тесте, правильность пропорций содержания теста и их соответствия спецификации теста. Зачастую при разработке теста возможно смещение пропорций, так как тест легко перенасытить теми разделами содержания, по которым легче составить задания. Например, в рамках гуманитарного цикла дисциплин легко разрабатывать задания на выявление фактологических знаний, и потому они нередко преобладают в отдельных тестах.

Третье направление работы эксперта рассчитано на подготовку обобщающих выводов и рекомендаций по улучшению содержания теста. В третьем разделе рецензии эксперт приводит свое общее впечатление о содержании теста. Здесь должны быть высказаны все сомнения и пожелания эксперта, его рекомендации по улучшению содержания. Возможна оценка соотношения заданий, проверяющих знание теории предмета и его практики. Желательно выявить задания, предназначенные для проверки системы понятий, а также заданий интегрального характера, предназначенных для проверки умений учащихся обобщать знания по различным разделам предмета, заданий с межпредметными компонентами и т.д.