3.6. Основные этапы разработки аттестационных измерителей

В общем случае в процессе планирования при разработке измерителей важно идентифицировать:

     • цель измерения, связав ее с функциями контроля и областью применения результатов измерения;

     • порции и временные интервалы применения;

     • содержание измерителей (предметное описание содержания, планируемые к проверке умения и виды деятельности).

Если в качестве измерителя выбран тест для итоговой аттестации, то в начале работы над тестом необходимо:

     • подход к созданию теста и интерпретации результатов измерения (нормативно-ориентированный, критериально-ориентированный или смешанный);

     • виды шкал тестовых баллов или других результатов измерения с детальным описанием правил оценивания отдельных заданий;

     • представительные выборки студентов или выпускников, стратифицированные в соответствии с основными факторами;

     • инструкции по выполнению теста (краткую и развернутую), инструкции для экзаменаторов и инструкции по проверке в том случае, если привлекаются эксперты;

     • время выполнения теста или временные промежутки, если есть субтесты.

Если основная цель тестирования – итоговая аттестация, то создается стандартизованный итоговый тест, обеспечивающий высокую точность измерений, поскольку его результаты используются для принятия административных решений. Поэтому при разработке аттестационного теста необходимо выполнить все указанные ниже этапы в полном объеме и провести несколько апробаций на репрезентативных выборках выпускников учебного заведения. В частности, необходимо:

     • определить подход к созданию аттестационного теста (нормативно– или критериально-ориентированный);

     • провести анализ содержания учебной дисциплины, определить степень полноты, необходимую для репрезентативного отображения требований ФГОС в тесте;

     • определить структуру теста и стратегию расположения заданий;

     • разработать спецификацию теста, осуществить априорный выбор длины теста, форм его заданий и времени его выполнения;

     • создать задания в каждой из выбранных тестовых форм;

     • отобрать задания в тест и ранжировать их согласно выбранной стратегии предъявления на основании априорных авторских оценок трудности заданий;

     • провести экспертный анализ качества содержания заданий и теста;

     • провести экспертизу формы предтестовых заданий;

     • переработать содержание и формы заданий по результатам экспертизы;

     • сформировать выборку для апробационного тестирования;

     • разработать инструкции для студентов и преподавателей, проводящих апробацию теста;

     • провести апробационное тестирование для сбора эмпирических результатов;

     • провести статистическую обработку результатов апробации;

     • выполнить интерпретацию результатов обработки и наметить пути коррекции теста;

     • провести чистку теста и добавить новые задания для улучшения характеристик теста (оптимизации трудности заданий, повышения их валидности, улучшения системообразующих свойств заданий, повышения надежности и валидности теста);

     • повторить этап апробации для доказательства достигнутого повышения качества теста (неоднократно, если в этом есть потребность);

     • установить нормы выполнения теста и построить шкалу или шкалы для оценки результатов испытуемых.

Возникает своеобразный цикл, так как после чистки теста разработчику приходится возвращаться к этапу сбора эмпирических данных. Как правило, стандартизованные тесты, используемые в образовании для принятия ответственных управленческих решений, проходят не менее 3–4 апробаций, результаты которых позволяют получить устойчивую стандартную шкалу тестовых баллов. Немалое значение для обеспечения высокой точности и валидности измерений имеет представительность выборки испытуемых, используемой при апробации теста. Успех создания теста во многом зависит от высокого качества начального тестового материала, которое обеспечивается правильным отбором проверяемого содержания и умением разработчика корректно отобразить его в заданиях теста. Крайне важен этап обработки эмпирических результатов тестирования, для выполнения которого необходимы специальные программные средства для профессиональной разработки тестов (ConQuest, Testan и др.) [41].