5.3. Оценивание подготовленности и личностных характеристик школьников

В современных условиях увеличивается необходимость оценивания как подготовленности учащихся, так и ряда характеристик, определяющих степень их личностного развития: креативности, сформированности общеучебных и ключевых компетенций, опыта творческой деятельности, опыта осуществления эмоционально–ценностных отношений, опыта практической и творческой деятельности, природных способностей и профессиональной предрасположенности.

Однако многие из этих характеристик невозможно выявить по ряду причин не только практически, но и теоретически, нет надежных измерителей даже для измерения знаний, тем более креативности, компетенций, потенциальных возможностей, навыков творчества и других способностей. Тем не менее в настоящее время по итогам тестирования количественные оценки учебных достижений, по крайней мере качественно, уже позволяют описывать и некоторые другие характеристики обучающихся, такие, как: гибкость мышления, осознанность, упорство, собранность, целеустремленность, усидчивость, мобилизация на достижение результата, развитие компетенций, навыки самоорганизации, целеполагание при обучении и аттестации.

Начиная с 90–х годов XX в. в системе оценки качества подготовленности обучаемых и их личностных характеристик наметились изменения. Отечественными и зарубежными учеными и практиками были предложены новые методы. Естественно, что каждый из них имеет ряд достоинств и недостатков, преодоление которых побуждает находить все новые и новые подходы к оцениванию.

1. Метод оценки индекса структурированности знаний (Method S—P lines) был предложен в 1974 г. [241]. Он позволяет не только выявлять уровень подготовки обучаемых, но и анализировать структуру их знаний. Все задания в тесте ранжированы по нарастанию трудности, а по содержанию и порядку расположения полностью воспроизводят структуру обучения. Выводы о качестве подготовки учащихся получаются довольно просто: чем меньше пробелов в ответах обучаемого на задания теста, тем лучше структура его знаний и качество подготовки по предмету. Степень отклонения индивидуальной структуры знаний от планируемой педагогом определяется подсчетом специального индекса структурированности знаний. Идеальный результат, без пробелов, имеет значение индекса, равное нулю, а при стремлении индекса к единице возникают сомнения в структурированности и качестве знаний обучаемого.

Такого рода тесты эффективны при аттестации учебных заведений, когда речь идет о работе преподавателей. При этом, хотя уровень подготовленности сильно зависит от прилежания учащихся, структура их знаний заметно отражает особенности организации учебного процесса.

Однако как раз по этому вопросу и возникают споры между представителями разных научных школ. Некоторые из них считают, что суждение о качестве учебных достижений как о результате обучения некорректно, так как, с их точки зрения, представление о нем должно ассоциироваться с внутренним состоянием обучающегося на момент его аттестации, в то время как результаты обучения оцениваются по внешним признакам, во внешних наблюдениях и результатах учебного процесса. Именно такой подход долгое время препятствовал развитию тестового контроля знаний.

2. К числу новых форм можно отнести аутентичную оценку учебных достижений (Authentic assessment). Данная форма была впервые предложена в 1988 г. Archibald и Newmann [235]. Она имеет две основные особенности: во–первых, при аутентичной оценке по результатам выполнения контрольной работы делается вывод об уровне овладения учащимся учебным материалом на основе специальным образом разработанных критериальных заданий; во–вторых, учащимся предлагаются такие задания, которые могут вызвать у них интерес и представляют для них определенное смысловое значение. При таком контроле тесты составляются из большого числа критериальных заданий, вызывающих познавательный интерес у испытуемых. Время работы над тестом не ограничивается, а по результатам выполнения таких тестов делается вывод об уровне владения учебным материалом по данной дисциплине на основе специально разработанных методов оценок [228].

3. В 1990 г. была разработана «уравновешенная» оценка учебных достижений, позволяющая оценить умения высокого уровня. Основной идеей является использование математических методов оценки уровня подготовленности и интеллектуальных способностей испытуемых по специально разработанным тестам, включающим характеристики содержания (соответствия учебным программам или содержательную валидность), включающим несколько уровней познавательной деятельности обучаемых (планируются в спецификации теста) и обеспеченных соответствующей техникой измерения (технологичность заданий для автоматизированной обработки результатов) [197].

4. Следует также кратко затронуть более ранние математические модели, основанные на так называемой таксономии целей Б. Блума (B. Bloom) [232]. Концепция таксономии предполагала постановку целей образования относительно трех сфер психики: когнитивной, аффективной и психомоторной – путем создания содержательно–деятельностных матриц. В когнитивной сфере последовательно целями образования выделялись: формирование знания, понимания, способностей применения, анализ, синтез и оценка. В когнитивной сфере таксономия необходима для концентрации усилий на главном, обеспечения гласности достижений в совместной работе учителей и учащихся, для создания эталонов оценки результатов обучения. Таксономия позволяет конкретизировать цели учебных программ, но она не выходит за пределы традиционной схемы образования и контроля, ориентированных на передачу знаний, умений и навыков, не отражает современные достижения в области психологии обучения. Тесты, построенные по этой модели, обеспечивают высокое соответствие их содержания учебным программам, но не позволяют выявлять уровень мыслительной деятельности испытуемых.

5. К числу новыгх форм измерителей относятся те, которые разрабатываются для оценки практической деятельности учащихся и позволяют стандартизировать процедуру оценки результатов контроля [229, 230, 234, 235]. В отдельных случаях, требующих проверки творческих способностей и выявления опыта общеучебной деятельности, уровень учебных достижений обучающихся можно выявлять различными средствами и способами контроля: при помощи заданий–эссе, предполагающих свободное конструирования ответа и позволяющих получать развернутый ответ, заданий в виде лабораторных работ или иных практических заданий, результатом выполнения которых является получение конечного материального продукта; выполнением специальным образом подобранных творческих заданий.

6. Новые цели образования потребовали разработки новых систем измерения и оценки учебных достижений. Эти цели предполагают перенесение центра тяжести учебного процесса с формирования алгоритмов деятельности на развитие логического мышления учащихся, коммуникативности, развитие умений решать проблемы различного содержания, следовательно, и формы оценивания знаний и умений должны соответствовать технологиям обучения. Зарубежные исследователи пошли по этому пути, создав теорию параметрических методов педагогических измерений Item Response Theory – IRT ( теория конструирования и параметризации тестов). IRT является психолого – педагогическим вариантом более общей теории латентно–структурного анализа LSA (Latent Structure Analyses), в методологических подходах которой проявились и развились методы и модели IRT, получившие первоначально свое развитие в лабораториях военных ведомств США для отбора специалистов, а затем в системах оценки качества обучения и психологических исследованиях личностных характеристик [197].

7. В современных условиях непрерывно усиливается необходимость оценивания характеристик, комплексно определяющих степень личностного развития: креативность, сформированность общеучебных и ключевых компетенций, опыт практической и творческой деятельности, осуществление эмоционально–ценностных отношений, природные способности, профессиональную предрасположенность и др. Однако не только практически, но и теоретически все это количественно измерить пока невозможно по ряду причин: нет надежных измерителей даже для измерения знаний, тем более креативности, компетенций, потенциальных возможностей, навыков творчества и других способностей.

Тем не менее в результате широкого внедрения с начала 90–х годов контрольных измерительных материалов появились инновационные формы оценивания и формы накопления информации – портфолио, значительно расширяющие возможности по оценке деятельности учащегося [25]. Появление портфолио в первую очередь вызвано тем, что противники тестового контроля апеллируют к случайности и необоснованности одноразовой тестовой оценки. Действительно, на протяжении процесса обучения существует достаточно много возможностей для проявления позитивных качеств личности, которые не могут быть выявлены в процессе только итогового тестирования (к примеру, ЕГЭ).

Однако по итогам тестирования количественные оценки уровня учебных достижений позволяют косвенно оценивать степень личностного развития и некоторые другие характеристики обучающихся, такие, как опыт познавательной деятельности, опыт творческой деятельности, опыт осуществления эмоционально–ценностных отношений, наличие общеобразовательных компетенций; сформированность личностных качеств, таких, как усидчивость, собранность, гибкость мышления, осознанность, упорство, собранность, целеустремленность, мобилизация на достижение результата, развитие компетенций и ценностной ориентации, навыки самоорганизации, потребности самоконтроля и самоподготовки, целеполагание при обучении и аттестации, умение мобилизоваться на достижение планируемого результата, общеобразовательных компетенций как совокупности смысловых ориентаций, знаний, умений, навыков и опыта деятельности ученика. Стремление к объективному оцениванию подготовленности обучающихся и их личностных качеств привела к пониманию того, что одноразовые педагогические измерения, даже очень высокой точности и надежности, не могут дать полного представления об их способности и готовности к дальнейшему обучению. Отсюда возникает вопрос о разработке индивидуальной накопительной (интегральной) оценки, индивидуального профиля учебных достижений или, заимствуя распространенный в мире англоязычный термин, портфолио.

Для объективизации оценок уровня подготовленности выпускников и выявления их прогностических возможностей наметился переход к динамическим оценкам, характеризующим процесс усвоения знаний на протяжении определенного отрезка времени и позволяющим формировать образовательную информацию об учащемся. В этой связи появилась идея оценивания достижений учащегося с позиции творчества, его способностей к самостоятельной поисковой деятельности, выполнению учебных проектов, самостоятельного нахождения нового как в методике решения задач, так и в учебной информации, участия в олимпиадах и др. Таким образом, портфолио – это научно обоснованная накопительная система, сочетающая в оптимальных пропорциях оценки тестового и традиционного контроля, количественные и качественные характеристики обучающихся для более полного отображения подготовленности и прогностических возможностей личности.

Согласно исследованиям Р. Паулсон и К. Мейер, портфолио отличается от традиционных методов тем, что обеспечивает учителя обоснованной информацией о процессе и результатах деятельности учащегося в режиме самостоятельной работы, совершенствовании его креативных способностей и умений получать собственные оценочные суждения о результатах своей деятельности [194]. Основное преимущество портфолио по сравнению с традиционными тестами состоит в том, что оно характеризует качество обучения многопланово и многомерно, с разных позиций: оценки мыслительной деятельности учащегося, его междисциплинарных умений, умений постановки проблем, решения нестандартных задач, понимания учебных предметов и овладения соответствующими навыками, упорства в достижении результата и др. Система независимого тестирования усиливает ва–лидность результатов аттестации обучающихся, задает структуру количественных показателей портфолио и создает условия для доверия пользователей к его содержанию.

На сегодняшний день выделяют несколько видов портфолио. Процессуальный портфолио применяется для отслеживания и итогового оценивания результатов учебной деятельности учащегося, в которой отражены полученные им междисциплинарные знания, умения и навыки, приобретенные на базовом и повышенном уровнях изучения отдельных предметов. Визуализируемый портфолио применяется для подтверждения и оценки компетенций учащегося по самым ключевым вопросам, в него включаются самые лучшие завершенные работы ученика, выбранные совместно учащимся и учителем. Портфолио позволяет более полно оценивать различные умения и навыки учащихся, их активность в учебном процессе, участие в олимпиадах и конкурсах, профессиональную ориентацию и склонность к выбору будущей профессии.

В портфолио оценка фокусируется на самостоятельной работе учащихся и включает определение уровня базовых и ключевых знаний, межпредметных умений, опыта учебной деятельности, учебных компетенций, уровня мотивации к обучению и ценностно–смыслового отношения к учебе.

Характеризуя портфолио в целом, можно отметить, что он базируется на четко установленных критериях оценки, наиболее существенных для дальнейшего обучения. Как правило, портфо–лио содержит выборку основных работ за определенный период обучения, подтвержденных документально (сертификаты, свидетельства, грамоты, гранты), и результаты итогового контроля по завершении рассматриваемого периода обучения. Результаты выполнения работ оцениваются широким спектром контрольно–измерительных материалов и сводятся к интегральной оценке. В портфолио входят также качественные оценочные характеристики, выданные учащемуся его сверстниками, учителями и родителями. Возможны варианты определения максимального общего балла портфолио или его возможного удельного веса в суммарном образовательном рейтинге учащегося, а также порядка его исчисления. Итоговая оценка портфолио может определяться максимальным баллом какой–либо одной его составляющей или быть интегральной величиной.

Всесторонний и объективный мониторинг учебных достижений, обеспечиваемый с помощью портфолио, открывает совершенно новые возможности аттестации выпускников и конкурсного отбора лучших из них для продолжения обучения на более высокой ступени. Задача, связанная с профориентацией, решается особенно сложно при дифференциации выпускников основной школы для перевода на так называемую профильную ступень обучения. Здесь возникают сложности различного рода, связанные с отсутствием современного инструментария.

С одной стороны, ощущается потребность в проведении проф–ориентационной работы с помощью специальных психологических тестов, практически отсутствующих на настоящий момент в нашей стране. С другой стороны, необходимы междисциплинарные педагогические тесты для осуществления конкурсного отбора в профильные классы. По–видимому, в будущем, по мере создания эффективной системы тестирования, и профориентация будет проводиться на должном уровне соответствующими средствами и методами профориентационного тестирования. Пока же эти вопросы остаются открытыми и решаются каждым образовательным учреждением в индивидуальном порядке.

В рекомендациях директорам школ, руководителям региональных и муниципальных управлений образованием «Цели, содержание и организация предпрофильной подготовки в выпускных классах основной школы» (Москва, 2003) указывается, что «важным нововведением, следующим из концепции профильного обучения, становятся упорядочение и перевод на более объективную, справедливую и прозрачную для общества основу вопросов приема в профильные школы и классы». Такой основой является переход от одноразовых оценок к портфолио – накопительной системе оценивания. Как показывает зарубежный опыт, всесторонний и динамический способ мониторинга качественных и количественных оценок за определенный период обучения по одной или разным предметным областям позволяет более обоснованно прогнозировать перспективы обучения. В рекомендациях по построению моделей портфолио выпускников основной школы отмечается, что результаты экзаменов, проводимых на объективной, «внешней» основе, должны стать важнейшей составляющей итоговой аттестации. Однако внешние оценки не должны быть единственными. Ибо очевидно, что нельзя пренебрегать и иными реальными образовательными достижениями ученика, полученными им в иных, не экзаменационных формах. Тем более если речь идет о выявлении объективных оснований выбора профиля обучения в ближайшем будущем.

Идея портфолио как совокупности (портфеля) сертифицированных (документированных) индивидуальных учебных достижений, выполняющей роль индивидуальной накопительной оценки и, наряду с результатами экзаменов, определяющей образовательный рейтинг выпускников основной школы, открывает новые прогностические возможности. Однако для реализации такого подхода необходимы создание структур, механизмов и критериев для построения портфолио, разработка и апробация различных моделей портфолио, методов анализа и оценки его составляющих в соответствии с целями оценивания. Требуется разработать варианты ранжирования и сертифицирования материалов, составляющих портфолио, установить критерии их оценки, а также сроки, в течение которых индивидуальные учебные достижения являются актуальными и подлежат накоплению в портфолио, установить требования и нормы, регулирующие построение и действие портфолио, которые являются обязательными для образовательных учреждений. Все это должно обеспечить организационную и содержательную целостность двух составляющих образовательного рейтинга: итоговой аттестации и индивидуальной накопительной оценки.

Пока еще только предлагаются различные варианты портфо–лио, позволяющие документировать оценки. По мнению создателей портфолио, нижний уровень достижений, учитываемых портфолио, может быть школьным или межшкольным в том случае, если проводятся внешняя экспертиза и сертифицирование результатов, достигнутых внутри школы или на межшкольных мероприятиях. Для образовательных сетей большого города и для сельских районов пороговым уровнем может быть принят уровень районных олимпиад, в малом городе – уровень городских олимпиад. Все достижения, показанные учащимся на уровне выше муниципального, могут давать право быть зачисленным на избранный профиль муниципального образовательного учреждения вне конкурса. В любом случае при ранжировании отсчет ведется от достижений самого высокого уровня внутри сети.

Наряду с независимыми (внешними) оценками – дипломами олимпиад и конкурсов – могут учитываться сертификаты, полученные в учреждениях дополнительного образования, свидетельства о прохождении определенных курсов (иностранного языка, информационных технологий и др.), а оценивают их, приводя «к общему знаменателю», в соответствии с установленными критериями. При этом приоритетными являются профильные достижения, т.е. результаты, достигнутые в тех предметных областях, по которым учащийся сдает экзамены по выбору, или смежных с ними.

Важно также определить срок актуальности учебных достижений, в течение которого они накапливаются в портфолио: последнего учебного года, двух лет или длительного срока обучения на основной ступени. Возможны разные варианты учета оценок портфолио при переходе на следующую ступень обучения:

• результат портфолио включается в суммарный образовательный рейтинг, и зачисление ведется по рейтингу;

• учитываются только при прочих равных условиях (относительно результатов экзаменов) в ситуации возникновения конкурса;

• выступают приоритетным показателем (в случае равенства рейтингов у двух поступающих на старшую ступень).

Вероятно, оценки независимого тестирования и ЕГЭ найдут свое место в портфолио. Однако здесь очень важной составляющей являются интерпретация результатов тестирования и приведение их в сопоставимый вид с другими оценками. Пока сама идея и различные модели портфолио только разрабатываются, планируются и закладываются на уровне апробации, поэтому педагогическое сообщество может и должно активно участвовать в этом процессе.

Такие данные можно использовать в качестве статистической нормы. Для объективизации выводов и заключений педагогический анализ результатов контроля следует проводить в сравнении с данными генеральной выборки (учащиеся страны, региона или крупного города). В этом случае при выявлении причин успехов или неудач образовательной деятельности обеспечивается большая объективность выводов, заключений и принимаемых решений.

В рамках системного подхода к созданию условий для обучения и развития личности контрольно–оценочный процесс и образовательный мониторинг по его результатам должны рассматриваться в контексте других сопутствующих действий, предполагающих постановку и решение комплекса задач по обеспечению высокой объективности результатов тестирования, среди которых можно выделить наиболее важные:

• обучение с использованием тестовых технологий для достижения планируемых результатов в условиях внешней контрольно–оценочной системы;

• создание независимой системы объективного оценивания качества подготовленности обучающихся, адекватной целям и задачам обучения;

• создание системы показателей и критериев независимой оценки качества образовательного процесса и образовательных систем с помощью статистического анализа индивидуальных учебных достижений;

• обоснование и оптимизацию в учебном процессе традиционного контроля и обучающего тестирования;

• создание новых моделей педагогических измерений с включением заданий для проверки творческих способностей и практико–ориентированных навыков;

• разработку и широкое использование в учебной практике адаптивного тестирования;

• научное обоснование системы самоконтроля и самоподготовки на основе психолого–педагогических исследований отечественных ученых об индивидуализации обучения, лич–ностно ориентированном и развивающем образовании;

• обеспечение корректного многофакторного анализа эмпирических результатов массового тестирования;

• использование в образовательной и контрольно–оценочной деятельности педагогов современных информационных технологий для повышения эффективности педагогического труда и снижения психологических нагрузок.

Это значит, что сама концепция оценки качества образования начинает претерпевать заметные изменения, впредь она будет затрагивать не только учащихся и их достижения, но также педагогов, образовательные учреждения и всю систему образования в целом. В последнее время уже наметилась тенденция использования результатов массового тестирования для аттестации школ и учителей, что является позитивным направлением. Однако это требует разработки соответствующих методик оценки качества образовательного процесса, а одноразовые оценки тестового контроля не могут быть единственными для заключений и выводов о качестве образовательных учреждений, подготовленности испытуемых и квалификации учителей даже по когнитивной составляющей проверок. В таких условиях вопросы, связанные с повышением эффективности использования материалов, технологий и результатов массового тестирования для оценки учебных достижений и большого спектра личностных характеристик обучающихся, качества образовательного процесса, образовательных систем и управления образованием, становятся особенно важными.