1.7. Эвалюация в образовании

Термин «эвалюация» (в англоязычной литературе – evaluation) не распространен в отечественной педагогической науке, хотя он широко используется в большинстве зарубежных стран, имеющих высокоразвитые системы управления качеством образования. Впервые этот термин появился в литературе на русском языке в 2001 г., когда авторы книги «Педагогическое образование в университете: контекстно-биографический подход» попытались проанализировать трактовку понятия «эвалюация» с опорой на работы немецких ученых и педагогов [6]. Современная трактовка этого термина в образовании не отождествляет его исключительно с процессом получения оценок, как можно решить по результату прямого перевода (evaluation – оценка, оценивание), а рассматривает его гораздо шире, считая эвалюацию интегративной категорией оценочно-аналитической деятельности в различных проектах по управлению качеством образования [10].

За рубежом научный термин «эвалюация» получил распространение в конце 60-х – начале 70-х гг. XX в. и использовался сначала при анализе результативности экспериментальной деятельности на основе изучения эмпирических данных в социальных науках. За годы существования понятие «эвалюация» приобрело различные оттенки и определения. Иногда эвалюацией называли проверку эффективности осуществленной деятельности и степени ее соответствия поставленным целям. В других случаях она рассматривалась в контексте рационально-критического осмысления социально-педагогической значимости целей образовательной деятельности и сочетала контрольные функции с критическим анализом эмпирического опыта на фоне прогнозирования тенденций развития образовательного процесса, включая разработку и обоснование процедур оценивания качества и всех его компонентов. Под эвалюацией понимали также систематическое оценивание всех аспектов обучения и воспитания, включающее совокупность методов корректировочных воздействий для повышения качества образования. Иногда ее связывали с процессом развития образовательных учреждений, дискуссиями о качестве образования, разработкой программ развития школ. В этом случае эвалюация рассматривалась как инструмент самоуправления, самоорганизации, проектирования и развития школьной жизнедеятельности. В последнем контексте данные эвалюации предоставляли учителям возможность осуществлять рефлексию профессионального поведения, школьной администрации – контролировать и анализировать деятельность образовательного учреждения, родителям – выявлять индикаторы объективного и субъективного имиджа школы, органам управления образованием – принимать обоснованные управленческие решения.

Современному пониманию этого термина наиболее адекватна трактовка, при которой в понятие «эвалюация» вкладывается весь спектр теоретико-методологических и практических работ по систематическому исследованию качества результатов и процесса образования, анализируемых на основе единой методологии, сочетания количественных и качественных методов для отслеживания характера и динамики изменений оценок по совокупности показателей качества, учета влияния факторов, в том числе находящихся вне сферы влияния системы образования.

В предлагаемой трактовке понятие «эвалюация» охватывает множество направлений систематических исследований, проводимых в рамках различных образовательных проектов и программ, эффективность реализации которых вместе с эффективностью осуществления самих оценочных процессов также подвергается многоплановому оцениванию. Таким образом, эвалюация в образовании является интегративным понятием, которое включает все направления оценочно-аналитической деятельности. Процесс эвалюации охватывает постановку целей, определение методологического подхода (как правило, с опорой на динамические методы анализа изменений характеристик обучаемых в условиях сочетания количественных и качественных методов измерения), разработку логических и математических моделей проведения процесса эвалюации, разработку дизайна исследования, выбор методов сбора и анализа информации (как правило, с преимущественным использованием аппарата педагогических измерений и статистических методов, не исключающих широкого применения качественных экспертных оценок), разработку инструментария, сбор эмпирической информации, обработку, анализ и интерпретацию данных эвалюации для принятия управленческих решений в целях повышения качества образования. Таким образом, эвалюация понимается как спектр различных направлений анализа процесса и результатов образования, обеспечивающий по совокупности научно-обоснованные решения для управления его качеством.

Хотя методологические основы эвалюации в наше время строятся на сочетании количественных и качественных методов, тем не менее центральное место в научном аппарате отводится теории педагогических измерений, поскольку качественные данные также подлежат анализу для выявления их надежности и валидности, а инструментарий разрабатывается с применением математико-статистических методов.

Так как эвалюация сформировалась на стыке педагогики, психологии, экономики, менеджмента и других наук, то ее теория носит явный междисциплинарный характер. Применение количественных методов в эвалюации требует использования математики, статистики, дисперсионного, факторного анализа и метаанализа и т.д. Теория управления качеством образования привносит синергетический и процессный подходы к анализу эмпирических данных в эвалюации. При использовании качественных методов сбора информации привлекаются эксперты, применяются анкеты и интервью. Теория генерализации, используемая в эвалюации для анализа точности данных на различных уровнях применения, непосредственно смыкается с теорией решений, относящейся к сфере менеджмента. Интерпретация данных эвалюации и постановка проблем предполагает обращение к аппарату педагогики и психологии. Оценивание эффективности деятельности образовательных учреждений обычно включает анализ соотношения финансовых затрат на образование и их отдачи, поэтому при рассмотрении вложений и реализации средств используются различные стоимостные модели и количественные методы анализа социально-экономических объектов. Связь эвалюации с менеджментом качества образования неизбежно влечет за собой применение стандартов качества ИСО 9000 и EQUIS.

Эти тенденции и направления деятельности нашли свое отражение во многих странах с высокоразвитыми системами образования. В США, Канаде созданы ассоциации оценщиков: American Evaluation Association (AEA) и Canadian Evaluation Society (CES), объединяющие педагогов, управленцев и других работников социальной сферы из разных стран мира. Проводятся ежегодные конференции по эвалюации, издается научная литература, энциклопедии и журналы по проблемам эвалюации в образовании, политике, медицине и т.д. Эвалюация является необходимым слагаемым современных образовательных систем, без которого нельзя решить многие современные проблемы образования. Она обеспечивает информацию о соответствии результатов обучения образовательным целям, позволяет прогнозировать различные, в том числе негативные, последствия модернизации программ обучения или образовательных инновационных проектов, которые могут оказывать различное влияние на качество образования.

Теоретики выделяют два уровня проведения эвалюации, охватывающие реализацию программ образовательных исследований, или модернизации образования и отдельные проекты. Под программой понимается единый скоординированный научный подход к исследованию области образования, включающий различные частные проекты, связанный с миссией учебного заведения и базирующийся на общей методологии выполнения исследовательских работ. Проекты нацелены на специфические исследования в образовании, входящие в программу и обеспечивающие в совокупности реализацию программных целей. Поэтому за рубежом в управлении качеством образования нередко используются термины «программная эвалюация» и «проектная эвалюация».

Применительно к уровню отдельного образовательного учреждения обычно говорят о формирующей (formative) и итоговой (summative) эвалюации. Цель первой состоит в оценке и анализе входных и текущих данных процесса обучения, включая информацию о соответствии хода образовательных проектов плановым характеристикам для информационно-аналитической поддержки оперативных административных решений. Данные формирующей эвалюации бывают направлены, главным образом, на повышение эффективности работы преподавателей с наиболее слабыми, неуспевающими студентами или учениками, нуждающимися в индивидуальных программах обучения. Наряду с тестами, в формирующей эвалюации широко используется инструментарий для сбора качественных данных. Итоговая эвалюация нацелена на оценку качества достигнутых результатов образования в рамках полностью осуществленных проектов и предназначается для принятия стратегических управленческих решений в образовании. Поэтому при проведении итоговой эвалюации ужесточаются требования к надежности, валидности и сопоставимости информации о качестве образования, что достигается обеспечением репрезентативности выборки обучаемых, высокого качества измерителей, используемых при сборе данных, приоритет среди которых отдается стандартизованным тестам.

Процессы итоговой и формирующей эвалюации проходят определенные этапы. К ним обычно относят шесть стадий:

1) построение концептуальной модели исследования в рамках программы или проекта;

2) идентификацию ключевых пунктов процесса эвалюации;

3) определение измеримых результатов эвалюации;

4) разработку модели проведения эвалюации;

5) сбор данных путем проведения измерений, анализ данных измерения;

6) интерпретация данных анализа для получения оперативной и прогностической информации об изменениях в качестве образования.

При отсутствии одной из стадий, каждая из которых является очень важной для получения надежной и валидной информации о качестве образования и путях его повышения, эвалюация не будет вносить существенный вклад в принятие обоснованных управленческих решений в образовании.

В основе эвалюации должна лежать концептуальная логическая модель, которая охватывает все этапы и устанавливает связи между ними, включая описание процессов взаимодействия компонентов эвалюации и планируемые формы представления данных в области краткосрочных и долгосрочных результатов. Типичная модель строится в рамках процессного подхода к управлению этапами эвалюации и имеет структуру, представленную на рис. 1.13.

Рис. 1.13. Общий вид модели эвалюации

В развернутом виде модель включает проект выполнения работ, являющийся частью общей программы исследований в образовании и содержащий постановку приоритетных задач управления качеством образования, характеристики входных данных эвалюации, описание различных источников финансирования, информационных и ресурсных потоков, обеспечивающих поддержку проекта. Помимо этого, в нее входит описание методологических основ измерения, инструментария, данных мониторинга, технологий сбора данных о качестве образования и требования к процессам сбора данных вместе с характеристиками подходов к обработке, анализу и интерпретации данных о качестве образования. Завершающая часть модели предназначается для описания выходных данных, подразделяющихся в соответствии с оперативными и стратегическими задачами управления качеством образования. В целом логическая модель идентифицирует все составляющие и показывает связи между процессами, протекающими при эвалюации.

Область результатов эвалюации оперативного характера должна охватывать рекомендации по совершенствованию образовательных программ, оптимизации методик преподавания, развитию системы повышения квалификации преподавательского состава учебных заведений и т.д. Стратегические результаты эвалюации включают рекомендации по тем изменениям в образовании, которые носят долгосрочный характер и рассчитаны на ближайшие годы. К ним могут относиться проекты по инновациям, модернизации учебных планов и программ, влекущие за собой изменения в статусе или структуре учебных заведений и т.д. В соответствии с современными взглядами многие команды управленцев в образовании предпочитают преимущественную ориентацию на долгосрочные результаты, связанные с задачами стратегического управления. Особенностью такого подхода является движение сверху вниз, когда конкретные количественные, реже качественные, но однозначно интерпретируемые показатели стратегического характера выступают в роли целевых критериев реализации данных эвалюации при принятии оперативных управленческих решений.

Возможность эффективного осуществления процесса эвалюации тесно связана с проблемой измеримости показателей качества образования, поскольку при оценивании изменений качества процесса и результатов образования необходимо обращение к теории педагогических измерений для обеспечения высокой надежности и валидности результатов оценки. Кроме слабой операционализируемости показателей качества, на достоверность данных эвалюации может негативно влиять отсутствие должной мотивации участников этого процесса, недостаточная репрезентативность выборки учащихся, недоработки по обеспечению логической корректности заданий, слабая устойчивость оценочных шкал, препятствующая сопоставлению результатов оценочных процессов, отсутствие условий для независимой работы экспертов при проверке результатов выполнения тестов с развернутыми ответами или других оценочных средств и т.д.

Можно считать, что становление и развитие эвалюации в образовании в наши дни – неизбежное следствие современных глобальных перемен XXI в., когда функции, методы процедуры и технологии менеджмента широко внедряются в различные направления профессиональной деятельности, в том числе и в образование. Современная парадигма теории управления, включающая системный подход, стратегическое управление, управление развитием социально-экономических систем, мониторинг и бенчмаркинг, во всем мире постепенно входит в образование, позволяя управлять нововведениями, качеством образования, оценивать риски принятия управленческих решений, эффективно распределять человеческие ресурсы и внедрять новые информационные технологии в образование.