Защо "рекордните" резултати от матурите не показват дали учениците учат по-добре

Ден след като Министерството на образованието обяви тазгодишните матури за най-успешните от въвеждането им през 2008 г., експерт по образователни измервания постави под съмнение самото основание за подобно твърдение. Според Асенка Христова, изпълнителен директор на Института за изследвания в образованието, сегашният формат на изпитите не позволява да се установи дали резултатите на зрелостниците действително се подобряват с годините, а по-високите оценки може да се дължат и на други фактори – като по-лек тест, адаптация към формата на изпита или промени в профила на явяващите се ученици.

Според заместник-министъра на образованието и науката д-р Таня Панчева "имаме основание да говорим за обща тенденция за повишаване на резултатите, а не за единични постижения". Асенка Христова пък смята, че "Министерство на образованието и науката би трябвало добре да разбира разликата между желанието нещо да е вярно и способността да го докажеш".

По думите на Христова точната формулировка на съобщението с обобщените данни за средния успех на зрелостниците на матурата по "Български език и литература" следва да бъде:

"Средният резултат на ДЗИ по БЕЛ тази година е 60 точки. Дали това е повече, по-малко или колкото миналата година, не можем да кажем".

Христова изтъква в своя публикация във фейсбук, че няма основание да се твърди, че тазгодишният резултат е рекорден "и това е ясно на всеки, който поне малко разбира от тестология и образователни измервания".

"Рекорд" има смисъл само ако уредът, с който мерим, е един и същ през годините. Или ако разликите между уредите са измерени и коригирани. За ДЗИ (и НВО) не е изпълнено нито едното", подчертава тя.

Христова има дългогодишен опит в провеждането на социално-икономически и образователни изследвания и смята, че всяка година държавният зрелостен изпитът е нов тест с нови задачи, а два теста никога не са еднакво трудни - нито по замисъл, нито по случайност.

По думите ѝ именно това е причината в образователните измервания да съществува цяла технология за приравняване на формите. Става дума за секретни задачи-котви, повтаряни между годините; предварително калибрирани задачи; статистически модели, които поставят резултатите от различни години върху обща скала; и публичен технически доклад, който показва как е направено това и с каква грешка.

"За българските ДЗИ и НВО нищо подобно не е публикувано никога, а самата конструкция на изпита го изключва. Всички задачи се разсекретяват веднага след провеждането, резултатите се отчитат в сурови точки, прагът е фиксиран на 30% независимо от трудността", пише Христова.

Тя припомня, че през 2022 г. ОИСР направи подробен преглед на системата за оценяване в България и написа, че България няма национален инструмент, който да проследява образователните резултати във времето.

Според изпълнителния директор на Института за изследвания в образованието има много фактори извън ефективността на взетите образователни мерки, които биха могли да предпоставят по-високия резултат:

• По-лек тест;
• По-позната конструкция (учители и ученици се адаптират към формат, който е стабилен пета поредна година);
• Променен състав на явяващите се (демографията, делът на професионалните гимназии и отпадането преди XII клас променят популацията, чиято средна стойност се отчита);
• Ефектите на оценяващите при отворените задачи (в България данни за съгласуваност между оценителите никога не са публикувани);
• Таванен ефект (когато "рекорден" брой зрелостници попадат в горния край на скалата, средната стойност губи способността да различава).

"Впрочем, ОИСР отбеляза още през 2022 г., че големите дялове "отличен" обезценяват изпита и правят резултатите по-малко информативни. Обаче ние сега се хвалим, че "броят на зрелостниците с оценка поне 5.50 се увеличава с близо 42% спрямо миналата година", твърди експертката.

По думите ѝ това, че ръстът е по всички предмети и във всички области, не променя нищо, защото ширината на един ефект не идентифицира причината му:

"Системно облекчаване, адаптация към формата и натиск към високи оценки също действат навсякъде едновременно. Точно хората с опит в образователната сфера трябва да разпознават добре това".

Изводът на Христова е, че при сегашната конструкция на изпита никой, включително МОН, не може да знае дали резултатите са се подобрили.

"За да е възможно приравняване на резултати през годините, трябва друг дизайн на изпит със секретни задачи – котви, предварително калибрирани задачи и публикуван технически доклад с метода, параметрите и грешката на свързването. Без това "60 срещу 57,53 точки" сравнява несравними величини", смята тя.

Директорката на Института за изследвания в образованието казва, че през периода 2008–2026 г. има смяна на учебните програми и формата на ДЗИ, затова, за да се обяви "рекорд от 2008 г." е нужно двата формата на изпита да бъдат проведени паралелно върху съпоставими групи ученици, за да се измери разликата между тях. "Такова нещо не е правено", посочва тя.

Христова дава пример с Нидерландия, където всеки централен изпит получава ежегодна корекция, с която се изравняват разликите в трудността, така че оценката на ученика да не зависи от годината на изпита, а от това какво знае и умее.

В Англия пък по думите ѝ границите на оценките се местят всяка година според трудността на изпита, затова самият изпит не може да покаже дали учениците стават по-добри. За това служи отделен стандартизиран тест с едно и също съдържание, който всяка година се решава от национална извадка ученици, без последствия за тях или училищата им. Щом тестът не се променя, промяна в резултатите означава едно - промяна в уменията.

Вместо фиксиран праг от 30%, чието значение се мени с трудността на теста, в Латвия, Литва и Словения определят прага отново след всеки изпит, като експерти преценяват колко точки в конкретния тест отговарят на предварително описано минимално равнище на знания и умения, така че числото се мести, а стандартът остава постоянен.

В Германия пък никой не обявява "рекорден" среден успех - изпитът не служи за сравнение между години. Дали постиженията растат или спадат, се проверява от отделни периодични изследвания: извадка от ученици решава защитени задачи, а изричната задача на изследването е да покаже дали предприетите мерки дават резултат. Така промяната може да се проследи за повече от десетилетие - нещо, което самият зрелостен изпит не може.

Полша пък показва, че пропусната съпоставимост може да се възстанови и със задна дата. Изследователският институт IBE преизчислява резултатите от матурата и от по-ранните външни изпити върху обща скала - като дава задачи от изпитите от различни години на съпоставими групи ученици - именно за да провери дали постиженията реално са се променили, и публикува съпоставимите резултати в открита база данни. Отделно измерва и колко от оценката на отворените задачи зависи не от ученика, а от проверителя.