Какво наистина ни казват данните от тестовете, ако изобщо ни говорят нещо?

Д-р Фил Бъджел е завършил два от най-елитните университети във Великобритания - Университета в Дърам и Университета в Оксфорд. Бил е Главен инспектор за средните училища в Шефилд. Сред преките му отговорности там са въвеждането на делегираните бюджети и формулата за финансиране и статистически анализ на представянето на учениците в средните училища.
През последните 20 години д-р Бъджел е независим образователен консултант с ангажименти към някои от най-авторитетните образователни институции във Великобритания.
Над 20 години работи с учителите по английски език в МГ „Баба Тонка“ и техните ученици по редица теми, публикува материали на образователна тема и в авторитетното професионално издание „Аз-Буки“.

През пролетта беше обявено, че 52-ма ученици от МГ „Баба Тонка“ са се включили в общинския кръг на олимпиадата по английски език 2025/2026; 30 от тях са постигнали 75 или повече точки и са били класирани за регионалния кръг. В регионалния кръг, 18 от тях са постигнали 75 или повече точки, а 1 ученик е постигнал 90 или повече точки и отговаря на условията за участие в националния кръг на олимпиадата.  
А дали тези резултати са добри или лоши?
За да се отговори на този въпрос, е важно да се разгледа дали те са последователни в различните възрастови групи; как се сравняват с резултатите на другите предмети и как се сравняват с резултатите в другите училища. А за да се отговори на следващото ниво на анализ, е необходимо да се проучи как се сравняват с резултатите от други тестове по английски език, на които учениците са се явили.
Важно е обаче да се започне с по-фундаментални въпроси относно:
A. надеждност и валидност; 
B. правилна и неправилна преценка;
това се отнася за всички процеси по оценяване.
A. Валидност и надеждност
Валидността на процеса по оценяване е въпрос, свързан с това дали измерва това, което трябва да измерва. Валидността се отнася до връзката между целта на процеса по оценяване и данните, с които образователната система е избрала да определи количествено тази цел. Надеждността на процеса по оценяване изобщо не се интересува от намерението, а се занимава с това дали данните, събрани чрез процеса по оценяване, дават точни резултати. В този контекст точността се определя от последователността (дали резултатите могат да бъдат повторени). Ако например учениците са се явили на един и същ тест по английски език в различен ден, в различна обстановка, при различен изпитващ, дали ще получат същите резултати?  В повечето случаи при процеса по оценяване е необходимо да се постигне баланс между валидност и надеждност. 
B. Правилна и неправилна преценка
Най-лесно могат да се разберат проблемите, свързани с преценката, като се вземе предвид оценката на учителя (Таблица 1).
Да кажем, че в края на 12.клас един учител преценява, че английският език на ученика е за отличен.  Учителят може да бъде прав или не. Ако е прав и английският език на ученика е за отличен, тогава учителят е направили правилна - позитивна преценка.  Обратно, ако преценката му е неправилна и английският език на ученика не е за отличен, тогава учителят е направил грешка от тип I - псевдо положителна преценка.  По същия начин, ако се окаже, че английският език на ученика не е за отличен, учителят може да направи грешка от тип II - псевдо отрицателна преценка или правилна - отрицателна преценка. Тъй като те са в опозиция, т.е. свеждането до минимум на възможността за грешки от тип I увеличава вероятността от грешки от тип II (и обратно), в повечето процеси по оценяване е важно да се определи кое е най-важно - да се сведат до минимум грешките от тип I или грешките от тип II.  В случая с олимпиадата по английски език, например, е от решаващо значение Националната комисия да минимизира възможността от грешки от тип I - псевдо- положителни резултати.       
Последователност при различните възрастови групи
Резултатите за всички ученици от МГ „Баба Тонка“, които са се явили на общинския кръг на олимпиадата по английски език, са показани в Таблица 2.
Няколко неща се виждат веднага.
1. При по-големите ученици олимпиадите стават все по-малко популярни. 26 ученици от 8.клас са се явили на общинския кръг, но само 1 ученик е от 12.клас.
2. От 52 ученици, които са се явили на общинския кръг, само 30 (по-малко от 60%) са постигнали достатъчно висок резултат, за да отидат на регионалния кръг.
3. От учениците от 8-ми до 12.клас мнозинството (80%), които са постигнали 75 или повече точки на общинския кръг, са отбелязали 75 или повече точки и на регионалния кръг. Това предполага последователност в процеса по оценяване на общинско и регионално равнище.  
4. Обаче от 26-те ученици от 8.клас, които са се явили на общинския кръг, само 15 (по-малко от 60%) са с 75 или повече точки, а от тях само 6 (40%) са постигнали 75 или повече точки на регионалния кръг.
Това предполага две неща:
много от учениците са нови в училището и не са наясно какво се изисква;
има липса на последователност в процеса по оценяване на общинско и регионално равнище.
Сравнение с  олимпиадата по математика
Резултатите на всички ученици от МГ „Баба Тонка“, които са се явили на общинския кръг на олимпиадата по английски език и на олимпиадата по математика са показани в Таблица 3.
И тек веднага се виждат няколко неща.
1. Броят на учениците на олимпиадата по математика е бил значително по-висок от броя на явилите се на олимпиадата по английски език, но, тъй като гимназията е математическа, може би това не е твърде изненадващо.
2. Само 30% от учениците, които са се явили на общинския кръг на олимпиадата по математика, са се явили и на регионалния кръг.  
3. От 52 ученици, които са се явили на общинския кръг на олимпиада по английски език, 18 (35%) са постигнали 75 или повече точки на регионалния кръг. От 124 ученици, които са се явили на общинския кръг на олимпиадата по математика, 30 (24%) са постигнали 75 или повече точки на регионалния кръг.
4. Въпреки че процентът на участие е много по-висок на олимпиадата по математика, той намалява значително при по-големите ученици - особено на регионалния кръг. 
Сравнение с други училища
Резултатите за всички ученици от Русе, които са се явили на общинския кръг на олимпиадата по английски език са показани в Таблица 4 и отново няколко неща правят впечатление.
1. Резултатите на учениците от МГ „Баба Тонка“ и АЕГ „Гео Милев“ са до голяма степен сходни.
2. Резултатите показват, че и за двете училища има група ученици, които постигат 75 или повече точки на общинския кръг, но не успяват да постигнат 75 или повече точки на регионалния кръг. Това предполага, че учителите на учениците и националната комисия са възприели много различни подходи. Учителите на учениците се стремят да сведат до минимум грешките от тип II или псевдо отрицателните; те се стремят да дадат възможност на максимален брой ученици да участват в регионалния кръг. Националната комисия, от друга страна, се опитва да сведе до минимум грешките от тип I или псевдо положителни оценки; те филтрират като целта е да идентифицират учениците, които постигат повече от 90 точки - от тяхна гледна точка няма значение дали някои ученици са били неправилно идентифицирани и са постигнали под 75 точки.
3. За останалите 12 училища, от които 40 ученици са участвали в регионалния кръг, само 8 са постигнали повече от 75 точки, а много от тях и доста по-ниски резултати. Това предполага, че учениците са били неправилно идентифицирани от техните учители, т.е., че грешки от тип I или псевдо положителни резултати са били допуснати на ниво училище. Ниският брой ученици, участвали от тези 12 училища, предполага, от своя страна, че са налице въпроси, свързани с професионалното развитие на учителите или има необходимост от общински координатор, който да работи с учителите по английски език.
Как тези резултати се сравняват с други тестове по английски език, на които учениците са се явили
Преди 2007 г. дипломата за средно образование се получаваше след завършване на 12.клас, като окончателната оценка беше немодерираната оценка от учителите. Нямаше друга задължителна оценка, но учениците можеха да избират да се явяват на олимпиади.  
През 2007 г. България беше приета в Европейския съюз и българските младежи, заедно с всички млади хора в ЕС, получиха право да кандидатстват в университети във всички страни-членки. В резултат на това се възприема необходимостта от паритет при оценката на завършващите училище в целия ЕС; на немодерираните оценки на учителите в България - понякога оприличавани на „ученици, които сами си пишат оценки на домашните“, не се гледа с добро око.
В резултат на това България отново въвежда държавни зрелостни изпити (ДЗИ, матури); учениците вече трябва да преминат през два изпита: задължителен изпит по Български език и литература и изпит по избираем предмет. 
Крайната оценка в дипломата за средно образование вече се получава от немодерираните оценки на учители от 11 и 12 клас и от оценките от ДЗИ.  
По български език и литература, както и по избраните от учениците предмети, сега има две независими групи от оценки. Например, в Таблица 5 е представен скорошен набор от оценки на учители и оценки от матурата по английски език. Липсата на съгласуваност между оценките на учителите и оценките от матурата повдига въпрос за валидността и надеждността. Оценките на учителите са предназначени да оценят знанията, уменията и разбирането на учениците през цялата учебна програма по английски език; въпреки това съмнения в тяхната надеждност поражда фактът, че те първо се определят количествено от немодерирана оценка от учителите, които са преподавали на учениците, освен това в рамката за оценяване има тенденция да води до „закръгляване“ на оценките.
От друга страна, оценките от матурата се определят от един изпит с много бърз обрат в процеса на оценяване и това поражда сериозни опасения дали такъв изпит наистина може да оцени или дори има за цел да оцени дълбочината и обхвата на знанията, уменията и разбирането на учениците в учебната програма по английски език; т.е. има сериозни съмнения относно валидността на резултатите от държавните зрелостни изпити.   
И така, какви заключения можем да направим? Не много
 Учениците от 12. клас сякаш са обект на три режима за оценяване.
1. Те трябва да бъдат оценени от техните учители, където има въпроси относно надеждността.
2. По избираемия предмет ще трябва да се вземе предвид матурата, където има въпроси относно валидността. 
3. Те биха могли, макар че малко от тях избират по собствено желание, да се явят на олимпиадата, където процесът на оценяване е предназначен да сведе до минимум вероятността от грешки от тип I - псевдо положителни резултати.
Това, което е сигурно, е, че нито учителите, нито директорите на училищата са виновни. Сметната палата направи заключение преди време, че липсва задълбочен анализ на национално ниво на данните за постиженията на учениците и че това е резултат от плашеща липса на капацитет в Министерството на образованието и науката.  Освен това липсата на задълбочен анализ не е само резултат от липсата на капацитет.  Липсата на капацитет е пряк резултат от липса на намерение и липса на политическа воля. Открит, честен и прозрачен анализ на данните за постиженията на учениците би показал степента, до която образователната система се проваля за мнозинството от учениците.  
 Парадоксално е, че дори престижните университети в България (или поне тези, които се възприемат като достатъчно престижни), не се доверяват нито на резултатите от дипломата, нито от матурата. Затова си организират задължителни съботно-неделни курсове за обучение и приемни изпити. В резултат на това дори ученици с висока степен на умения трябва да се явяват на поредица от приемни изпити в различни университети.  Скептиците (или може би циниците) в училищата гледат на това като просто още един начин за генериране на доходи от недостатъчно финансираните университети.

Д-р Фил БЪДЖЕЛ