Два оценувачи, една снимка: течност против исполнување на задачата
На усниот дел од матурскиот испит по англиски јазик, двајца оценувачи независно слушаат 30 снимени одговори. Задачата е триминутен монолог за организирање училишен настан. Кај 7 кандидати разликата меѓу оценувачите е 2 поени на скала 1–6, па координаторот мора да го реши случајот на Ана, снимка 14. Транскрипт: „I think we must to organize the party in the school hall, because is big and we can put many decoration. Also, my friend says the music is very loud, but I don't agree... actually, the main thing is the budget. We have 2.000 denars, that is not enough for a DJ and food, so maybe we can ask the local shop for help. And that's my plan. What do you think?“ Ана зборува течно, без долги паузи, но околу 30 секунди зборува за температурата во салата, што не е дел од задачата. Оценувачот А дал 5 („многу течен говор, комуникативна“), оценувачот Б дал 3 („делумно ја исполнува задачата, слаба точност“). Критериумите: исполнување на задача 40 %, кожерентност 20 %, лексика 20 %, граматика 20 %.
1. Определи ја оценката за Ана и поврзи ја со секој од четирите критериуми користејќи докази од транскриптот.
Read the worked answer
Оценката што се држи пред доказите е 4, а не 3 или 5.
- Исполнување на задача (40 %): делумно, но не слабо. Таа ги опфаќа клучните елементи: простор (сала), буџет (2.000 денари), проблем (недоволно за DJ и храна) и предлог (локална продавница). Пропустот е одвлекувањето од 30 секунди за температурата - тоа е отстапување, но не го уништува одговорот. Затоа ~половина до две третини од оваа ставка.
- Кожерентност (20 %): солидна. Користи „Also“, „actually“, „so maybe“ и завршува со прашање до соговорникот - тоа е функционална структура, не набројување.
- Лексика (20 %): ограничена. „Very loud“, „many decoration“, „local shop“ се основни избори; има еден добар збор („budget“), но нема перифраза.
- Граматика (20 %): слаба. „must to organize“, „because is big“ (испуштен предмет), „many decoration“ - три грешки што не го попречуваат разбирањето, но се јасни.
Збирот дава профил на говорник што комуницира, но со ограничени ресурси: тоа е 4, односно „адекватен одговор со забележливи слабости“. Ниту 5 (превисоко), ниту 3 (престрого).
2. Објасни зошто расудувањето на оценувачот А е методолошки погрешно, дури и ако неговата оценка „звучи“ поприродно.
Read the worked answer
Оценувачот А го оценува она што најлесно се забележува - течноста - и тоа го прогласува за главен показател за квалитет. Тоа е класичен „хало-ефект“: една впечатлива особина (без паузи, без двоумење) се шири врз сите други критериуми.
Проблемот е мерлив: течноста не е критериум во рубриката. Ако оценувачот ја наградува течноста со 5, тој всушност ѝ дава високи поени на граматиката и лексиката што тоа не ги заслужуваат, а го игнорира одвлекувањето од темата. Од друга страна, оценувачот Б паѓа во спротивната замка - ги брои грешките и не гледа дека задачата е суштински исполнета.
Правилниот пристап е аналитички: секој критериум се оценува одделно, со цитат како доказ („because is big“ → граматика; „температурата во салата“ → исполнување на задача), и дури потоа се составува целината. Оценката не смее да биде прв впечаток, туку збир на документирани наоди. Затоа и повратната информација до Ана треба да биде конкретна: „одлична флуентност; прошири ја лексиката; држи се до точката на задачата“.
3. Предложи постапка за усогласување на сите 7 спорни случаи, така што одлуката ќе биде одбранлива пред надворешна проверка.
Read the worked answer
Постапката треба да биде слепа, документирана и повторлива:
- Трет, независен оценувач ги слуша само спорните 7 снимки без да ги гледа претходните оценки. Неговата оценка е трет податок, а не „прегласување“ меѓу двајца.
- Адјудикација со докази. На состанокот секој оценувач мора да наведе конкретен цитат за секој критериум. Ако оценката не може да се поткрепи со цитат, таа се повлекува.
- Правило за разлика. Ако по адјудикацијата разликата останува 2 или повеќе поени, конечната оценка е онаа на третиот оценувач, запишана со образложение.
- Калибрација. Пред следната сесија, сите оценувачи заедно оценуваат 3 „котвени“ снимки (ниска, средна, висока) и ги споредуваат резултатите - така се откриваат систематски благи или строги оценувачи.
Документираната одлука е одбранлива затоа што не зависи од тоа чиј впечаток е посилен, туку од докази врзани за однапред објавени критериуми.