Dasselbe Examen für alle
Die Aufgaben reichen von Rezepten bis zur Küchenchemie. Jedes Modell bekommt exakt denselben Satz, ohne Werkzeuge und ohne Websuche. Die Aufgaben selbst bleiben unter Verschluss, damit kein Modell sie auswendig lernen kann.
Der Weg einer Antwort
–
–
–
Alle antworten
Jedes Modell beantwortet jede Aufgabe, als Text aus dem eigenen Wissen. Jede Zeile im Raster ist ein Modell, jeder Punkt eine Antwort. Die markierte Zeile gehört –.
Erst prüft der Code
Ein Skript prüft jede Antwort gegen die harten Vorgaben: geforderte und verbotene Zutaten, Mengen, Zeiten, Temperaturen, Format. Wer hier unter 50 von 100 landet oder gar nicht lesbar antwortet, fällt durch. In diesem Lauf sind das – Antworten; bei – sind es –. Das Raster sortiert je Zeile: bestanden links, durchgefallen rechts. Welche Aufgabe es traf, bleibt geheim.
Wer durchfällt, sieht den Richter nicht
Die – durchgefallenen Antworten gehen nicht zum Richter. Sie bekommen die Mindestnote 1 und bleiben in der Wertung, damit kein Modell seinen Schnitt hebt, indem es unbequeme Aufgaben auslässt. Am häufigsten traf es – mit – Antworten.
Dann liest der Richter
Was sich nicht nachrechnen lässt, benotet ein festgehaltenes Bewertungsmodell (–): anonymisiert, von 1 bis 10, nach fester Rubrik oder mit Antwortschlüssel. Das sind – Antworten im Lauf, bei – –: – Rezepte nach Rubrik, – Antworten mit Schlüssel. Logistik bleibt ganz beim Code, Theorie fast ganz. Der Schlüssel kann ergänzt, aber nicht überstimmt werden; jede Note gilt absolut gegen die Rubrik, Länge und Formatierung zählen nicht.
Dem Richter wird nachgemessen
Ein zweiter Richter aus anderem Haus (–) benotet eine Stichprobe von – Antworten noch einmal. Übereinstimmung der Rangfolgen (Spearman ρ): –, wobei 1 völliger Gleichklang wäre. Der Hauptrichter bekommt – Antworten ein zweites Mal vorgelegt und weicht im Schnitt um – Noten von sich selbst ab. Die Ringe im Raster sitzen gleichmäßig verteilt; welche Antworten die Stichprobe traf, zeigt das Bild nicht. Gemessen am –, nicht bei jedem Lauf neu.
Am Ende ein Punktwert
Jede Zeile schrumpft zu ihrem Balken: der Punktwert, gewichtet nach Disziplin. Der Richter trägt – Prozent davon, – Prozent als Panel-Meinung zu den Rezepten; der Code trägt –. – kommt auf – Punkte, Platz – von –. Wo Modelle enger beieinanderliegen als ±– Punkte, sind sie nicht unterscheidbar; die Spitze ist darum –.