Der neue Examensservice

[MEDI-LEARN]

DER NEUE EXAMENSSERVICE

Wir haben ab H21 den Examensservice neugestaltet. Zum Ablauf klicke hier: https://www.mlmr.de/medizinstudium/auswertung/faq.php

Im folgenden Beitrag möchten wir euch die Neuerungen im Rahmen des MEDI-LEARN Examensservice an einem konkreten Beispiel eines Prüfungskandidaten ausführlich erläutern. Die eigentlichen Fragen eines Prüflings (Mit welcher Wahrscheinlichkeit habe ich bestanden? Mit welcher Wahrscheinlichkeit habe ich welche Note?) werden somit künftig besser und auch frühzeitiger als bisher beantwortet werden können.

Was ist neu?

In der Vergangenheit hatten unsere Dozenten an den Prüfungstagen Frage für Frage in der Literatur nachgeschlagen und auch fast immer die vom IMPP geforderte Lösung gefunden. Prüflinge hatten dann ihre Lösungen mit diesen bei MEDI-LEARN veröffentlichten Dozentenlösungen verglichen und dann eine konkrete Zahl an richtigen Antworten.

So hatte ein Prüfling beispielsweise in 183 Punkte ausgezählt (M2-F21). Das war sehr konkret, aber leider wenig aussagekräftig, denn dieser Prüfling musste davon ausgehen, dass er mit diesem Abstand zur absoluten Bestehensgrenze von 60 % (192 Punkte von 320 Punkten) durchgefallen ist.

Nun konnte MEDI-LEARN aufgrund der Gesamtstatistiken auch bereits am Abend des letzten Prüfungstages voraussagen, dass es ein schweres Examen war und daher wegen der sogenannten Gleitklausel mit einer Herabsenkung der Bestehensgrenze auf 185 Punkte (bei 320 gewerteten Fragen = 57,5 %) zu rechnen ist. Unser Prüfling musste aber immer noch annehmen, dass er durchgefallen ist, da er mit seinen 183 Punkten noch immer unter dieser Grenze von 185 Punkten liegt.

Vom IMPP wurden dann etwa 4 Wochen später die offiziellen Ergebnisse veröffentlicht. Es war zu lesen, dass nur 304 Fragen gewertet wurden und die Bestehensgrenze bei 174 Punkten (bei 304 gewerteten Fragen: 57,25 %) liegt.

Unser Prüfling mit seinen zunächst ausgezählten 183 Punkten (von 320 Fragen!) hat von den 304 gewerteten Fragen 171 richtig und könnte abermals denken, dass er durchgefallen sei. Nun hat er aber von den aus der Wertung genommen Fragen 6 richtig gemacht. Damit hat er ja 177 Punkte und denkt, er liege über der Bestehensgrenze von 174 Punkten. Leider bedenkt er nicht, dass die 174 Punkte nur für 304 gewertete Fragen gelten.

Da ihm 6 Fragen gutgeschrieben wurden, sind in seinem Fall nicht 304, sondern 310 Fragen gewertet worden, für die in einem aufwendigen Verfahren berechnet werden muss, welche Bestehensgrenze sich ergeben würde, wenn genau diese 6 vom ihm richtig gelösten Fragen und folglich für ihn im Rahmen des Nachteilsausgleichs gewerteten Fragen auch für alle in der Wertung geblieben wären.

Es wird also berechnet, wie der Schnitt der Referenzgruppe (=Erstteilnehmer/innen mit Mindeststudienzeit) aussehen würde, wenn genau diese 6 Fragen gewertet worden wären. Auf dieser Basis wird dann die neue sog. relative Bestehensgrenze ermittelt, die dann für alle jene gilt, die genau diese 6 Fragen richtig hatten. In F21 M2 war es so, dass bei 310 gewerteten Fragen für bestimmte Fragenkombinationen eine relative Bestehensgrenze von 177, für andere Fragenkombinationen eine Grenze von 178 galt.

Diese Vergleichsberechnungen zum Nachteilsausgleich veröffentlicht das IMPP mit den offiziellen Ergebnissen in langen Tabellen (1.600 Zeilen, exemplarisch für M2-F21: https://www.impp.de/pruefungen/mediz...1-20210507.pdf ). Weitere Erläuterungen des IMPP zu diesem Thema finden sich hier. Empfehlen möchten wir dir ebenfalls noch das MEDI-LEARN Video-Tutorial unter: https://www.medi-learn.de/MF103161

Übrigens: MEDI-LEARN gleicht eure Eingaben mit diesen Tabellen automatisch ab, sodass ihr schon vor postalischer Zustellung des offiziellen Ergebnisbescheides wisst, wie sich der Nachteilsausgleich konkret für euch auswirkt.

Dieses Szenario gilt auch für Notengrenzen, die sich unmittelbar aus der Bestehensgrenze ableiten. Es soll exemplarisch zeigen, dass eine zunächst scheinbar sehr konkrete Punktzahl (183 Punkte) eine sehr geringe Aussagekraft hat. Diese Übereinstimmung mit einer Literaturauswertung suggeriert eine hohe Genauigkeit, die jedoch durch die eliminierten Fragen und die sog. Gleitklausel völlig verwaschen wird.

Wie unser Beispiel zeigt, nimmt der Prüfling mit seinen 183 Punkten zunächst an, er sei sicher durchgefallen. Faktisch hat er aber bis zum letzten Tag eine Bestehenschance von 50 %, je nachdem, welche der eliminierten Fragen er richtig hatte.

In der Vergangenheit wusste unser Prüfling also, dass er verglichen mit der sehr genauen Literaturauswertung 183 Punkte hatte. Unklar war aber noch, wie viele Fragen aus der Wertung genommen werden, wie viele davon er richtig hat und wie sich das auf seine Bestehenschance auswirkt. Die eigentliche Frage: „Wie groß sind meine Bestehenschancen bei diesem Ergebnis?" bleibt aber trotz des sehr genauen Wertes von 183 Punkten unbeantwortet. Die sehr genaue Literaturauswertung täuscht also eine falsche Vorhersagepräzision vor!

Wir haben daher den Examensservice neugestaltet und auf Grundlage von mehr als ca. 50.000 Datensätzen Modelle und Algorithmen entwickelt, bei denen die Antwort auf genau diese Frage im Vordergrund steht: „Mit welcher Wahrscheinlichkeit habe ich welche Note?"

Die vorläufigen Lösungen werden nun auf Grundlage der Usereingaben berechnet. In einem komplexen Algorithmus werden hier verschiedene Parameter (Schwierigkeit, Trennschärfe) unterschiedlich gewichtet miteinander verrechnet und ergeben so eine „vorläufige Lösung". Häufig - aber nicht immer - entsprechen diese so ermittelten Lösungen auch der am häufigsten gewählten Antwortalternative. In einem weiteren Schritt werden dann die Übereinstimmungen der von den Usern eingegeben Lösungen mit diesen „vorläufigen Lösungen“ verglichen und ergeben die vorläufigen Ergebnisse.

Auf Grundlage von mehr als 50.000 Datensätzen wurden retrospektiv diese so ermittelten vorläufigen Ergebnisse mit den wirklichen endgültigen Ergebnissen verglichen. Hierbei hat sich gezeigt, dass das wirkliche endgültige Ergebnis dann abhängig vom Termin (Frühjahr oder Herbst) um einen bestimmten Faktor von dem wahren endgültigen Ergebnis abgewichen ist. Daher werden in einem weiteren Schritt diese vorläufigen Ergebnisse mit diesem Korrekturfaktor verrechnet. Das ist dann der Erwartungswert des endgültigen Ergebnisses.

Natürlich hatten nicht alle User genau dieses so berechnete endgültige Ergebnis, sondern wichen noch mit einer gewissen Streuung, dem sog. Schätzfehler, von diesem Wert ab. Daher werden auch keine genauen Werte, sondern nur Konfidenzintervalle für das erwartete endgültige Ergebnis bekannt gegeben.

Dieses komplizierte Verfahren beantwortet aber die eigentliche Frage des Prüflings viel besser als ein konkreter Punktwert, nämlich mit welcher Wahrscheinlichkeit hat er bestanden.

Der Teilnehmer mit 183 Punkten muss nun nicht mehr fürchten, dass er sicher durchgefallen ist, sondern hätte bei der Datenlage dieses Examens bereits am letzten Tag der Prüfung in seiner Auswertung lesen können, dass er eine Bestehenswahrscheinlichkeit von ca. 50 % hat. Bei dem alten Vergleich mit den Dozentenlösungen war er diesbezüglich bis zum Tag der offiziellen Ergebnismitteilung im Ungewissen.

Interessant ist hierbei, dass die etwas höhere Fehlerzahl bei den mit unserem Algorithmus berechneten vorläufigen Lösungen bei der Gesamtunsicherheit durch die hohe Zahl an Frageneliminierungen und die Gleitklausel mittlerweile einen ganz geringen Anteil ausmacht.

Damit wir in unserem Modell konsistent bleiben, werden wir als vorläufige Lösungen die mit unserem Algorithmus ermittelten vorläufigen Lösungen beibehalten, da sonst die Parameter, mit denen wir auf Grundlage der vorläufigen Lösungen die Notenwahrscheinlichkeiten berechnen, nicht mehr stimmen würden. Erfahrungsgemäß werden diese berechneten vorläufigen Lösungen mit zunehmender Userzahl immer genauer. Wir werden diese Änderungen jeweils veröffentlichen, sodass die Examenskandidaten hier auf dem Laufenden bleiben.

Wir denken, dass wir durch das jetzige Verfahren, in dem wir Konfidenzintervalle und Notenwahrscheinlichkeiten in den Vordergrund stellen, die eigentlichen Fragen der Prüflinge (Mit welcher Wahrscheinlichkeit habe ich bestanden? Mit welcher Wahrscheinlichkeit habe ich welche Note?) besser beantworten, als mit einem nur SCHEINBAR genauerem vorläufigen Ergebnis auf Basis der Literaturauswertung.

So war es auch früher so, dass ein vorläufiges Ergebnis auf Basis der Literaturauswertung knapp über oder unter der Bestehensgrenze (d.h. zwischen 189 und 194 Punkten) nicht die gewünschte Sicherheit geben konnte, die sich ein Prüfling wünschen würde. In diesem Bereich, egal auf welcher Basis die vorläufigen Ergebnisse erstellt werden, kann man leider nur sagen, dass die Bestehenschance bei „Fifty-Fifty" liegt.

Möglicherweise weichen einige (wahrscheinlich wenige) der mit unserem Algorithmus berechneten vorläufigen Lösungen von einer in der Literatur recherchierten Lösung ab. Wir werden jedoch, wie oben begründet, die Berechnung der vorläufigen Ergebnisse unserem Algorithmus überlassen, damit sich nicht an anderer Stelle größere Abweichungen von unseren Modellrechnungen ergeben.

Viel Erfolg!
MEDI-LEARN