Werden Prüfungsfragen künftig von einer KI erstellt?

[MEDI-LEARN]

Wir wollten anhand eines typischen Prüfungsthemas ausprobieren, ob man mit ChatGPT auch Prüfungsfragen erstellen kann.

Wir haben mit wenigen Stichworten die Vorgabe für eine Frage bei ChatGPT eingegeben (INPUT).

Die von ChatGPT konstruierte Frage (OUTPUT) lässt sich von einer vom IMPP konstruierten Frage (PH-F08-2-110) kaum unterscheiden.

INPUT:
Schildere ein Beispiel für ein Experiment und Frage im Rahmen einer MC-Frage (5 Antwortalternativen) nach der unabhängigen Variablen

OUTPUT von ChatGPT:
Experiment: Ein Forscher möchte untersuchen, wie sich unterschiedliche Mengen an Schlaf auf die kognitive Leistungsfähigkeit von Schülern auswirken. Er rekrutiert eine Gruppe von Schülern und teilt sie zufällig in fünf Gruppen ein: eine Gruppe schläft 4 Stunden, eine Gruppe schläft 6 Stunden, eine Gruppe schläft 8 Stunden, eine Gruppe schläft 10 Stunden und eine Gruppe schläft 12 Stunden.

Frage: Was ist die unabhängige Variable in diesem Experiment?

A) Die kognitive Leistungsfähigkeit der Schüler
B) Die Größe der Schülergruppe
C) Die Anzahl der Stunden, die die Schüler schlafen
D) Die Altersgruppe der Schüler
E) Der Ort, an dem das Experiment durchgeführt wird

Antwort: C) Die Anzahl der Stunden, die die Schüler schlafen
ChatGPT Mar 23 Version. Free Research Preview. ChatGPT may produce inaccurate information about people, places, or facts.

Zum Vergleich eine Prüfungsfrage aus dem Examen Frühjahr 2008 (PH-F08-2-110), Lösung C
"Sie möchten untersuchen, ob Gruppentherapien im Rahmen der kardiologischen Rehabilitation zu einer Verminderung der Reinfarktrate führen. Für die Untersuchung werden zwei Gruppen gebildet. In Gruppe I finden neben den üblicherweise durchgeführten Rehabilitationsmaßnahmen Gruppensitzungen statt. In Gruppe II werden nur die üblichen Rehabilitationsmaßnahmen durchgeführt. Nach einem Jahr wird die Reinfarktrate in beiden Gruppen verglichen.

Welche der folgenden methodischen Aussagen zu dieser Untersuchung trifft zu?

(A) Bei den üblicherweise durchgeführten Rehabilitationsmaßnahmen handelt es sich um die intervenierende Variable.
(B) Die Gruppentherapie (durchgeführt oder nicht durchgeführt) ist die unabhängige Variable.
(C) Die Reinfarktrate ist die unabhängige Variable.
(D) Es handelt sich um eine Querschnittsstudie.
(E) Gruppe I ist die Kontrollgruppe.“

[davo]

Mit Verlaub, für diese Frage brauch ich keine KI. Die IMPP-Frage ist von ihrer Konzeption her deutlich anspruchsvoller - und hat deshalb wahrscheinlich auch eine deutlich höhere Trennschärfe.

[TaraTamm]

Mit Verlaub, für diese Frage brauch ich keine KI. Die IMPP-Frage ist von ihrer Konzeption her deutlich anspruchsvoller - und hat deshalb wahrscheinlich auch eine deutlich höhere Trennschärfe.

Ist ja auch logisch, wenn die IMPP Fragen spezifisch darauf ausgelegt sind, eine hohe Trennschärfe zu erzielen, wohingegen ChatGPT nicht mal weiß, dass es darauf wertlegen soll.

Prinzipiell könnte sicher eine KI, die speziell darauf trainiert wurde, Fragen zu vorgegebenen Themen mit hoher Trennschärfe zu erstellen, das besser erledigen als ein Mensch. Trotzdem müssten die Fragen von Menschen gegengelesen werden. Die KI bleibt auch hier ein Hilfsmittel und kein Ersatz für den Menschlichen Fragenersteller.

[Kackbratze]

Wenn KI so erfolgreich ist, warum ist Watson dann noch nicht in mehr Kliniken verfügbar?
Bislang sind das Chatbots mit einer nicht aktuellen Datenbank, ich sehe da weiterhin nur eine unterstützende Tätigkeit und lustige Taschenspielertricks.

[mbs]

KI ist nicht gleich KI. Die Performance ist unterschiedlich, außerdem gibt es keine, die universal einsetzbar wäre. Eine KI ist letzten Endes ein Modell, das mit Daten trainiert wird; je mehr Daten und je leistungsfähiger die zugrundeliegende Rechnerarchitektur und je mächtiger die Algorithmen, desto besser und präziser sind die Ergebnisse.
In Bezug auf die Anforderungen die man stellt - derer muss man sich als Personaler dann auf einmal sehr viel bewusster sein als wenn man einen Menschen einstellt.
Ich glaube das ist das Problem bei KI: Es handelt sich um so extreme "Fachidioten", dass selbst der größte menschliche "Fachidiot" der reinste Universalist wäre. Und das erhöht den Druck auf die paar Menschen, die noch als "Analoglösung" irgendwo eingestellt sind. Sie müssen das Modell und die Technologie auch noch bewerten können, neben ihren eigentlichen, vielleicht ganz anderen Aufgaben. Und wer entscheidet über Personal? Letzten Endes eben doch Menschen. Außerdem kann man jemanden mit Langzeitvertrag nicht einfach kündigen, nur weil es eine KI billiger macht - zumindest langfristig betrachtet; kurzfristig überwiegt die Last und Abschreckung der höheren Investitionskosten. Da kommt dann der short-term-bias ins Spiel: Die nähere Zukunft hat immer eine höhere Gewichtung als die langfristige, ganz unabhängig von der Bilanz und dem Gesamtresultat - insbesondere dann, wenn es keinen klar definierten Endpunkt gibt.