Bewertungsassistenz für Prüfungen

Bei der Bewertung des Lernens in vielen mathematischen und naturwissenschaftlichen Disziplinen ist die Art und Weise, wie man zu einer L?sung kommt, wichtig: Ableitungen, Beweise, Skizzen usw.

Wir erforschen die Unterst¨¹tzung der Bewertung von offenen, handschriftlichen Pr¨¹fungen durch multimodale und reasoning Large Language Models. Wir verwenden Bayes-Statistiken, um das Vertrauensniveau dieser automatischen Beurteilungen zu ermitteln.

Das unten stehende Diagramm zeigt die ?bereinstimmung zwischen den von der KI und den von den Teaching Assistants vergebenen Punkten. Bei der Festlegung von Schwellenwerten f¨¹r das Vertrauensniveau konnte die H?lfte einer umfangreichen Thermodynamik-Pr¨¹fung mit einem Bestimmtheitsmass von R²=0,92 bewertet werden; im Durchschnitt vergab das KI-System 3,4 von 60 Punkten mehr als die Teaching Assistants und wies dabei einen nahezu perfekten linearen Regressionskoeffizienten von 1,04 auf.