Interview: Wie ChatGPT die Lehre und das Prüfen verändert

Was ist neu an ChatGPT?
Kortemeyer: Das Thema ist nicht neu. An den Technologien, die dahinterstecken, hat die ETH selbst mitgearbeitet. Neu ist aber, dass eine solche Anwendung ?ffentlich zug?nglich ist. Und neu ist auch das Datenvolumen, mit dem die Modelle trainiert wurden. In Forschungsprojekten f¨¹r KI erreicht man kaum Volumina wie bei einem solchen kommerziellen Produkt.

Was kann ChatGPT und wo hat es Schw?chen?
Kortemeyer: GPT-3, die Vorg?ngerversion des derzeit aktuellen GPT-4, hatte nachweislich Probleme mit symbolischen und numerischen Grundrechenarten. Das Modell rechnete nicht zuverl?ssig. GPT-4 ist etwas besser, hat aber immer noch nicht das Niveau eines durchschnittlichen Studierenden an der ETH. Aber Achtung: Trotz dieser Schw?chen habe ich in einem Experiment zeigen k?nnen, dass GPT-3 einen an US-Colleges ¨¹blichen Physikkurs mit den dazugeh?rigen ?bungen, Quizzen und Pr¨¹fungen haarscharf bestehen w¨¹rde ¨C mit rund der H?lfte der erreichbaren Punkte.

Sudau: Wir diskutieren hier jetzt ¨¹ber St?rken und Schw?chen eines Status Quo, respektive ¨¹ber eine bereits veraltete Version von ChatGPT. Aber was bringt die Zukunft? Die Entwicklung l?sst sich nicht aufhalten. Wir sollten uns besser damit befassen, wie wir mit Sprachmodellen und anderen KI-gest¨¹tzten Werkzeugen umgehen werden, die noch weit besser sind. KI-Anwendungen werden schon bald allgegenw?rtig sein, in quasi allen Bereichen des Lebens.

Rund um Pr¨¹fungen scheint es aktuell am meisten Fragen zu geben. Was raten Sie den Dozierenden?
Kortemeyer: KI ist ein Werkzeug. Genauso wie zum Beispiel Rechtschreibkorrektur, Taschenrechner, Literatursuchmaschinen und Statistikprogramme Werkzeuge sind. Als solches k?nnte es auch in Pr¨¹fungen integriert werden. Ein Ansatz k?nnte sein, Studierende KI-Antworten oder -Erzeugnisse beurteilen zu lassen. Denn genau diese F?higkeit wird k¨¹nftig st?rker gefragt sein.

Das heisst, Pr¨¹fungen w?ren dann ?fter Open-Book, respektive Open-KI?
Kortemeyer: Nat¨¹rlich nicht nur. Es wird immer grundlegende Aufgaben geben, die Studierende ohne jegliche Hilfe von aussen, weder menschlich noch k¨¹nstlich, erledigen k?nnen m¨¹ssen. Eine L?sung k?nnten zwei- oder mehrphasige Pr¨¹fungen sein, bei denen die Studierenden zuerst Aufgaben ohne Zugang zu KI und anderen Werkzeugen l?sen und dann weitere mit Zugang zu diesen Werkzeugen. Die eine Phase f¨¹r unentbehrliche Grundlagen, die andere f¨¹r authentische Arbeitsweisen. F¨¹r solche mehrphasige Online-Pr¨¹fungen boten wir an der ETH schon vor dem Aufkommen von ChatGPT technische L?sungen und Support.

Welche Vorteile bringt ChatGPT f¨¹r die Lehre?
Kortemeyer: Das wird sich zeigen. Aber wenn KIs Studierenden in ?bungen und Pr¨¹fungen gewisse Arbeiten abnehmen, ?ffnet das vielleicht auch Raum f¨¹r Neues. Als Studierende ihre Aufgaben noch ohne Taschenrechner l?sen mussten, brauchten sie viel Zeit f¨¹rs reine Rechnen. Danach wurde diese Zeit pl?tzlich frei und man konnte sie f¨¹r das eigentliche L?sen der Probleme einsetzen. Wir k?nnen uns auch heute fragen, ob wir durch die Integration von KI gewisse Dinge anspruchsvoller machen k?nnen. Und auch, welches die typischen menschlichen F?higkeiten sind, die gepr¨¹ft werden sollen.

Zum Beispiel?
Kortemeyer: Kreativit?t. Sprachmodelle m?gen manchmal zwar kreativ wirken, sie sind es aber nicht. Und sie haben keine Visionen. Vielleicht k?nnen andere Modelle dies eines Tages, aber ein Sprachmodell kann das nicht. ETH-Ingenieur:innen m¨¹ssen das aber k?nnen. Dazu kommt die F?higkeit, kritisch zu denken. Studierende sollten sich fragen, ob ein Ergebnis wirklich so sein muss, ob es so Sinn macht?

Nebst den Pr¨¹fungen: Wo hat ChatGPT noch Konsequenzen f¨¹r ETH-Dozierende?
Sudau: Zum Beispiel in der Curriculumsentwicklung. Wir m¨¹ssen uns ¨¹berlegen, was wir k¨¹nftig lehren wollen. Was zu den Grundlagen geh?rt und welche ¨¹berfachlichen Kompetenzen ETH-Absolvent:innen ben?tigen. Schliesslich m¨¹ssen sie in der zuk¨¹nftigen Berufswelt mit solchen Werkzeugen umgehen und arbeiten und sich auch unbekannten Herausforderungen des Arbeitsmarktes anpassen k?nnen. Die dazu n?tigen Kompetenzen m¨¹ssen wir unterrichten mit unseren Studierenden ¨¹ben.

Kortemeyer: Das geschieht auch schon. Mit Dozierenden des Departements Informatik zum Beispiel diskutieren wir bereits dar¨¹ber, welche Folgen ChatGPT f¨¹r Kurse zur Programmiersprache Python haben k?nnte. Was die Studierenden lernen m¨¹ssen, damit sie KI-generierten Python-Code testen k?nnen. Genau solche Gedanken sollte man sich jetzt machen, damit man sp?ter bereit ist daf¨¹r, das Werkzeug in die Lehre zu integrieren.

Wissen wir eigentlich, wie die Studierenden ChatGPT heute nutzen?
Sudau: Wir wissen noch relativ wenig. Eine kleine, nicht repr?sentative Umfrage von meinem Kollegen Christian Sailer und mir bei Studierenden im D-BAUG und D-USYS hat aber gezeigt, dass ChatGPT von Bachlorstudierenden am seltensten und von Doktorierenden am h?ufigsten als n¨¹tzlich erachtet wurde. Sprich: Je weiter im Studium beziehungsweise je erfahrener, desto n¨¹tzlicher. Das zeigt mir auch, dass wir Studierende unbedingt bef?higen m¨¹ssen, solche Werkzeuge nutzen und sie kritisch und reflektiert einsetzen zu k?nnen.

Welche anderen Werkzeuge neben Chat GPT sollten wir auf dem Radar haben?
Kortemeyer: Als N?chstes wird wohl Googles Sprachmodell Bard bei uns aktuell, Nvidia ist ebenfalls an Entwicklungen dran. Unmittelbar aktuell wird wohl auch der ¡°Co-Pilot¡± von Microsoft werden, der in alle Office-Tools integriert werden soll ¨C da hat man dann KI mitten in Word oder PowerPoint. KI wird wohl kaum wieder verschwinden, da k?nnen wir beim Lehren und Pr¨¹fen nicht den Kopf in den Sand stecken.