Christian Terwiesch, Wharton-Professor für Operations Management, hat als einer der ersten ChatGPT in der Praxis von Business Schools unter die Lupe genommen. Die Meldung, dass der KI-Chatbot MBA-Prüfungen bestehen kann, ging durch die Medien. Im Interview erklärt Terwiesch, was das System kann und wie er es für seine Klassen im Prozess- und Innovationsmanagement einsetzt.
Personalmagazin: ChatGPT überrascht mit erstaunlichen Fähigkeiten. Müssen sich Managerinnen und Manager Sorgen machen, dass sie künftig nicht mehr gebraucht werden?
Christian Terwiesch: Ich glaube nicht, dass sich in den nächsten Jahren viel ändern wird. ChatGPT ist in wenigen Monaten durch einen brutalen Hypecycle gegangen. Im November 2022 hatte noch niemand davon gehört, Anfang dieses Jahres fanden es alle genial und dann ebbte das Ganze ab, weil man erkannte, wie blöd das System teilweise ist. Wir sollten auf dem Teppich bleiben und überlegen, was wirklich neu daran ist.
Personalmagazin: Und was ist neu an ChatGPT im Vergleich zu anderen KI-Systemen?
Terwiesch: Künstliche Intelligenz war bisher sehr spezialisiert – konnte zum Beispiel Schach oder Go spielen, ein Röntgenbild lesen oder einen Kreditantrag bearbeiten. ChatGPT hingegen ist breit aufgestellt, ein bisschen wie ein Schweizer Taschenmesser. Das Paradoxe daran ist, dass dieses System ganz schlecht rechnen kann – das kann ein billiger Taschenrechner von Aldi besser. Doch man geht allgemein davon aus, dass Computer rechnen können und die Menschen sprechen und kreativ sind.
ChatGPT brilliert und scheitert gleichermaßen
Personalmagazin: Sie haben ChatGPT klassische Prüfungsfragen aus Ihrer Praxis im Fach Operations Management gestellt. Bei welchen Fragen brilliert der KI-Chatbot?
Terwiesch: Zum einen bei konzeptuellen Fragen, also zum Beispiel "Wie funktioniert ein Just-in-Time-System?" oder "Wie sieht das Qualitätssicherungsmodell aus?". Diese Fragen lassen sich zwar auch googeln oder irgendwo nachschlagen, aber ChatGPT kann anhand der richtigen Schlagwörter sehr schöne Texte dazu generieren. Das ist die große Stärke des Modells. Überrascht hat mich, dass ChatGPT auch einfache Rechenaufgaben lösen kann. Ich hatte das Beispiel eines Eisenerz-Prozesses. Anhand der Kapazitäten für verschiedene Schritte in der Produktion konnte das System identifizieren, wo der Engpass liegt. Ich war wirklich begeistert, wie ChatGPT das richtig durchrechnet und sauber formuliert. Ich habe die KI zudem gefragt, was die zeitsparendste Reiseroute für verschiedene Orte wäre, an denen ich einen Vortrag halten muss. Auch bei der Routenplanung lieferte die KI saubere Ergebnisse.
Personalmagazin: Aber es gibt auch Fragen, da ist das System total überfordert und produziert Blödsinn …
Terwiesch: Ja, genau! Erstes Beispiel: Es gibt im Operations Management die "Shortest Processing Time Rule". Dabei geht es darum, bei mehreren Aktivitäten, die alle gleich wichtig sind, die kürzeste als erstes zu erledigen. Ich habe ChatGPT vier Aktivitäten und die Dauer jeder Aktivität genannt und das System hat mir geraten, die „Shortest Processing Time Rule“ anzuwenden. Allerdings war ChatGPT nicht in der Lage, die vier Aktivitäten entsprechend zu sortieren. Was also ein Kindergartenkind geschafft hätte, da ist es auf die Schnauze gefallen. ChatGPT hat keine Vorstellung. Da ist ja nichts drin, das überhaupt sagt, was Verweilzeiten, Distanzen oder Kapazitäten sind. Das ist ein neuronales Netz, das nur auf Vorhersagen beruht, welches Wort als nächstes kommen könnte.
Nicht von menschlicher Sprache blenden lassen
Personalmagazin: Ist es also kein lernendes System, das aus den eigenen Fehlern lernen kann?
Terwiesch: ChatGPT hat keinen eingebauten Algorithmus. Deshalb weiß man nie, ob das System nicht einen totalen Bock schießt. Diese Fehleranfälligkeit macht ChatGPT nicht gerade zu einem verlässlichen Partner. Aber dennoch ist es faszinierend, was wir dem System alles zuschreiben. Ich habe mich selbst schon dabei ertappt, dass ich dem Bot eine Intelligenz zugesprochen habe, die objektiv nicht vorhanden ist. Einfach weil die Sprache so menschlich wirkt.
"Ich habe mich selbst schon dabei ertappt, dass ich dem Bot eine Intelligenz zugesprochen habe, die objektiv nicht vorhanden ist. Einfach weil die Sprache so menschlich wirkt." - Christian Terwiesch, Wharton School, University of Pennsylvania
Personalmagazin: Das hat auch damit zu tun, dass ChatGPT auf Hinweise reagiert und neue Lösungen präsentieren kann …
Terwiesch: Ja, da war ich baff. Ich hatte eine etwas schwierigere Aufgabe gestellt und nach dem Engpass in der Produktion einer großen Cranberry-Genossenschaft gefragt. Die Fabrik hatte eine Besonderheit: den Produktmix. Sie verarbeitete trockene und nass hergestellte Cranberrys. Da muss man die Kapazitäten unterschiedlich berechnen. Das hat ChatGPT zunächst komplett ignoriert. Dann habe ich einen Hinweis gegeben, wie man das manchmal in mündlichen Prüfungen tut, wenn die Studierenden auf dem Schlauch stehen: "Schau mal, hier gibt es einen Produktmix." Und plötzlich erklärt mir ChatGPT, wie wichtig der Produktmix bei solchen Aufgaben ist. Es ist beeindruckend, wie es einen solchen Wink mit dem Zaunpfahl verarbeiten kann.
ChatGPT ist (vorerst) nicht in Prüfungen erlaubt
Personalmagazin: Welche Konsequenzen ziehen Sie daraus: Ist den Studierenden die Nutzung von ChatGPT in Prüfungen erlaubt?
Terwiesch: Nein, erst einmal nicht. Wir müssen als Lehrende zunächst andere Fragen beantworten: Warum prüfen wir? Was ist der Sinn einer Prüfung oder einer Hausaufgabe? Bislang sind MBA-Prüfungen eine Form der Zertifizierung. Sie bescheinigen, was eine Person kann – also zum Beispiel Rechnungswesen. Dabei müssen wir ChatGPT oder andere intelligente Systeme verbannen. Denn das wäre geschummelt. So, wie wenn ein Freund die Prüfungsaufgabe für mich löst. Dann ist das Zertifikat nicht mehr aussagekräftig.
Personalmagazin: Aber ergibt es überhaupt noch Sinn, dass angehende Managerinnen und Manager solches Wissen lernen und bescheinigt bekommen, wenn das in der Praxis ein intelligentes System übernehmen kann?
Terwiesch: Also mit dieser Argumentation könnten wir ja sagen, dass wir sowieso alle Aufgaben im Team lösen. Dann brauchen wir Skills gar nicht mehr zu zertifizieren, weil das wird ja schon jemand anderes im Team können. Aber ich muss mich doch darauf verlassen können, dass eine Person diese Kompetenz selbst besitzt. Und da sind wir beim zweiten Grund, warum wir heute in den Business Schools prüfen: um zu wissen, wo die Studierenden stehen. Dazu nutze ich häufig das sogenannte "Cold Calling". Ich rufe einen Studenten oder eine Studentin spontan auf und frage: "Wie würden Sie an dieses Problem oder diese Aufgabe herangehen?" Für diese Art von Prüfung ist ChatGPT auch keine Hilfe. Ich möchte ja herausfinden, wie viel die Studierenden vom Lehrstoff verstanden haben. Wenn sie ein intelligentes System nutzen, könnte ich ihren Wissensstand überschätzen und Inhalte für die zehnte statt für die dritte Semesterwoche behandeln. Dann reden wir aneinander vorbei und die Studierenden können nicht mehr folgen.
Wir brauchen neue Prüfungen - dabei kann ChatGPT helfen
Personalmagazin: Und wie sieht es mit Hausarbeiten oder der Bearbeitung von Case Studies aus?
Terwiesch: Da wären wir bei der dritten Art der Prüfung. Bei Hausarbeiten und Case Preperations geht es nicht nur darum, Wissen abzufragen. Wir schaffen damit Möglichkeiten und Gründe, dass sich Studierende mit dem Material auseinandersetzen. Hierbei kann ChatGPT durchaus für neue und kreativere Formen der Auseinandersetzung sorgen.
Personalmagazin: Hat die klassische Case Study also ausgedient?
Terwiesch: Es braucht neue Formen von Case Studies, die immersiver sind. Ich könnte ChatGPT zum Beispiel sagen, dass es in die Rolle eines Einkaufsvorstands von BMW schlüpfen soll und sich mit einem Studenten über den Einkauf in Zeiten von Corona oder dem Krieg in der Ukraine unterhalten soll. Da kann man jetzt viel realistischere Situationen bauen, in denen man sich wirklich so fühlt, als wäre man in einer bestimmten Managementsituation. Bei solchen Hausaufgaben sollten wir ChatGPT nutzen, um Studierende noch besser auf das Arbeitsleben vorzubereiten. Dafür ist es ein tolles Werkzeug.
"Wenn man auf der Bühne steht, sollte man sich nicht auf Kinder, Tiere und Computer verlassen. Und eben auch nicht auf intelligente Systeme." - Christian Terwiesch, Wharton School, University of Pennsylvania
Personalmagazin: Bei Konversationen in Bing, wo ChatGPT inzwischen auch integriert ist, hat sich das System aber teils geistig schwer verirrt und im Ton vergriffen. Könnte das bei solchen immersiven Case Studies nicht auch passieren?
Terwiesch: Man redet da von Halluzinationen, wenn ChatGPT solche fatalen Fehler macht. Aber wie heißt es so schön: Wenn man auf der Bühne steht, sollte man sich nicht auf Kinder, Tiere und Computer verlassen. Und eben auch nicht auf intelligente Systeme. Uns ist ja auch klar, dass wir nicht alles, was in der FAZ oder im Spiegel steht, für bare Münze nehmen können. Wir sollten als Menschen immer noch kritisch denken können. Managerinnen und Manager müssen sich eine gewisse Grundskepsis erarbeiten. Wenn sie etwa einen Berater von McKinsey, Boston Consulting oder Deloitte beauftragen möchten, müssen sie schließlich beurteilen können: Passt das so Pi mal Daumen, was die einem vorrechnen? Stimmt die Größenordnung? Ergibt der Ansatz überhaupt Sinn? Das kann man mit ChatGPT wunderbar üben.
Mithilfe von KI und ChatGPT über den eigenen Tellerrand blicken
Personalmagazin: Sie haben ChatGPT auch die Aufgabe gegeben, selbst Prüfungsfragen zu produzieren. Was ist denn dabei herausgekommen – sind Sie als Professor künftig ersetzbar?
Terwiesch: Vermutlich schon. Aber ernsthaft: Ich finde, das ist die spannendste Anwendung von ChatGPT – neben der Möglichkeit einfach ein Entschuldigungsschreiben oder einen Standardtext aufzusetzen. Und zwar aus folgendem Grund: Bei Aufgaben wie der Bearbeitung von Kreditanträgen oder der Strukturberechnung von Brücken brauche ich eine hohe Zuverlässigkeit. Da ist selbst ein Fehler in zehn Fällen zu riskant. Bei kreativen Prozessen hingegen kann ich locker 90 Prozent Fehlerwahrscheinlichkeit tolerieren. Wenn ich unter zehn Ideen eine richtig gute habe, dann ist schon viel gewonnen. Und ChatGPT kann mir helfen, viele verschiedene Ideen zu generieren. Ich spiele selbst gerade mit den Aufgaben für ChatGPT, den sogenannten Prompts. Zum Beispiel kann man sagen: Stell Dir vor, Du wärst ein Sechsjähriger, ein Wesen vom Mars oder Steve Jobs – wie würdest Du dieses Problem lösen? Oder wie hättest Du diese Frage vor 300 Jahren beantwortet? So kann man in unbekannte Sphären eintauchen. Dabei geht es nicht darum, eine Aufgabe zu automatisieren, sondern die menschliche Entscheidungsfähigkeit zu stimulieren, anders über Probleme nachzudenken und sich selbst zu hinterfragen.
"Bei ChatGPT geht es nicht darum, eine Aufgabe zu automatisieren, sondern die menschliche Entscheidungsfähigkeit zu stimulieren, anders über Probleme nachzudenken und sich selbst zu hinterfragen." - Christian Terwiesch, Wharton School, University of Pennsylvania
Personalmagazin: Und das nutzen Sie, um Prüfungsfragen zu generieren?
Terwiesch: Wenn ich eine Aufgabe generiere, dann sollte die schon zum Großteil korrekt sein. Da möchte ich nicht, dass das Ding halluziniert und rumspinnt. Dann müsste ich ja sehr viele Vorschläge durchgehen – die Zeitersparnis wäre gering. Aber wenn ich über ein neues Forschungsprojekt nachdenke, dann hätte ich gerne maximale Varianz. Da kann man mit so einem System spannende Forschungsfragen generieren.
Ein praktisches Tool für Innovationen und kreatives Brainstorming
Personalmagazin: Inwiefern setzen Sie also ChatGPT konkret in Ihren Klassen ein?
Terwiesch: Vor allem in Kursen zu Produktentwicklung und Innovation – also, wenn es um Prozesse der Ideengenerierung geht. Studierende sollen mit fünf oder zehn Ideen reingehen und dann über ChatGPT noch weitere finden. Denn Varianz zu generieren, fällt uns Menschen sehr schwer. In jedem Brainstorming hört man die Standardweisheit: "No idea is a bad idea." Verbunden mit der Aufforderung: "Go crazy and go wild!" Aber wir sind in unserem Vorstellungsvermögen sehr begrenzt. Da hat uns ChatGPT etwas voraus.
Personalmagazin: Durch den Medienhype um ChatGPT ist hängen geblieben: Das System kann MBA-Prüfungen bestehen. Inwiefern ist das ein Imageproblem für teure MBA-Programme, die schon während der Coronapandemie wegen einer Verlagerung der Kurse ins Netz in der Kritik standen?
Terwiesch: Diese Entwicklungen werden einen existierenden Trend verschärfen: die Nachfrage nach hoher Qualität, Reputation und Exzellenz. Der Mensch lebt durch Narrative. Die Leute wollen sagen können, sie haben einen MBA von Wharton oder Harvard. Das schafft den Wunsch, dazuzugehören, den Business Schools in der zweiten Reihe so nicht erfüllen können. Daran ändert auch der Technologiedruck wenig. Meine Vorlesungen sind schon seit etwa zehn Jahren komplett auf Coursera erhältlich. Aber das hat Wharton nicht geschadet, im Gegenteil. Denn so können wir noch besser zeigen, was wir machen – in Forschung und Lehre. Zudem liefern wir den Studierenden ein Erlebnis und die Möglichkeit, Teil einer Gemeinschaft zu sein. Einer Gemeinschaft, die zusammen die Welt verändern wird.
Dieses Interview ist zuvor im Sonderheft "Personalmagazin plus: MBA-Programme 2023" erschienen, das Sie hier kostenlos als PDF herunterladen können.
Das könnte Sie auch interessieren:
Wo digitale Führungskräfte "gemacht" werden
Executive MBA: Weiterhin Gehalts- und Karrieresprünge möglich