Was kann ChatGPT4 im Bereich Finance & Controlling und was (noch) nicht?

Überblick

Eine Reihe von aktuellen Forschungsprojekten ermittelte, wo die Stärken und Schwächen von generativer KI, speziell ChatGPT 4, im Controlling und Finance Kontext liegen (s. Tabelle 1)(Für Use-Cases im Auditing siehe Eulerich & Woods 2023).

Wie die Tabelle zeigt, können die Anwendungsbereiche den folgenden KI-Fähigkeiten zugeordnet werden: Erklären, Ideen generieren, Zusammenfassen, Berechnungen/Analysen, Jahresabschluss und Diagramme erstellen.

Erklären

Eine Stärke von GPT4 ist „Erklären“. Wenn es beispielsweise darum geht, Regulierung- und Finance- Konzepte zu erklären, schneidet GPT4 sehr gut ab. GPT4 kann außerdem Regeln auf konkrete Situationen übertragen und beispielsweise Fragen wie „Beschreiben Sie, wie die ergriffenen Maßnahmen zu einer Erhöhung des Betriebsergebnisses nach US-GAAP in der laufenden Periode führen werden.“ beantworten (Cheng et al. 2023). GPT4 ist somit in vielen Finance- und Controlling-Anwendungen die bessere Alternative zu einer Google-Suche.

GPT4 ist ebenfalls ausgezeichnet darin zu erläutern, ob bestimmte Praktiken mit ethischen Richtlinien vereinbar sind. Getestet wurde dies beispielsweise mit dem IMAs Statement of Ethical Professional Practice and the AICPAs Code of Professional Conduct (Cheng et al. 2023). Einsatzmöglichkeiten hierfür bestehen im Bereich Governance und bei internen Schulungen.

Wird aktuellen Large Language Modellen (LLM) Zugriff auf unternehmensinterne Regelwerke, Kennzahlendefinitionen etc. gegeben, können sie als Finance Chat Bot fungieren. Solche Chat Bots können mehr Transparenz für die Controlling Mitarbeiter herstellen und das Suchen nach Kennzahlendefinitionen und Berechnungsregeln abkürzen.

Anbieter wie SAP haben zunehmend „Chat with your data“ Funktionen integriert. Damit lassen sich Datenabfragen beschleunigen. Vorsicht ist jedoch insofern geboten, dass die KI möglicherweise eine andere Abgrenzung wählt, als der Nutzer intuitiv angenommen hat. Es ist deshalb sicherzustellen, dass die richtigen Stichtage verwendet wurden, die richtigen Produkt-Untergruppen ein- bzw. ausgeschlossen wurden etc.

Ideen generieren

Eine große Stärke von GPT4 besteht außerdem darin Ideen zu generieren. In Accounting und Finance Settings wurde GPT4 beispielsweise erfolgreich nach Maßnahmen zur Profitabilitätssteigerung gefragt und wie Prozesse angepasst werden müssen, um Bitcoin-Transaktionen zu unterstützen. Die Firma Uniper hat LLMs eingesetzt, um globale Risiken zu identifizieren (Emett et al. 2023). Auch für eine Due Diligence können generative KIs Anregungen geben, welche Aspekte bei einer Prüfung, in Abhängigkeit von der Branche, besonders beachtet werden sollten.

Zusammenfassen

Aktuelle KIs können Controllingmitarbeitern auch Zeit sparen, indem sie Information zusammenfassen. Getestete Use Cases bestehen z. B. in der Zusammenfassung von Nachhaltigkeitsberichten. GPT4 ist aber auch fähig, aus einer großen Excel-Tabelle mit vielen Sensitivitätsanalysen die wichtigsten Treiber zu identifizieren. GPT4 kann außerdem eingesetzt werden, um Transaktionsdaten zu prüfen und ist beispielsweise in der Lage, Zahlungsvorgänge ohne Genehmigung bzw. Doppelbuchungen zu identifizieren.

Berechnungen/Analysen

Bei mathematischen Berechnungen und quantitativen Analysen zeigt sich momentan noch ein sehr durchwachsenes Bild. Die Leistung von GPT4 variiert sehr stark in Abhängigkeit von der Aufgabenstellung. Einfache Rechnungen funktionieren in der Regel problemlos. Gibt man GPT4 z. B. eine Excel-Tabelle mit Jahresüberschuss, Abschreibungen und Investitionen ins Anlagevermögen von verschiedenen Business Units und gibt einen Prompt wie „Errechne die Cashflows“, so führt es die Berechnung korrekt aus (siehe Abbildung 1). Es ist auch in der Lage, diese Cashflows gemäß der BCG-Matrix  zu interpretieren.

GPT4 besteht Wirtschaftsprüferexamen (Certified Public Accountant, CPA) und ähnliche Zertifizierungsprüfungen wie CMA (Certified Management Accountant) und CIA (Certified Internal Auditor mit 70-85% der Punkte (Eulerich et al. 2023) – was vielen menschlichen Prüflingen nicht gelingt.

Bei komplexeren Aufgabenstellungen hingegen versagt die Berechnung hingegen regelmäßig.

Abbildung 2 zeigt eine Aufgabenstellung in Excel, die GPT4 nicht in der Lage war korrekt zu lösen.

Insbesondere kann man sich nicht darauf verlassen, dass eine Aufgabe, die bei einem Durchlauf korrekt gelöst wurde, beim nächsten Durchlauf wieder korrekt gelöst wird. Insofern eignet sich GPT4 momentan also nur für triviale Rechenaufgaben und in einem Kontext, in dem das Ergebnis bei Ungenauigkeit keine schwerwiegenden Konsequenzen hervorruft.

Sehr aufschlussreich war ein Experiment mit 758 Beratern der Boston Consulting Group (BCG). Während die Kontrollgruppe ohne KI arbeitet, löste die andere Gruppe die gleichen Aufgaben mit KI. Bei produktentwicklungsbezogenen Aufgaben, die eher in die Ideen-Generierung fallen, schnitt die Gruppe mit KI deutlich besser ab. Sie erreichte 12,2 % mehr abgeschlossene Aufgaben, waren 25,1 % schneller und erzielten eine 40 % höhere Qualität. Bei der einzigen Aufgabe mit einer Excel-Tabelle mit Finanzdaten hingegen, aufgeschlüsselt nach Marken, schnitt die Gruppe mit KI schlechter ab: Bei Beratern, die KI einsetzten, war die Wahrscheinlichkeit, korrekte Ergebnisse zu erzielen, um 19 Prozentpunkte geringer (Dell'Acqua et al. 2023). Bei komplexen Controlling Aufgaben unter Zeitdruck verschlechtert die Nutzung von GPT4 also das Ergebnis.

Diagramme

Die Standardversion von GPT4 ist momentan noch nicht besonders gut darin, aus Daten Diagramme zu erstellen. Es werden zwar Bilder generiert, diese sind jedoch häufig sehr fantasievoll und haben wenig mit den zu Grunde liegenden ökonomischen Daten zu tun. Bei der Bildgenerierung werden darüber hinaus manchmal Begriffe falsch geschrieben oder erfunden, was im Kontext von Kennzahlen zu Verwirrung führen kann. Abbildung 3 zeigt links meine Musterlösung und rechts den Lösungsvorschlag von GPT4.

Möglicherweise besser funktionieren könnte es, GPT4 nach dem Programmiercode für R oder Python zu fragen und dann in diesen Programmen die Abbildung zu erstellen.

Fazit

Abschließend ist festzustellen, dass für fast jede Controlling Abteilung ein oder mehrere mögliche Use-Cases existieren. Diese bestehen allerdings nicht in der komplexen Datenanalyse oder Verarbeitung von Jahresabschlüssen, sondern eher in begleitenden und unterstützenden Aufgaben. Es bleibt spannend abzuwarten, wie die zukünftigen LLMs die Grenze der nützlichen Use-Cases im Controlling verschieben werden.

Quellen:

Cheng, X., Dunn, R., Holt, T., Inger, K., Jenkins, J. G., Jones, J., & Wood, D. A. (2023). Artificial intelligence’s capabilities, limitations, and impact on accounting education: Investigating ChatGPT’s performance on educational accounting cases. Issues in Accounting Education, 1-25.

Dell'Acqua, F., McFowland, E., Mollick, E. R., Lifshitz-Assaf, H., Kellogg, K., Rajendran, S., & Lakhani, K. R. (2023). Navigating the jagged technological frontier: Field experimental evidence of the effects of AI on knowledge worker productivity and quality. Harvard Business School Technology & Operations Mgt. Unit Working Paper, (24-013).

Emett, Scott A. and Eulerich, Marc and Lipinski, Egemen and Prien, Nicolo and Wood, David A., Leveraging ChatGPT for Enhancing the Internal Audit Process – A Real-World Example from a Large Multinational Company (July 18, 2023). Available here

Eulerich, M., Sanatizadeh, A.,Vakilzadeh, H. & Wood, D. A. (2023). Is it All Hype? ChatGPT’s Performance and Disruptive Potential in the Accounting and Auditing Industries. Available at SSRN: https://ssrn.com/abstract=4452175 or http://dx.doi.org/10.2139/ssrn.4452175

Eulerich, M. & Wood, D. A. (2023). A Demonstration of How ChatGPT Can be Used in the Internal Auditing Process. Available here

Mahlendorf, M. D. (2024). Nutzung von generativen AI im Controlling- und Finanzbereich, 4. Jahreskonferenz Performance Management & Controlling, Frankfurt School of Finance & Management, 20 February 2024

Nestlé, personal communication, 20 February 2024

Ni, J., Bingler, J., Colesanti Senni, C., Kraus, M., Gostlow, G., Schimanski, T., Stammbach, D., Vaghefi, S., Wang, Q., Webersinke, N., Wekhof, T., Yu, T. & Leippold, M. (2023). chatReport: Democratizing Sustainability Disclosure Analysis through LLM-based Tools. Swiss Finance Institute Research Paper No. 23-111, Available  here