KI im steuerberatenden Berufsstand (FAQ-Katalog der BStBK) / 8.2 Wie können Fehler (Halluzinationen) und Verzerrungen (Bias) von KI erkannt und minimiert werden?

KI-Sprachmodelle wie ChatGPT arbeiten statistisch und können daher faktisch falsche Inhalte generieren, die allerdings auf den ersten Blick plausibel wirken – dieses Phänomen wird als Halluzination bezeichnet. Außerdem können sie aufgrund einseitiger Trainingsdaten verzerrte oder voreingenommene Ergebnisse (Bias) liefern. Um diese Fehlerquellen zu erkennen und zu entschärfen, sollten zunächst klare Richtlinien zur Nutzung, regelmäßige Schulungen sowie ein KI-Anwendungshandbuch vorhanden sein. Die Kanzleileitung sollte zudem bei Einführung und Kontrolle von KI-Tools eine aktive Rolle einnehmen.

Darüber hinaus kann und sollte jeder Nutzer von KI-Tools folgendermaßen vorgehen:

• Kenntnis der Schwächen: Man muss sich zunächst bewusst machen, wozu die eingesetzte KI fähig ist und wozu nicht. Eine KI hat kein echtes Verständnis bzw. denkt nicht, sondern errät statistisch wahrscheinliche Antworten. Das heißt, sie kann z. B. erfundene Rechtsgrundlagen oder Zahlen ausgeben, wenn diese plausibel klingen. Man sollte also besonders skeptisch bei überraschenden oder detailreichen Angaben sein, die man nicht selbst hergeleitet hat. Man entwickelt mit der Zeit ein Gefühl dafür, bei welchen Aufgaben die KI erfahrungsgemäß zuverlässig ist und wann sie zu halluzinieren neigt.
• Double-Check wichtiger Ergebnisse: KI-Ergebnisse sollten stets kritisch und durch unabhängige Quellen überprüft werden. Hat die KI etwa einen Gesetzeskommentar paraphrasiert, sollte ins Original geschaut werden. Bei Rechenoperationen (Steuerberechnungen, Prognosen) sollte stichprobenartig mit klassischen Methoden gegengerechnet werden. Quellverweise sollten angegeben werden, falls das System so etwas unterstützt – wenn nicht, erhöht die Kanzlei die Vorsicht.

Kurz: Jede wesentliche Aussage sollte verifiziert werden, bevo...