Die neue KI-Verordnung – Ein Interview mit dem Privacy Experten Clemens Dorner

KI-Systeme haben sich rasant weiterentwickelt. Texte und Bilder sind schnell erstellt, doch um vor Missbrauch zu schützen, mussten regulierende Maßnahmen ergriffen werden. Am 1. August 2024 ist der AI Act in Kraft getreten. Zeit, zu klären was die KI-Verordnung besagt und welche Auswirkungen der AI Act auf den Haufe HR Assistant hat. Fällt dieser unter die Verordnung? Clemens Dorner, Senior Data Privacy Expert und Rechtsanwalt bei der Haufe Group hat die Antworten und erklärt, was es rund um den AI Act zu wissen gibt.  

Hinweis: KI-Modell vs. KI-System
In der Verordnung wird zwischen KI-Modellen und KI-Systemen differenziert. Als sog. großes Sprachmodell (engl. large language model, kurz: LLM) stellt z.B. OpenAI GPT 4 bereit. Darauf basieren verschiedene KI-Systeme, wie z.B. ChatGPT oder der Microsoft Copilot. Die Regulierung im AI Act bezieht sich regelmäßig auf KI-Systeme.

Was ist der AI Act?

Der AI Act ist eine Verordnung der Europäischen Union zur Regulierung von Künstlicher Intelligenz. Es ist ein Produktregulierungsgesetz. Anders als die Datenschutz-Grundverordnung (DSGVO), die die Betroffenen primär schützen und den Umgang mit Daten regulieren soll, zielt der AI Act auf Produkte ab, auf KI-Modelle, auf KI-Systeme. Erst in zweiter Linie zielt es auf den Schutz von Personen und deren Daten ab.  

Der Datenschutz der Nutzer ist aber mitgedacht? 

Der Schutz der Nutzer:innen ist auf jeden Fall mitgedacht, weil die KI-Verordnung einen risikobasierenden Ansatz hat, wenn es um die Kategorisierung von KI-Systemen geht. Es ist vergleichbar mit dem Medizinproduktegesetz. Das setzt auch Standards für Sicherheit, für die Entwicklung von Medizinprodukten wie z.B. Hörgeräte oder Sehhilfen und der gewollte Nebeneffekt ist natürlich, dass man die Menschen, die mit diesen Medizinprodukten in Berührung kommen, schützt. 

Warum braucht es den AI Act? 

Das ist eine sehr gute Frage und Kritik kam natürlich vor allem aus der Wirtschaft, weil wieder ein Bereich reguliert wird, der in den letzten Jahren große Schritte gemacht hat. Plakativ gesagt, macht der AI Act da nun den Deckel drauf. Oft heißt es: China und Amerika sind Vorreiter im Bereich der KI-Entwicklung und Europa im Bereich der KI-Regulierung.  

Doch diese Regulierung kommt nicht von ungefähr. Jeder kennt inzwischen Beispiele der Nutzung von KI und weiß, welchen Einfluss sie auf die reale Welt haben kann, sei es durch Falschinformationen in schriftlicher oder auch in Form von Bildern. Hat man früher ein Video oder ein Bild gesehen, dann war das Beweis genug, dass ein Ereignis wie dargestellt stattgefunden hat – diese Sicherheit gibt es nicht mehr, weil alles mit KI reproduzierbar ist. Die KI-Verordnung sieht in solchen Fällen vor, dass man verpflichtet ist, mit KI generierte Inhalte als solche zu kennzeichnen. 

Kannst du ein Beispiel nennen, wo die KI-Verordnung greift? 

In HR-Abteilungen kann ein KI-Modell beispielsweise bei der Sortierung von Bewerbungen helfen. Wurde das System mit Lebensläufen aus dem Unternehmen trainiert, weiß die KI, welche Lebensläufe eher den Vorstellungen des Unternehmens entsprechen – das kann beispielsweise der Wohnort, die Ausbildung oder das Alter sein. Das kann aber auch schnell zu einer Verzerrung der Ergebnisse führen, einem sogenannten Bias, wenn das Unternehmen bislang wenig Wert auf Diversität in der Belegschaft gelegt hat. Bewerber, die z. B. nicht den bereits genannten Kriterien entsprechen, würden benachteiligt, ob es das Unternehmen will oder nicht. Die KI-Verordnung soll so etwas verhindern, in dem unter anderem sichergestellt wird, dass die Trainingsdaten ausreichend repräsentativ sind. Das KI-Systemdiskriminiert nicht aus bösem Willen heraus. Die Ergebnisse können nur so gut sein wie die Trainingsdaten.

‍

KI-Systeme sind für die Verordnung nach Art. 3 Abs. 1 AI Act wie folgt definiert worden:  
"ein maschinengestütztes System, das für einen in unterschiedlichem Grade autonomen Betrieb ausgelegt ist und das nach seiner Betriebsaufnahme anpassungsfähig sein kann und das aus den erhaltenen Eingaben für explizite oder implizite Ziele ableitet, wie Ausgaben, wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erstellt werden, die physische oder virtuelle Umgebungen beeinflussen können." 

Handelt es sich beim HR-Assistant um ein KI-System im Sinne des AI Act? 

Aktuell ist der HR Assistant kein KI-System und damit nicht vom AI Act betroffen. Ein KI-System zeichnet sich auch dadurch aus, dass es antizipiert, was Nutzer:innen wissen möchten und die Antwort dann generiert bzw. aus den Trainingsdaten ableitet. Der HR Assistant folgt einem Entscheidungsbaum. Wie in einer Bibliothek, greift der HR-Chatbot in ein Regal und gibt dem Nutzenden die bereitgestellte Antwort.

In welche Risikoklasse ist der Chatbot einzuordnen? 

Mit der Umstellung vom Machine Learning auf ein LLM (Large LanguageModel) fällt der Chatbot unter Artikel 3 des AI Act. Dann ist der nächste Schritt zu prüfen in welcheRisikokategorie das System fällt. Darin gibt es 4 Kategorien:

1.       verbotene KI-Systeme
2.       Hochrisiko-KI-Systeme
3.       KI-Systeme mit geringem
4.       KI-Systeme mit keinem Risiko

Verboten sind KI-Systeme ,die auf subtile Verhaltensmanipulation ausgerichtet sind. Das sind etwas Social-Scoring KI-Systeme, die Auswertungen von sozialem Verhalten oder Vorhersagen zur möglichen Straffälligkeit machen sollen. Diese analysieren das Verhalten einer Person, seine Historie, was er aktuell macht, und ermittelt wie wahrscheinlich es ist, dass er oder sie straffällig wird.

‍

Geht man beispielsweise davon aus, dass man mithilfe eines KI-Systems eine Person sucht, die vermisst wird oder wegen des Verdachts einer Straftat gesucht wird, dann würde es sich dabei um ein Hochrisiko-KI-System handeln, jedoch kein unzulässiges. Denn die KI würde die Person nur identifizieren, aber keine eigenständige Bewertung durchführen.  

Welcher Kategorie wäre der HR-Chatbot zuzuordnen? 

Der HR-Chatbot fällt in die Kategorie „KI-Systeme mit begrenztem Risiko“. Da er im Bereich HR eingesetzt wird denkt man schnell auch an die Kategorie “Hohes Risiko”, allerdings erfüllt er hierfür nicht die gesetzlichen Anforderungen. KI-Systeme mit hohem Risiko fallen unter die Kategorie  mit den höchsten Anforderungen an Anbieter und Betreiber. Unser Chatbot ist für die Interaktion mit Menschen gedacht und hat damit nur ein begrenztes Risiko für die Nutzer.

Im AI Act gibt es mehrere Akteure – welche Pflichten und Rechte haben diese? 

Die zwei Hauptakteure sind der Anbieter, in diesem Fall also Haufe und der Betreiber. Der Betreiber ist der Bereitsteller. Das ist nicht die IT oder Personalabteilung, sondern die juristische Person, also das Unternehmen. Diese trifft wirklich ein großer Blumenstrauß an Pflichten – zu viele, um sie hier aufzuzählen. Doch die Pflichten sind gestaffelt über einen längeren Zeitraum. Der Betreiber hat viele unterschiedliche Pflichten, aber nicht so viele wie der Anbieter:

‍

• Die KI-Verordnung legt großen Wert auf eine menschliche Aufsicht und damit eine regulierende Instanz. Das sollte jemand sein, der sich mit KI-Systemen auskennt und Fehler erkennen
  kann, wenn die KI anfängt zu halluzinieren, indem sie z. B.Antworten erfindet und Falschaussagen trifft. 
• Der Betreiber muss überwachen, ob der Betrieb entsprechend der Betriebsanleitung erfolgt.  
• Der Betreiber muss den Anbieter über schwerwiegende Vorfälle oder Fehler im Betriebsablauf informieren.  
• Die automatisch erzeugten Protokolle muss er mindestens sechs Monate aufbewahren.  
• Mitarbeitende müssen vor der Nutzung des KI-Systems geschult werden. Die Mitarbeitenden müssen wissen, was das System macht, wann es zum Einsatz kommt, wie die Nutzungsbestimmungen aussehen usw.  
• Mitarbeitende müssen wissen, welche Prompts sie verwenden dürfen und was unzulässige Fragen sind, wie z. B. „wie mobbe ich Kollegen?“. Daher  muss es Nutzungsrichtlinien geben und die müssen vermittelt werden. Die Mitarbeitenden sollen den Mehrwert des KI-Systems kennenlernen und wo es sie unterstützen kann.  

Man darf sich von der Angst nicht lähmen lassen,  
denn KI kann eine Menge Arbeit abnehmen. 

Wie hat KI dir konkret geholfen? 

In meinem vorherigen Job als externer Datenschutzbeauftragter habe ich mir von der KI eine Datenschutzerklärung erstellen lassen. Natürlich habe ich es noch auf Kundenbedürfnisse angepasst und etwas überarbeitet, aber das Grundgerüst stand und ich habe mir eine Stunde Arbeit gespart. Und das ist auch eine Pflicht –man muss den Mitarbeitenden zeigen, was das System kann und wie es wirklich helfen kann.  

Müssen sich Nutzende Sorgen machen oder Angst haben, den HR-Chatbot zu nutzen? 

Nein, gar nicht! Wir arbeiten ja auch bei KI-Systemen so, dass sie nicht mit personenbezogenen Daten oder sensiblen Informationen trainiert werden und vor allem werden die Daten der Kunden und Kundinnen nicht für Trainingszwecke genutzt. OpenAI wurde das ja vorgeworfen. Sind Daten einmal in dem LLM, können sie nicht wieder „vergessen“ werden.  

Hochrelevantes geistiges Eigentum von Unternehmen darf nicht in die Welt entlassen werden, dafür unterschreiben wir Vertraulichkeitsvereinbarungen(NDA) und ein Verstoß hätte dann gegebenenfalls auch arbeitsrechtliche Konsequenzen. Um das zu verhindern, gibt man der KI vor, dass sie keine Eingabedaten für Trainingszwecke verwendet. Wenn die KI übergeben wird, ist sie voll trainiert. Sie nimmt dann keine Information mehr aus den Anfragen an und reproduziert sie dann an anderer Stelle. Je nach KI-Modell kann z. B. der HR-Chatbot aber noch speziell mit Trainingsinformationen ausgerüstet und auf das Unternehmen angepasst werden. So bekommen Mitarbeitende dann z. B. die richtige Ansprechperson im Unternehmen genannt.

‍

Muss jemand mit Strafen rechnen? 

Es gibt einen ordentlichen Bußgeldkatalog, ähnlich dem der DSGVO. Strafen müssen demnach auch wirksam, verhältnismäßig und abschreckend sein. Je nach Verstoß drohen Geldbußen bis zu 35 Mio. Euro oder bis zu 7 Prozent des weltweit erzielten Vorjahresumsatz – je nachdem welcher der beiden Beträge höher ist. Bei international agierenden großen Konzernen kann das eine enorm hohe Summe sein. Meta hat zuletzt wegen Verletzungen der DSGVO eine Strafe in Milliardenhöhe zahlen müssen. Bei Google war es immerhin ein zweistelliger Millionenbetrag. Anbieter riskieren genau solche Strafen, wenn sie sich nicht an den AI Act halten. Die Bußgelder sollen aber auch eine abschreckende Wirkung haben, damit Anbieter nicht wie Meta und Google ohne zu fragen Kundendaten nutzen, um ihre LLM zu trainieren und diese Daten in die Welt entlassen. 

Aber Betreiber brauchen sich keine Sorgen machen, vor allem weil die KI-Verordnung eine Vielzahl an Compliance- und Governance-Pflichten beinhaltet. Natürlich können Bußgelder verhängt werden, die aber natürlich verhältnismäßig sind, wenn ein Unternehmen vorsätzlich gegen den AI Act verstößt.  

Welche Maßnahmen müssen Unternehmen ergreifen, um auf der sicheren Seite zu sein? 

Wie schon erwähnt, muss es eine regulierende Instanz geben – eine kompetente, ausgebildete und befugte Person. Anders als in der DSGVO, die explizit einen Datenschutz-Beauftragten erforderlich macht, ist die Position eines KI-Beauftragten im AI Act nicht explizit genannt, aber in Art. 4 angedeutet. Die Verantwortung kann auf mehreren Schultern verteilt werden. So ein KI-Team besteht dann z. B. aus einer Kollegin aus der Personalabteilung, die weiß wie die KI zum Einsatz kommt, einem IT-Kollegen, der sich mit den Schnittstellen auskennt und sich um die Protokolle kümmert und jemandem aus dem Datenschutz oder der Rechtsabteilung. Natürlich gibt es dann unzählige Schulungen zur KI-Verordnung.  

Anbieter können Kunden und Kundinnen unterstützen, indem sie Dokumentationen mitliefern und bei der Einbindung tiefergehend unterstützen. Sie  können Betreiber über ihre Pflichten aufklären, wie sie diese Pflichten umsetzen und z. B. Leitfäden an die Hand geben. Formulare können beispielsweise direkt eingebunden werden, um die Dokumentation zu erleichtern.