Goodbye, Fragezeichen: Rechtliche KI-Grundlagen im Qualitätsmanagement kennen

KI-Risiken mit unerwünschter Schlagkraft

HALT! STOPP! Bitte verabschieden Sie sich gleich wieder von dem Gedanken, dass Sie KI im Qualitätsmanagement einsetzen könnten, ohne rechtliche Grundlagen zu beachten. Ansonsten holen Sie sich teils weitreichende Risiken ins Haus.  

Angefangen beim Thema Haftung. Verwenden Organisationen KI-Anwendungen, tragen sie die Verantwortung für die erstellten Inhalte. Bei irreführenden oder falschen Aussagen haften sie. Aus diesem Grund ist die Prüfung der generierten Inhalte essenziell. Komplexer gestaltet sich die Frage, wer für Fehler durch KI-Systeme geradestehen muss. Es lohnt sich, hierfür die Entwicklung der EU-KI-Haftungs-Richtlinie zu verfolgen.  

Ungewollte Diskriminierung entpuppt sich als weitere mögliche Folge der Technologie. KI-gestützte HR-Tools verdeutlichen dies: Per Algorithmus entscheiden sie über die Besetzung einer offenen Stelle. Leise schleicht sich die Gefahr ein, dass Personaler:innen den Grundsatz der Gleichbehandlung außer Acht lassen, wenn sie eine Stelle besetzen. Das gilt es zu vermeiden!  

Datenmissbrauch und -diebstahl, eine unzulässige Verarbeitung personenbezogener Daten sowie die Übermittlung dieser Daten an Systeme im Ausland sollten Unternehmen mit einer ganzheitlichen Datenstrategie umgehen. Bei Verstößen gegen die Datenschutz-Grundverordnung (DSGVO) drohen Bußgelder von bis zu 20 Millionen Euro oder bis zu 4 Prozent des weltweit erzielten Jahresumsatzes des vergangenen Geschäftsjahrs. Datenschutz und KI gehören also – nicht nur im Qualitätsmanagement – unbedingt zusammen.

Die EU schreibt Geschichte – mit KI-Verordnung

Drei Risiken, die wohl kein Unternehmen anzweifelt. Doch beim Handlungsspielraum herrscht in vielerlei Hinsicht Ungewissheit. Der Grund liegt auch in fehlenden Regulierungen. Deshalb hat die Europäische Union ein neues historisches Kapitel aufgeschlagen. Im Dezember 2023 erzielte Brüssel Einigung über die KI-Verordnung (KI-VO), ebenso bekannt als EU AI Act. Ein internationales Gesetz zur Regulierung Künstlicher Intelligenz war geboren – das erste seiner Art. 

Davon erhofft sie sich die EU mehr Klarheit, einen verantwortungsvollen Umgang mit der Technologie und besser geschützte Persönlichkeitsrechte. Gelingen soll dies mit der Unterteilung der KI-Anwendungsfelder in vier Risikoklassen: niedrig, mittel, hoch und inakzeptabel. 

Ferngesteuerte Gesichtserkennungssysteme oder Anwendungen, mit denen verschiedene Organe beispielsweise Bürger:innen überwachen, stellen Risiken für unsere Demokratie dar. Folglich fallen derartige KI-Anwendungen in die Kategorie „inakzeptabel“. 

KI-Tools für die kritische Infrastruktur, für Bildungs- und Ausbildungszwecke, Grenzkontrollen und Co. bringen laut der EU ein hohes Risiko mit sich. Dementsprechend erfahren diese eine stärkere Regulierung.  

Nun wird es für Unternehmen und QM-Beauftragte interessant: Die EU versieht generative KI für die Bild- und Textgenerierung mit dem Label „mittleres Risiko“ – dazu zählt beispielsweise ChatGPT. Künftig müssen Nutzer:innen und somit auch Firmen darüber informieren, ob es sich um einen KI-generierten Inhalt oder ein KI-generiertes Bild handelt. Das schafft mehr Transparenz für die Leser:innen und Betrachter:innen. KI-Anbieter wiederum müssen gewährleisten, dass ihre Anwendungen keine illegalen Inhalte erstellen.  

Keine rechtlichen Anforderungen gelten für KI-Anwendungen mit niedrigem Risiko, zum Beispiel KI-gestützte Spamfilter.  

Die Pflichten der KI-VO treten schrittweise in Kraft: Ab dem 2. Februar 2025 gelten die Kapitel I (Allgemeine Bestimmungen) und Kapitel II, das verbotene KI-Praktiken thematisiert. Weitere Kapitel erhalten im August 2025 Gültigkeit. Erst im Sommer 2027 werden die Einstufungen für Hochrisiko-KI-Systeme verpflichtend. Doch eine KI-Regulierung müssen Qualitätsmanagementbeauftragte schon heute berücksichtigen: die DSGVO.

Datenschutz und KI: Schon immer Pflicht! 

Grauzonen ausgeschlossen! Setzen Organisationen auf KI, müssen sie sich strikt an die DSGVO halten. Im Scheinwerferlicht stehen schützenswerte personenbezogene Daten, also Informationen über Kund:innen, Mitarbeiter:innen, Lieferanten und andere natürliche Personen. Vorgänge, in denen diese verarbeitet werden, müssen Verantwortliche identifizieren, benennen und kategorisieren, um am Ende auf einen rechtskonformen Prozess zu blicken.

Ganz konkret gelten für Unternehmen auch beim KI-Einsatz die fünf DSGVO-Grundsätze – Rechtmäßigkeit, Zweckbindung, Transparenz, Datenminimierung, Richtigkeit.  

• Rechtmäßigkeit: Die Verarbeitung von personenbezogenen Daten durch KI muss immer auf einer gültigen rechtlichen Grundlage erfolgen. Sie erfordert außerdem stets eine Erlaubnis – durch die betroffene Person, durch gesetzliche Grundlagen oder berechtigtes Interesse. 
• Zweckbindung: Klar definierte, rechtmäßige Zwecke – das sind Voraussetzungen für die Datenverarbeitung. Bei der Nutzung von KI-Tools müssen Verantwortliche diese festgelegten Zwecke sicherstellen.  
• Transparenz: Nach den Artikeln 13 und 14 DSGVO besteht eine Informationspflicht der Betroffenen. Die Art der Daten, der Zweck der Verarbeitung und die Funktionsweise der verwendeten KI-Modelle müssen Organisationen offenlegen.  
• Datenminimierung: Vorgeschrieben ist, dass Verantwortliche lediglich die Daten sammeln und verarbeiten, die für den jeweiligen Zweck nötig sind. KI-Systeme sollten sie mit nicht mehr Daten als erforderlich „füttern“.  
• Richtigkeit: Genaue und aktuelle Ergebnisse bilden das Ziel. Unternehmen müssen dafür Sorge tragen, dass die verwendeten KI-Tools mit qualitativen Daten arbeiten. 

Ergänzungen für Ihre KI-Checkliste

Diese fünf To-dos sind aber erst der Anfang für die datenschutzkonforme und rechtssichere KI-Nutzung im Qualitätsmanagement. Wichtig: Diese Auflistung ist nicht abschließend. Wir haben die zentralen DSGVO-Anforderungen und allgemeinen Aspekte lediglich auszugsweise angeführt.  

• Dokumentation: Artikel 30 DSGVO verpflichtet Sie, ein Verzeichnis der Verarbeitungstätigkeit zu führen. Bei der Nutzung von KI bedeutet dies, dass Sie das KI-System und seine Datenverarbeitungsprozesse detailliert dokumentieren müssen. 
  Tipp: Manche QM-Softwares unterstützen gezielt im DSGVO-Bereich und bieten zum Beispiel Mustervorlagen für ein Datenschutzhandbuch nach EU-DSGVO an wie orgavision. 
• Technische und organisatorische Maßnahmen: Ergreifen Sie für eine sichere Datenverarbeitung geeignete technische und organisatorische Maßnahmen (TOMs) – so will es auch Artikel 32 DSGVO.  
  Tipp: IT-Sicherheitsvorkehrungen wie Verschlüsselung, Zugriffskontrollen, Sicherheitsaudits und regelmäßige Sicherheitsupdates schützen Daten beispielsweise vor unbefugtem Zugriff, Verlust oder Missbrauch. 
• Folgenabschätzung: Führen Sie eine Datenschutz-Folgenabschätzung (DPIA) durch. Damit bewerten Sie Risiken der KI-Nutzung. Gleichzeitig erfüllen Sie die Anforderungen nach Artikel 35 DSGVO. 
• Fairness und Nichtdiskriminierung: Werfen Sie stets ein waches Auge auf KI-Ergebnisse – und halten Sie auch Ihre Kolleg:innen dazu an. So vermeiden Sie Diskriminierung oder Vorurteile durch KI-Entscheidungen.  
  Tipp: Erstellen Sie eine Bias-Checkliste für das Team. Fallbeispiele zu Diskriminierungsverstößen beispielsweise aufgrund des Geschlechts, des Alters oder der ethnischen Zugehörigkeit können hier sinnvolle Anker darstellen.    
• Aktualisierung: Überprüfen und aktualisieren Sie kontinuierlich Ihre KI-Systeme und Datenschutzpraktiken, um sicherzustellen, dass sie den geltenden rechtlichen Anforderungen und technologischen Entwicklungen entsprechen.  
  Tipp: Regelmäßige Aufgaben oder turnusmäßige Wiedervorlagen lassen sich super mit einer QM-Software anlegen und verwalten! 

Was sind wichtige Vertragsklauseln?

Zu Risiken und Nebenwirkungen fragen Sie am besten Jurist:innen. Doch ein paar Punkte dürfen in keiner Vertragsgestaltung zur KI-Nutzung fehlen.  

• Vertrag über die Auftragsverarbeitung: Schließen Sie diesen gemäß Artikel 28 DSGVO ab, wenn Sie einen Anbieter von KI-Software beauftragen, personenbezogene Daten zu verarbeiten. 
• Datentransfer: Regeln Sie dabei auch den Transfer von Daten. Server-Standorte wie die USA schließen Sie am besten aus. Ansonsten kann es zu Verletzungen der Datenschutzregulierungen im eigenen Land führen.  
• Geheimnisse: Halten Sie im Vertrag mit einem KI-Provider Geheimhaltungspflichten fest. So schützen Sie neben personenbezogenen Daten Geschäfts- oder Berufsgeheimnisse. 
• Eigentum: Ein klarer Appell: Schützen Sie Ihr geistiges Eigentum! Gerade für das Training oder den Verkauf an Dritte könnten KI-Services dieses nutzen. Außer natürlich, Sie haben das vertraglich geregelt.  
• Öffnungsklausel: KI ist schnelllebig. Denken Sie daher an eine Öffnungsklausel. Sie ebnet den Weg für Vertragsanpassungen.  

Ihr erster Schritt: KI-Bewusstsein

Künstliche Intelligenz bietet enormes Potenzial. Gehen Organisationen dem Thema jedoch blauäugig entgegen und schieben die (datenschutz-)rechtlichen Pflichten wissentlich beiseite, kann der KI-Einsatz schnell floppen. Am Anfang steht die Erkenntnis, dass KI nicht der Heilsbringer ist.