Willkommen zum Podcast Kaffeerecht von der Kanzlei TWW Law mit rechtlichen Themen für Kreative, Unternehmer und Unternehmen. Hallo und herzlich willkommen zu einer neuen Folge unseres Podcasts Kaffeerecht, der letzten Folge für dieses Jahr. Und an diesem Mikrofon, wie gewohnt, Dennis Tölle und am anderen Mikrofon. Marvin El-Refay.

Ich finde es super, dass wir ein ganzes Jahr Podcasts jetzt langsam rum haben. Nicht, weil es rum ist, sondern weil es einfach irgendwie dann doch schnell vorbeiging. Aus meiner Sicht beenden wir das Jahr mit einem sehr spannenden Thema. Und zwar KI im Unternehmen.

Und ja, ich bin super gespannt auf die Folge und danach freue ich mich aufs neue Jahr. Ja, in der Tat. Es ist ein Thema, das wir rausgesucht haben, weil es in der Praxis eine große Rolle spielt im Moment. Und weil, gut, man könnte jetzt sagen, daraus könnten wir auch noch sieben Folgen machen, weil wir, glaube ich, einzelne Punkte, die jetzt da auch vielleicht noch gar nicht so klar sind, dann recht oberflächlich behandeln.

Aber ich glaube, so einen Überblick zu geben ist erstmal wichtig. Und dann können wir mal gucken, ob man in kommenden Folgen oder vielleicht auch auf Feedback hin dann nochmal ein bisschen intensiver behandelt. Und ja, schauen wir mal, was uns da erwartet. Ja, ich glaube, also gerade weil du ja das gerade angesprochen hast, dass wir am Ende des Jahres sind.

Wir haben ja schon über das Jahr hinweg häufiger mal KI-Themen gehabt, KI und Urheberrecht oder vergleichbare Sachen. Und wir haben immer gesagt, dass das ein Thema ist, was gekommen ist, um zu bleiben. Und ich glaube, man merkt das jetzt immer mehr, dass auch viele KI-Produkte auf den Markt kommen, die einfach echten Nutzen haben. Und insbesondere auch Nutzen haben für Unternehmen, nicht unbedingt um Personal abzuschaffen, sondern einfach nur um Prozesse zu verschnellern, effizienter zu gestalten, vielleicht auch Inhalte zu generieren und dadurch Sachen besser zu machen.

Ob infolgedessen dann tatsächlich Personal abgebaut wird, bleibt abzuwarten. Das ist ja immer die große Befürchtung und sicherlich auch nicht immer ganz unberechtigt, die Befürchtung. Schlauer sein werden wir da erst später, dann wird man sehen, wie die Entwicklung ist. Weil was man immer noch und immer wieder feststellt, ist, dass also so schön diese KI-Systeme sind und KI-Tools sind, so unperfekt sind sie halt auch und so wenig können sie einen Menschen derzeit ersetzen.

Vielleicht ganz kurz einmal, damit man so ein bisschen für die Hörerinnen und Hörer einordnen kann, worum es uns jetzt hierbei geht in dieser Folge. Also es geht tatsächlich ganz konkret um den Einsatz unterschiedlicher Tools im Unternehmen. Das heißt also, das sind so, ich meine, gut, der große Klassiker in Anführungsstrichen wird ChatGPT sein, wird Co-Pilot sein, werden Bild- und Video-generierende Tools sein, können aber eben auch noch ganz andere Sachen sein. Also ich sage mal, wenn wir von KI reden, wir gucken gleich mal, wie wir da vielleicht irgendetwas definiert bekommen oder auch nicht.

Das können ganz andere Sachen auch sein. Das können Chatbots sein, das können irgendwie Content-Erstellung sein, wie wir das eben schon gesagt haben. Das können irgendwelche Analyse-Tools sein für große Datenmengen, irgendwelche Logistik-Sachen, Automatisierung in der Logistik. Also auch all diese Dinge, die im Unternehmen eben, wie du sagst, Prozesse optimieren, beschleunigen können, die können grundsätzlich unter KI fallen.

Es ist nicht immer nur ChatGPT, der mir dann eine Mail formuliert, auch wenn das immer ein gutes Beispiel ist, an dem wir uns wahrscheinlich hier auch noch ein paar Mal orientieren werden. Ja, und insoweit kann man eine Sache nochmal vorwegnehmen, also KI ist immer irgendeine Form von Software, die ich verwende und was vielleicht auch ganz wichtig ist, es geht ja auch darum, es geht nicht nur uns darum zu gucken, wenn KI von einem Unternehmen mit Kunden oder der Außenwelt sozusagen interagiert, sondern wir wollen uns auch zumindest grob anschauen, wie ist es denn, wenn ich innerhalb des Unternehmens, also wenn Arbeitnehmer KI-Produkte einsetzen und das gar nicht mal sozusagen das Licht der Welt erblickt, sondern es einfach nur innerhalb des Unternehmens bleibt. Das wollen wir uns beides anschauen und ich glaube, eine Sache kann man vielleicht sogar vorwegnehmen. Es ist sinnvoll und eigentlich auch notwendig, dass Unternehmen sich mit diesem Thema beschäftigen, denn was sozusagen nicht passieren sollte oder darf, ist eigentlich, dass einfach KI-Produkte verwendet werden von den Arbeitnehmern, weil sie sagen, na gut, das ist schlau, wenn ich jetzt hier mir eine E-Mail vorformulieren lasse von ChatGPT, ohne dass der Arbeitgeber sozusagen davon weiß, beziehungsweise dass der im Prinzip das irgendwie vorab unterrichtet hat, wie man das dann zu verwenden hat.

Ja, das ist wohl wahr. Wollen wir uns, also wir kommen nachher noch auf die KI-Verordnung zu sprechen, aber wo wir gerade dabei sind, welche Tools das denn nun alles sein können, Du hast einen Punkt schon angerissen, KI ist immer Software. Das resultiert so ein bisschen aus der KI-Verordnung oder aus den Erwägungsgründen der KI-Verordnung, die EU-weit eben gilt und die auch eine Definition für KI-Systeme bereithält. Diese Definition, wie das bei juristischen Definitionen häufig so ist, die lässt sich lesen und lässt sich interpretieren und deuten.

Wir sollten aber sicherlich einmal kurz darüber sprechen, wie diese Definition lautet. Und zwar sagt die KI-Verordnung, dass ein KI-System, das ist der Begriff, der da definiert wird, ein maschinengestütztes System ist, das heißt also, klare Abgrenzung zu irgendwas Menschlichem, die als erstes für einen autonomen Betrieb ausgelegt ist, das heißt also, eine Selbstständigkeit ist irgendwie Teil dieser Definition, das aus den erhaltenen Eingaben explizite oder implizite Ziele ableitet. Das heißt, Folge dieses autonomen Betriebs kommt etwas Eigenes heraus. Das können Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen sein.

Und die müssen erstellt werden und die müssen die physische oder virtuelle Umgebung beeinflussen können. Das ist das, was der EU-Gesetzgeber sich unter einem KI-System vorstellt. Wenn wir jetzt das eben benannte Beispiel nehmen, irgendwie einen Chat-GPT, das auf einem Large-Language-Modell basiert, dann wird man wohl sagen können, das kann man immer noch diskutieren, ist das Language-Modell nicht eigentlich ein Modell, kein System und Chat-GPT dann das KI-System dazu. Diese Diskussion machen wir jetzt mal gerade nicht auf, aber grundsätzlich kann man sagen, Chat-GPT fällt natürlich unter ein KI-System, wie die EU sich das vorgestellt hat.

Komplizierter wird das sicherlich, wenn man sagt, okay, ich habe eben etwas, wo vielleicht auch Autonomität, wo der selbstständige Teil fehlt und ich tatsächlich gar nicht eine eigene Entscheidung habe, die dieses System trifft, sondern ich nur in Anführungsstrichen Einzelschritte dieser Definition habe. dann habe ich vielleicht gar keine KI, dann ist diese Verordnung gar nicht anwendbar. Da muss man sich tatsächlich jedes Software sehr genau anschauen und muss wahrscheinlich dann auch mal so ein bisschen dahinter blicken durch die eigene IT, durch eine externe IT oder durch den Anbieter, der das eben dann anbietet. Aber in der Tat, da kommt schon so ein bisschen die erste Hürde, bin ich hier überhaupt mit einem KI-System unterwegs, wenn ich eben nicht einen der Klassiker benutze, ja, Co-Pilot und Co.

Ja, ich glaube, man tut gut daran, dass wenn ein Produkt als KI-Produkt ausgewiesen ist, dass man das dazu entsprechend auch behandelt und erstmal im Grunde nach sozusagen davon ausgeht, dass es auch unter die KI-Verordnung fällt, zumindest unter die Definition eines KI-Systems. Ich habe dazu auch einen sehr interessanten wissenschaftlichen Aufsatz bisher nur überflogen, den ich wollte nochmal ausführlicher lesen, wo es darum ging, dass auch Chat-GPT sozusagen noch keine echten Entscheidungen treffen kann, wie es sozusagen Menschen können, aber das ist dann eher sozusagen die wissenschaftliche Diskussion, die drumherum entstanden ist. Ich glaube, wir tun gut daran, das fast nicht aufzumachen, sondern uns eben darauf zu beziehen, was auch die Europäische Kommission oder die EU generell erreichen wollte. Und dass es ganz klar war, ChatGPT das prominente Beispiel, was vor Augen war, als die KI-Verordnung jetzt an Fahrt aufgenommen hat.

Und deswegen müssen wir oder sollten wir auch davon ausgehen, dass entsprechende KI-Produkte wie ChatGPT und Co. darunter fallen. Dann lass uns doch mal mit dem ersten groben Überpunkt, den wir uns hier rausgesucht haben, beginnen. Und zwar letztlich so ein bisschen einen Überblick, was für rechtliche Aspekte spielen eine Rolle, wenn ich jetzt irgendwie KI nutzen will.

Da gibt es, glaube ich, im Großen und Ganzen drei, vier Punkte, die eine entscheidende Rolle spielen. Ja, aufgrund der Natur von KI und der Art, wie KI sozusagen interagieren kann oder mit Menschen interagiert aktuell, ist der rechtliche Rahmen oder die betroffenen rechtlichen Gebiete sehr weitreichend. Das heißt, wir können über urheberrechtliche Fragestellungen reden, Wir können über datenschutzrechtliche Fragestellungen reden und natürlich auch über die KI-Verordnung reden. Man muss eigentlich auch immer an Antidiskriminierungs-Fragestellungen denken, die wir jetzt vielleicht ein bisschen ausklammern wollen.

Ich weiß nicht, hast du einen Favoriten, mit dem du gerne beginnen wolltest? Ja, das Urheberrecht ist immer mein Favorit. Natürlich, natürlich. Nein, also tatsächlich ist es so, dass wir über einzelne Punkte gleich noch intensiver sprechen.

Deswegen würde ich das Urheberrecht jetzt mal ein bisschen rausnehmen, weil es tatsächlich in dieser Konstellation eine Rolle spielt, die, naja, also es spielt eine Rolle, aber es ist vielleicht nicht die entscheidende Rolle und zumal die Aspekte auch nicht so weltbewegend neu sind. Wir müssen von der Konstellation, glaube ich, schauen, dass, sagen wir mal, also wir nehmen das Beispiel ChatGPT. Ich habe ein Unternehmen und im Unternehmen ist es den Angestellten möglich, dass sie ChatGPT nutzen mit Unternehmensaccounts, einzelnen Subaccounts. Und dann gibt es zwei Konstellationen.

Zum einen ist die Konstellation, die hier relevant sein soll, dass ich urheberrechtlich geschützte Dinge eingebe in ChatGPT. Und dann kommt irgendwas bei raus. Und da stellt sich zum einen die Frage, was ist denn mit den Sachen, die ich da hereingebe als Eingabe? Das kann ich selber tippen, ich kann Dokumente hochladen, Filme, Bilder, alles Mögliche.

Und dann kann ich da irgendwelche Dinge mitmachen lassen. Ich glaube, worüber man nicht diskutieren muss, ist, dass das Urheberrecht insofern tangiert ist, als dass ich eine Nutzungshandlung habe. Wenn ich, ich nehme irgendwie ein Bild oder einen Text, Das ist ein umhörbrichtig geschütztes Bild, kein KI-generiertes. Und werfe es in Chat-CBD rein und sage, mache irgendwas damit.

So, dann habe ich jedenfalls mal eine Vervielfältigungshandlung. Und dafür brauche ich eine Rechtfertigung. Entweder eine Einwilligung oder eine gesetzliche Rechtfertigung. Im unternehmerischen Bereich wird es schwierig, dass ich da irgendwas Gesetzliches finde.

Es gibt so Privatnutzungsschranken, gibt natürlich auch das Zitatrecht. Aber das wird hier nicht einschlägig sein. Und das heißt, ich habe grundsätzlich ein Thema, wenn ich urheberrechtlich geschützte Werke nehme und sie dort reingebe und verarbeite. Grundsatz ist der, ich brauche dafür eine Einwilligung.

Punkt. Da gibt es jetzt keine große Frage drumherum. So, und dann kommt da irgendwas bei raus. Ich habe irgendwie gesagt, mach mal mit dem Text hier irgendwas.

Dann kommt da wieder ein Text raus oder es kommt vielleicht auch ein generiertes Bild raus. dann ist auch an der Stelle mittlerweile nicht abschließend geklärt, das ist immer ein bisschen schwierig zu sagen in dieser Konstellation, aber es ist jedenfalls im Moment der Stand, das, was da rauskommt, ist urheberrechtlich nicht geschützt. Das heißt, mit dem Ergebnis kann ich in Anführungsstrichen machen, was ich möchte, wobei man hier vielleicht noch so ein bisschen berücksichtigen muss, dass möglicherweise, je nachdem, was dabei rumgekommen ist und wie groß der Aufwand der Erstellung tatsächlich für das Unternehmen war, ein Leistungsschutzrecht in Betracht kommt. Das heißt, es kann durchaus so sein, dass wir die Konstellation haben im KI-Bereich, wenn ich im unternehmerischen Bereich etwas erzeugen lasse, dann geht es weg von diesem Urheber ist immer der Mensch, das bleibt natürlich, aber auf einmal hat das Unternehmen sehr viele Rechte an diesen erzeugten Inhalten, nämlich Leistungsschutzrechte.

Wie gesagt, da gibt es unterschiedliche Konstellationen, Filme, Laufbilder, Sendungen, Tonaufnahmen, Presseerzeugnisse in Teilen. Und da gibt es eben Leistungsschutzrechte, die allein die Leistung desjenigen schützen, der diese ganzen Dinge in die Welt bringt. Das ist aber auch nicht abschließend entschieden oder diskutiert. Was schon mehrfach entschieden wurde, national wie international, ist, dass es jedenfalls keinen Urheberrechtsschutz genießt, weil es an einem menschlichen Schöpfungsakt fehlt.

Das heißt, wenn da irgendwie ein Text rauskommt, tatsächlich kann jedenfalls das Unternehmen damit erstmal machen, was es möchte. So, und an der Stelle bin ich mit dem Wailberecht eigentlich durch. Was keine Rolle spielt, jedenfalls nicht in der Diskussion in diesem Podcast, ist die Frage, welche Sachen verwende ich denn eigentlich, um zugrunde liegende Modelle zu trainieren etc. Weil ich als Unternehmen, wenn ich KI-Produkte mir ins Unternehmen hole und damit arbeite, bin dann, kann man schon wieder vorwegnehmen, bin Betreiber und nutze das nur und generiere kein eigenes Modell oder reiche es an etc.

Ja, also bin ich kein Anbieter. Ja, also ich würde auch, nur um das sozusagen nochmal herauszukristallisieren, also die relevante Handlung, wenn man so will, ist das Geben von urheberrechtlich geschütztem Material in die KI, nicht unbedingt das, was dabei rauskommt. Natürlich kann man aber auch darüber nachdenken, dass wenn ich jetzt mir etwas KI generieren lasse und das dann aber aufwendig noch selber verarbeite, dass dann irgendwann in dem Prozess auch noch ein Urheberrecht entsteht. Das ist gar nicht mal ausgeschlossen.

Das ist auch sehr, sehr gut möglich. Aber was immer sehr relevant ist oder worauf Unternehmen dann auch spezifisch achten sollten und müssen ist, dass keine urheberrechtlich geschützten Inhalte in die KI gegeben werden oder nur dann, wenn sie sozusagen die Verwendungsrechte in dieser Form auch haben. Dann kommen wir von deinem Lieblingsthema zu meinem Lieblingsthema, dem Datenschutz, was auch immer sehr, sehr wichtig ist, wenn es um KI geht, denn häufig könnte man auf die Idee kommen oder wird man auch auf die Idee kommen, personenbezogene Daten dabei zu verarbeiten. Das heißt, wenn ich jetzt ChatGPT sage, bitte antworte Herrn Müller mit dem folgenden Inhalt oder bitte erstelle mir eine entsprechende E-Mail, dann habe ich ja alleine schon den Namen jetzt gerade im Prompt verwendet und möglicherweise habe ich auch ChatGPT noch die E-Mail, die ich selbst erhalten habe, hinzugefügt und dann sind da eine Menge personenbezogene Daten dabei und das ist eine Verarbeitung von personenbezogenen Daten.

und dann meldet sich die DSGVO und sagt, hör mal, das musst du aber hier beachten, dass du sozusagen eine Rechtsgrundlage für diese Verarbeitung hast. Ja, aber ich bringe einen Einwand aus der Praxis. ChatGPT und auch Microsoft haben alle gesagt, dass ihre Server in der EU stehen. Das ist ja gar kein Problem jetzt mehr mit dem Datenschutz.

Das ist ein sehr guter Einwand. Leider nicht ganz richtig, denn eine Datenverarbeitung kann ja auch dann vorliegen, wenn sozusagen Daten nur auf Servern hier in der EU verarbeitet werden. Die DSGVO unterscheidet sozusagen in Datenverarbeitung und Datenübermittlung in Drittstaaten, also in Nicht-EU-Staaten. Das heißt, wir müssten noch besondere Voraussetzungen erfüllen, wenn die Daten auch auf Servern in beispielsweise den USA verarbeitet oder gespeichert werden würden.

Aber die Grundvoraussetzungen müssen wir auch so schon einhalten, das heißt Rechtsgrundlage. Und Rechtsgrundlage bedeutet in unserem Fall entweder Einwilligung oder Vertragserfüllung. Vielleicht, um das nur einmal vorab zu sagen, häufig wird auf die berechtigten Interessen des Unternehmens verwiesen oder könnte man auf die berechtigten Interessen verweisen als Rechtsgrundlage. Diese müssten dann überwiegen gegenüber den grundrechtlichen Interessen der betroffenen Person, das heißt dem Recht auf informationelle Selbstbestimmung.

Und sicherlich kann man dann hier noch das Argument einbringen, naja, der Betroffene ist ja auch, die betroffene Person ist ja auch interessiert daran, eine schnelle E-Mail-Antwort zu bekommen und die wird umso schneller und besser gemacht, wenn ChatGPT helfen kann. Ich gehe persönlich aber davon aus, dass Gerichte sich nicht dem anschließen würden und eher erwarten würden, dass man eine Einwilligung gegeben hat oder aber, dass zur Vertragsausfüllung unabdingbar ist. Und auch da muss ich sagen, ich habe jetzt gerade keinen Vertrag vor Augen, wo es unbedingt notwendig ist zur Vertragserfüllung, dass ich die E-Mail von ChatGPT erstellen lasse. Das bedeutet am Ende des Tages, ich muss leider von meinem Kunden oder von meinem Mandanten oder sonst wem, muss ich eine Einwilligung vorab eingeholt haben, dass ich diese personenbezogenen Daten entsprechend verwenden darf.

Und dann ist leider das Problem, dass wir uns mit der Zweckbindung und mit der Datenminimierung beschäftigen müssen. Das heißt, das muss eine zweckgebundene Einwilligung sein, wo ganz klar vorher feststeht, wie ich diese Daten verwende, wie ich die in diesem KI-System verwende. Ich muss die Datenminimierung beachten, dass ich eigentlich möglichst wenig Daten verarbeite und wenn ich sie verarbeite, sie möglichst schnell auch wieder lösche. Und all das muss auch gegenüber dem Betroffenen transparent sein und er muss darüber informiert sein.

Und da ist die DSGVO in der Verarbeitung personenbezogener Daten doch eine relativ große Hürde, die man nicht ganz so leicht nehmen kann. Wenn wir jetzt das Beispiel nehmen, was du hattest, also Beantwortung einer E-Mail. Also ich sage mal, es ist ja so, dass ich, wenn ich zum Beispiel Microsoft Copilot einsetze, dann, naja, dann kann ich mich gar nicht dagegen wehren, dass da vielleicht sogar schon eine Antwort vorformuliert wird. Wenn ich davon ab, ich meine, es gibt unterschiedliche Vereinbarungen, die ich mit Microsoft dann treffe natürlich, bevor ich Copilot überhaupt einführen kann in meinem Unternehmen.

Das muss ich natürlich auf Unternehmensseite dann entsprechend absichern und in der Tat, da ist es dann vielleicht so, dass ich sagen muss, okay, ich brauche Einwilligungen und ob die dann eben so zweckgebunden sein können überhaupt, gut, das ist nicht entschieden, da gibt es glaube ich auch unterschiedliche Auffassungen. Aber wenn ich jetzt hergehe und sage, okay, ich will aber trotzdem eine E-Mail-Antwort formulieren, ich will, dass ChatGPT das macht, weil es ist schneller und berücksichtigt auch Sachen, die ich nicht habe. Also ich sage mal, machen wir uns nichts vor. Also ich bekomme E-Mails, die sind offensichtlich von ChatGPT formuliert, von Menschen.

Menschen, die vorher anders geschrieben haben, schicken mir auf einmal E-Mails, die, und wenn es nur Rechtschreibfehler frei ist, ja, also das sind so Dinge, das fällt auf. So, und wenn ich vorher einen bestimmten Stil hatte und wenn ich vorher immer meine Rechtschreibfehler da drin hatte und auf einmal kriege ich so brillant und klar formulierte E-Mails, woher soll das denn auf einmal kommen, außer aus einer KI? Aber davon ganz ab, wenn ich diese E-Mail, die ich bekommen habe, jetzt nehme und dann entferne ich eben alle Personenbezogenen, dann steht da nicht mehr Herr Müller drin und aus dem Text, der da als Anfrage drinsteht, ergibt sich jetzt auch nichts, wäre das ja unproblematisch tatsächlich möglich. Dass ich sage, formuliere eine Antwort hierauf, den persönlichen Teil muss ich dann eben ergänzen, aber dann wäre ich aus dem datenschutzrechtlichen Bereich raus.

Genau, also man muss immer daran denken, dass es nicht nur um personenbezogene Daten geht, also die sozusagen direkt personenbezogen sind, Name, Adresse etc., sondern auch personenbeziehbare Daten, also diejenigen Daten, die mit zusätzlichen Informationen möglicherweise auch von Dritten zu personenbezogenen Daten werden. Aber bei so generellen Texten, denn darum geht es ja dann nachher nur noch, müssen wir nicht mehr davon ausgehen, dass es sich um personenbeziehbare Daten handelt, sondern wenn die entsprechend sozusagen entfernt wurden, der Personenbezug, dann kann man das wahrscheinlich so auch handhaben. Aber das ist halt, muss man ja auch sagen, schon wieder ein extra Schritt, den ich gehen muss. Also ich kann jetzt nicht mehr einfach Copy-Paste oder das System von selber laufen lassen, Copilot, sondern ich müsste ja eigentlich erstmal die E-Mail nehmen, den personenbezogenen Teil herausfiltern und rausnehmen, händisch.

dann das der KI geben, das Ergebnis von der KI nehmen, wieder personenbezogenen Teil hinzufügen und dann die E-Mail abschicken. Und je nach Länge der E-Mail kann man jetzt schon wieder fragen, ist das überhaupt noch, lohnt sich das überhaupt noch oder schreibe ich dann nicht doch lieber die E-Mail selber. Also ich will nicht sagen, benutzt kein KI, sondern man muss dann wahrscheinlich doch mal abwägen, lohnt es sich für diesen spezifischen Anwendungsfall vielleicht noch. Also ich wollte gerade sagen, es ist ja immer auch tatsächlich die Frage, wie umfangreich ist meine Antwort.

Also wenn es darum geht, ja, ich bestätige den Termin. So, den Teil kriege ich vielleicht gerade selber noch hin. Und es ist ja auch nicht so, dass ich von vor der leichten Verfügbarkeit von KI-Tools zu heute ich auf einmal gänzlich verdummt bin, sondern ich kann ja schon auch noch selber E-Mails schreiben. Also ich habe das ja vorher getan und kann es jetzt auch und deswegen ist natürlich vielleicht der Reiz da, okay, ich muss es nicht, weil das kann ja eine KI für mich machen, aber spätestens wenn man das regelmäßig mal anwendet und probiert, stellt man wahrscheinlich fest, okay, tatsächlich, das ist erst ab einer gewissen Länge oder einem gewissen Umfang oder andere Aspekte, macht es überhaupt Sinn, dass ich da mir vielleicht auch nur helfen lasse.

Ja, das ist ja auch, es geht ja gar nicht immer nur darum, dass ich sage, okay, ich will den finalen Text daher haben, sondern vielleicht geht es manchmal auch nur so ein bisschen um so, ich sage mal, Ideen-Ping-Pong. Auch wenn die KI kein Mensch ist, kann sie ja trotzdem Aspekte aufzeigen, an die ich jetzt vielleicht im Moment nicht gedacht habe, über die ich sprechen möchte. Und dann, ja, so what, dann ist das ein guter Punkt. Dann muss ich eben berücksichtigen, dass ich da ohne Personenbezug unterwegs bin.

Aber helfen, in Anführungsstrichen, kann es mir ja trotzdem. 100 Prozent. Vielleicht zwei Sachen noch, die ich ergänzen wollen würde. Ich kann natürlich auch die E-Mail selber formuliert haben und sie dann dem KI-Tool geben, um Formulierungen nachzubessern oder es auf Rechtschreibung zu überprüfen, aber auch da gilt dasselbe.

Also auch da darf ich keine personenbezogenen Daten in dieser E-Mail mehr enthalten haben. Ich kann natürlich einfach Namen entfernen oder sowas und dann kann das auch in Ordnung sein. Und das Zweite, was ich eigentlich ganz interessant fand, was ein bisschen vom Thema weggeht, deswegen halte ich mich kurz, ist so, wenn es in die Richtung digitaler Assistent geht, das ist so ein halbwegs neues Thema, wo dann möglicherweise eine KI darauf trainiert ist, extra für einen selbst die Rechte zu vertreten. Und dann, wenn man zum Beispiel so an die sehr anstrengenden Abo-Sachen denkt, ich möchte jetzt irgendwie mein Disney Plus Abo oder sowas abschaffen, dann könnte das der digitale Assistent für mich machen und wenn es dann um Support-Anfragen und sowas geht, dann könnte der das komplett für mich übernehmen.

Da wird man dann auch sehen müssen, wie das überhaupt gehen wird. Also auf der technischen Seite ist das alleine schon unfassbar schwierig, weil der muss ja meine Interessen kennen und wissen, was ich will. Aber auf der praktischen, rechtlichen Seite ist das auch nicht so leicht, weil auch da müssen wir gucken, wie darf der eigentlich mit meinen Daten umgehen. Es gibt da schon so Ideen und ich habe auch gesehen, in Amerika gibt es schon so ein KI-Tool, das das wohl können oder für einen machen kann, also Abos managen im Prinzip.

Finde ich sehr interessant, muss man aber auch weiter dann schauen, wie es sozusagen in der Zukunft sich entwickelt und wie dann auch die rechtliche Ausgestaltung ist. möglicherweise regeln die das über Vertragsanpassung, dass sie sagen, okay, der Vertrag ist jetzt darauf gerichtet, dass die KI deine Daten verarbeitet und dann kann man natürlich sich auf Artikel 6 Absatz 1 Literer B berufen. Okay, dann würde ich sagen, den Teil haben wir grob abgerissen, damit wir die anderen Sachen auch noch Wir schaffen, würde ich sagen, steigen wir ein in unseren Themenpunkt 2, der so ein bisschen, jedenfalls das Jüngere, den jüngeren rechtlichen Teil betrifft, der jetzt sich mit KI beschäftigt, nämlich die KI-Verordnung, die EU-Verordnung, die wesentlich zum Gegenstand hat, wie man denn nun mit KI-Systemen umgehen soll. Die Verordnung regelt im Wesentlichen erst einmal den Einsatz und das in Verkehr bringen von solchen Systemen.

Wir hatten oben schon kurz gesprochen, wie die Verordnung KI-Systeme definiert, das will ich jetzt mal nicht wiederholen. Also da fallen ein paar Sachen drunter, aber es bleibt auch noch Deutungsspielraum, so ist es nicht. Und die Verordnung verfolgt einen sogenannten risikobasierten Ansatz, das heißt, wir wollen Grundrechte schützen und das Vertrauen in solche KI-Technologien stärken. Dafür wird das Ganze ein bisschen unterteilt in unterschiedliche Kategorien mit unterschiedlichen Anforderungen und einer Menge an Definitionen.

Insgesamt 68 Definitionen für einzelne Begriffe hält die KI-Verordnung bereit. Wer sie jetzt schon auswendig kann, der darf sich gerne melden. Und ja, vielleicht hast du noch ein paar Punkte dazu, die jetzt für den Einsatz von KI-Tools im Unternehmen da relevant sind. Ja, also mein allererster Punkt wäre zu sagen, für wen ist es interessant?

Also für diejenigen HörerInnen, die jetzt gerade zuhören und sich sagen, naja, aber spielt das auch für mein Unternehmen oder für mich als vielleicht gewerblich handelnde Person eine Rolle? Da kommt es darauf an, ist man Betreiber oder nicht? Und Betreiber ist auch eine Definition in der KI-Verordnung, deswegen verwenden wir diesen Begriff. Ich persönlich würde zum Beispiel das lieber übersetzen mit Verwender, also anstatt Betreiber, wobei man wahrscheinlich auch bei beiden Begriffen ein bisschen was von dem verliert, was man eigentlich meint.

Betreiber ist nach der KI-Verordnung eine natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System in eigener Verantwortung verwendet, es sei denn, das KI-System wird im Rahmen einer persönlichen und nicht beruflichen Tätigkeit verwendet. Das bedeutet, sozusagen übersetzt, wenn ich zu Hause sitze und ChatGPT frage, mein Fuß tut weh, was könnte es sein? Dann ist das eine persönliche Verwendung und meiner persönlichen Tätigkeit als Mensch. Wenn ich aber in meiner Kanzleitätigkeit ChatGPT sage, bitte formuliere mir diese E-Mail, dann ist das eine berufliche Tätigkeit und schon bin ich Betreiber bzw.

die Kanzlei wird eigentlich Betreiber dieses KI-Tools. Das bedeutet, wir sind sehr, sehr schnell eigentlich in dieser Definition des Betreibers nach der KI-Verordnung, weil wir eigentlich sehr, sehr schnell dieses in eigener Verantwortung verwenden haben für berufliche Zwecke. Ja, also sobald ich, also ruckzuck, also ich sage mal, wenn ich jetzt mal von ChatGPT weggehe oder ich nehme irgendwelche Übersetzungstools, die dann ja auch, also man wird wohl jedenfalls die Auffassung vertreten können, dass das KI ist, weil sie ja selbstständig die Entscheidung zum Beispiel trifft, ob sie dieses deutsche Wort in britisches oder amerikanisches Englisch verwandelt. die dahinterliegenden Prozesse kann man nicht so richtig durchdringen, aber im Moment schreit einen ja auch jeder Dienst an, dass er auf jeden Fall KI verwendet.

Da muss er sich daran auch festhalten lassen. Und klar, aber dann setze ich das als Betreiber ein. Und dann muss ich mir aber eben vorher, das ist ja so ein Punkt, Gedanken darüber machen, ob ich das überhaupt kann. Also können tue ich es, aber ob ich es auch darf.

Genau, und zu diesem Vorher gehört dann halt auch, erstmal herauszufinden, in welche Risikostufe komme ich. Denn das hast du ja gerade schon einleitend gesagt. Die KI-Verordnung guckt sich das risikobasiert an und wir müssen, das bedeutet, übertragen auf die KI, dass wir die KI uns anschauen und gucken, welcher Risikostufe im Sinne der KI-Verordnung gehört sie an. Da gibt es vier Stück im Großen und Ganzen.

Einmal unannehmbare Risiken, hohes Risiko, begrenztes Risiko und minimales Risiko. Und entsprechend dieser Risikostufen, unannehmbares Risiko ist natürlich, weil unannehmbar verboten, aber die anderen drei Risikostufen haben dann unterschiedliche Pflichten für die Betreiber bzw. Anbieter, aber Anbieter schauen wir uns heute nicht an, also für die Betreiber. Und vielleicht, um das vorweg einmal gesagt zu haben, unannehmbares Risiko liegt dann vor, wenn irgendwie irgendeine Form von beispielsweise Social Scoring stattfindet oder ein manipulatives, aktiv manipulatives System implementiert wird.

Sowas ist unannehmbar, sowas ist dann auch verboten. Schauen wir uns aber heute eigentlich einfach nicht mehr da an, sondern wir wollen uns eigentlich ein bisschen mehr mit den anderen drei Risikostufen beschäftigen. Ja, genau. Also die hohes Risiko, begrenztes Risiko, minimales Risiko, die da noch übrig bleiben.

Da kann man so ein bisschen sagen, von oben nach unten lassen die Anforderungen nach. Natürlich sind die Systeme, die im hohen Risiko einkategorisiert sind, mit den strengsten Anforderungen belegt. Das heißt, nicht nur Transparenz und Datenqualität, Aufsicht, da gibt es eine ganze Litanei an Dingen, die zu berücksichtigen sind, die auch in der Tat noch gar nicht, also wir haben bei der gesamten KI-Verordnung ja den Punkt, dass wir noch nicht klar wissen, was ist schwarz und was ist weiß, was ist richtig, was ist falsch, sondern abgesehen von Umsetzungsakten ist es halt auch so, dass es dazu nur in Anführungsstrichen Erwägungsgründe gibt. Es gibt Leitlinien, es soll Leitlinien geben, die gibt es aber meines Erachtens, sind die zum Zeitpunkt jetzt noch nicht veröffentlicht.

Und das aber eine große Rolle spielt, weil der Punkt von minimal begrenztem Risiko zu hohem Risiko, das sind erhebliche Anforderungen, die sich da auf einmal stellen. Und ich in bestimmten Bereichen, die theoretisch sehr viele Unternehmen betreffen könnten, im HR-Bereich zum Beispiel, können dazu führen, dass ich relativ schnell im Bereich hohes Risiko bin. Da gibt es natürlich dann für den Anbieter viele Pflichten, aber über den wollen wir noch nicht sprechen. Aber für die Betreiber hat es ebenso Auswirkungen.

Das heißt, allein der Einsatz meiner KI-Tools in bestimmten Bereichen für bestimmte Themen kann dazu führen, dass ich erhebliche Anforderungen habe, wenn es ein Tool ist, das dann in dem konkreten Einsatz in die hohe Risikokategorie fällt. Ja, und vielleicht ein Beispiel wäre menschliche Aufsicht. Also sobald ich in der hohen Risikostufe angekommen bin, muss ich mich darum kümmern, dass ich einen sogenannten KI oder so nennbaren KI-Beauftragten habe, der dieses System beaufsichtigt. Und ich muss mich explizit und nochmal in besonderem Maße darum kümmern, dass alle, die mit diesem KI-Tool in Verbindung stehen oder dieses benutzen, geschult sind über die Nutzung und auch die Risiken dieses Systems kennen.

Du hast gerade schon angemerkt, dass es für alle Unternehmen relevant ist, aber vielleicht um schon mal ein paar Beispiele zu nennen, die jetzt auch innerhalb dieses Podcasts nicht weiter eine Rolle spielen. Es wäre zum Beispiel KI-Tools, die in der Medizin verwendet werden oder in dem Justizwesen verwendet werden. Das sind so Dinge, wo wir daran denken müssen, okay, das ist auf jeden Fall hohes Risiko. Aber natürlich, sobald ich mich auch mit beschäftigten Daten auseinandersetze, bin ich sehr, sehr schnell und eigentlich immer im hohen Risikobereich.

Und können wir, bevor wir gleich nochmal zu den Betreiberpflichten für Hochrisikosysteme kommen, können wir einmal nochmal ganz kurz über die zwei anderen Risikostufen reden, also begrenztes Risiko und minimales Risiko. Bei dem begrenzten Risiko ist es so, dass ich eigentlich drei große Pflichten habe. Also ich habe eine Kennzeichnungspflicht, dass wenn Nutzer von außen beispielsweise Kunden kommen und mit diesem KI-System direkt interagieren, dass sie wissen, dass es sich um ein KI-System handelt. Das ist beispielsweise bei einem Chatbot so.

Ja, das hatten wir in der Vorbereitung der Folge schon einmal ganz kurz, dass es ja einen Unterschied macht, also dass wir auch hier zwei Konstellationen haben. Zum einen, das Unternehmen setzt intern KI-Tools ein. Also ich mache bei OpenAI einen Unternehmensaccount und mache Sub-Accounts für die einzelnen Mitarbeiter. Dann sage ich, hier könnt ihr KI nutzen, könnt ihr was mitmachen.

So, dann agiert der Nutzer, der Arbeitnehmer mit diesen Tools und benutzt ChatGPT für irgendwas. Dann nimmt er diese Inhalte und geht nach draußen zu einem Kunden und verwendet diese Inhalte da weiter. Dann habe ich ja zweimal Konfrontation mit KI-Inhalten. Wenn ich es richtig verstehe, ist es so, dass ich in der einen Konstellation, der Arbeitnehmer wendet sich an ChatGPT und macht da irgendwas.

Das ist die, wo unmittelbar interagiert wird, wo ich eine, in dem Fall dann aber, eine Kennzeichnungspflicht des Betreibers, dieses Unternehmens also, habe, die wahrscheinlich dadurch erfüllt wird, dass die Infos bei ChatGPT entweder in der Software oder auf der Website stehen. Dass es sich hierbei um ein KI-System handelt, das mit dem interagiert wird, dass da KI-Inhalte rauskommen. Wenn ich jetzt aber hergehe und sage, oh, der hat mir eine schöne E-Mail formuliert, die nehme ich jetzt und schicke die anderen Kunden, dann gibt es diese Pflicht, diese Kennzeichnungspflicht an der Stelle nicht mehr. Weil der Kunde nicht mit einem KI-System direkt interagiert, sondern mit dem Mitarbeiter im Kundenservice oder wem auch immer.

Und der Mitarbeiter hat entschieden, das ist ein guter Text, den übernehme ich. Und deswegen komme ich dahin, dass ich da eine Kennzeichnungspflicht nicht mehr habe. So würde ich es verstehen, so hielte ich es für praxistauglich. Auch wenn ich es blind übernehme und ich nur noch den Copy-Paste-Teil übernehme, könnte man das vielleicht auch anders sehen, sodass das fast eine direkte Interaktion wird.

An der Stelle bin ich ehrlich gesagt nicht sicher, wie es denn gemeint ist. Ich denke, man muss sich an der Stelle einfach auch den Sinn und Zweck der KI-Verordnung vor Augen führen. Es geht ja eben darum, dass diejenigen, die KI-generierten Inhalten ausgesetzt werden, darüber Bescheid wissen. Und sobald der Faktor menschlicher Aufsicht stark genug ist und die menschliche Kontrolle der KI-generierten Inhalte stark genug ist, brauchen wir diese Kennzeichnung und diese Informationspflichten nicht mehr.

Weil ja dann sozusagen wir eigentlich wieder eine Mensch-zu-Mensch-Interaktion haben, die nur sozusagen KI unterstützt wurde. Aber der Mensch übernimmt die Verantwortung. Und was diese Kennzeichnungspflichten und diese Offenlegungspflichten vor Augen haben, ist, dass ungefiltert durch einen Menschen KI generierte Inhalte bei dem Nutzer landen. Deswegen meinte ich ja, das ursprüngliche Beispiel ist ja Chatbot.

Weil da steht, wenn der Chatbot ersetzt wird durch eine KI, dann habe ich da keine Person mehr, die noch dazwischen sitzt und sagt, nee, KI, bitte diese Antwort nicht, sondern eine andere Antwort. Dann gibt es keinen Filter mehr, der menschlich ist, sondern nur noch die KI-Filter, die sozusagen irgendwelche Algorithmen, die man noch dazu drüber laufen lässt. Dann reicht das nicht aus. Da muss dann der Nutzer oder die andere Seite sozusagen informiert werden und Bescheid wissen, dass das so ist.

Und ich stimme dir zu, dass wenn man sich diese Ziele vor Augen führt, es nicht ausreichen darf, wenn die Menschen einfach nur Copy-Paste machen und es nicht wirklich kontrollieren. Weil sobald sie es nicht mehr kontrollieren, ist es ja so, als ob die KI-Interaktion unmittelbar ist und nur sozusagen zum Schein ein Mensch dazwischen geschaltet wird. Aber das darf eigentlich, zumindest wenn man sich die Schutzzwecke der KI-Verordnung anschaut, darf das nicht reichen. Also deswegen ist man eigentlich auch gut da dran auf der anderen Seite, immer diese menschliche Aufsicht und die menschliche Kontrolle ernst zu nehmen und wirklich durchzuführen.

Das Zeitersparnis aus meiner Sicht ist immer noch exorbitant. Ja, natürlich. Also da kommen wir aber ja dann genau zu dem Punkt, der vielleicht auch unabhängig von begrenztem und minimalem Risiko relevant ist, nämlich die Verpflichtung des Unternehmens zu schulen, darüber aufzuklären. Also zu sagen, hier ist ein KI-Tool, viel Spaß, tschüss, das funktioniert halt nicht, sondern ich muss mit den Mitarbeitern reden.

Ich muss denen das erklären, muss denen sagen, was kann es, was kann es nicht, was sind die Gefahren, die da herrschen, wenn ich das benutze und das muss ich eben auch kontrollieren. Also da komme ich nicht drum herum. Das ist wie bei vielen anderen Dingen ja auch so. Also wenn ich eine Software einführe, dann lege ich die da auch nicht einfach hin und sage, so viel Spaß beim Arbeiten, sondern ich schule das, ich führe da ein, ich sage, hier, das könnt ihr damit machen, das könnt ihr nicht damit machen.

Genauso wie ich Systeme für alles andere auch vorgebe. Wenn ich einen Mitarbeiter da hinsetze, so, jetzt arbeitest du mal bitte für mich, ja, dann funktioniert das auch vielleicht nicht. Und nur weil du das gesagt hast, dass es ja für alle KI-Systeme, egal der Risikostufe, gilt. Es ist auch sehr, sehr prominent in der KI-Verordnung genannt, in Artikel 4.

Also Anbieter und Betreiber müssen Maßnahmen ergreifen, damit ihr Personal über die Kompetenz, die sogenannte KI-Kompetenz in einem ausreichenden Maß verfügt. Und das ist einfach sehr, sehr wichtig und kommt da auch wieder ins Spiel. Und ich glaube, das zeigt auch, oder ich finde, anhand dieser Beispiele zeigt es ja auch, inwieweit KI ein Novum ist, also sehr besonders ist in der Hinsicht. Es ist halt nicht irgendwie Outlook oder sowas, was auch bestimmt durch Mailverkehr und das einfache Mails verschicken, den Kontakt mit Kunden revolutioniert hat.

Aber jetzt hier, dort ist es immer auf den Menschen nachher angekommen. Es war immer menschzentriert sozusagen, dieses System. Es brauchte immer einen menschlichen Benutzer. Jetzt haben wir plötzlich die Gefahr, dass die Maschine selbst theoretisch handeln könnte.

Und das müssen wir eben einschränken, beziehungsweise nur da zulassen, wo wir das auch zulassen wollen und dürfen. Und gerade wenn es um Interaktion mit der Außenwelt angeht, dann sollte man immer, oder zumindest sieht das die KI-Verordnung so, braucht es immer einfach eine menschliche Aufsicht beziehungsweise eine menschliche Kontrolle. Vielleicht sollten wir an der Stelle dann uns einfach mal mit den Betreiberpflichten beschäftigen, weil wir, da finden wir ein paar Sachen wieder, die wir schon gehört haben, aber eben auch noch weitere Dinge, und zwar die Betreiberpflichten eines Hochrisiko-KI-Systems. Wie gesagt, also die Definition, wann wir im Bereich Hochrisiko sind, es gibt Beispiele in der KI-Verordnung, du hast sie eben schon genannt, es gibt aber eben Bereiche, die jetzt nicht explizit davon umfasst sind, die aber durchaus denkbar sind.

Wie gesagt, Beschäftigte-Datenschutz ist ein Thema, Und man ist vielleicht schneller dort, als es einem lieb ist. Deswegen wollen wir jedenfalls die Pflichten, die dann entstehen, einmal genannt haben, um so ein bisschen Überblick zu haben, wie interessant ist es denn für mich, zu wissen, ob ich da tatsächlich drin liege oder nicht. Und das Erste, was einem so ein bisschen vielleicht sogar bekannt vorkommt, oder dir bekannt vor allem, ein Lächeln sehe ich in deinem Gesicht, sind technische und organisatorische Maßnahmen. Woher kennen wir die?

Die kennen wir aus dem Datenschutz, aus der DSGVO natürlich. Auch da sehr wichtig, der Begriff ist etabliert inzwischen, könnte man fast sagen. Hier bezieht sich das natürlich auf was anderes und zwar auf zwei Punkte. Und zwar die Sicherstellung, dass das KI-System gemäß der Betriebsanleitung, die beigefügt hoffentlich war, verwendet wird.

Ich sehe bei ChatGPT ein ganz dickes Büchlein, das mitgeliefert wird in der Box. Bitte lesen Sie das, bevor Sie das Programm zum ersten Mal öffnen. Ich finde es witzig. Wir reden hier über KI-Systeme und Betriebsanleitungen.

Das sind zwei Welten, die ich nie zusammen gesehen habe. Und der zweite Punkt ist halt einfach die Kontrolle der Eingabedaten. Also, dass diejenigen, die für den Betreiber die KI verwenden, das KI-System verwenden, dass sie immer sozusagen überprüfen, dass die Eingabedaten entsprechend der Zweckbestimmung des Systems stimmen und auch repräsentativ sind. Das bezieht sich einfach nur darauf, dass so ein Hochrisiko-KI-System nicht missbraucht wird für irgendwelche anderen Zwecke, für die es eigentlich nicht bestimmt war, sodass dann möglicherweise Ergebnisse rauskommen, die einfach schlecht sind für den Gesamtprozess an der Stelle, wo das Hochrisiko-KI-System eingebaut ist.

Ja, die, vielleicht ganz kurz, ich hatte das jetzt nicht mehr ausdrücklich erwähnt, Betreiber ist das Unternehmen, das diese Tools einsetzt. Also das Unternehmen, das ein KI-System einsetzt, heißt Betreiber. Dann ein Punkt, der hier noch ein bisschen schärfer ist als das, was wir eben gesagt haben, ist die menschliche Aufsicht. Das heißt, ich muss nicht nur schulen, sondern ich muss eben auch Menschen haben, die über notwendige Kompetenz, Ausbildung und Befugnisse verfügen, was die Anwendung dieses KI-Tools angeht, nicht nur die Anwendung, sondern auch die Einführung.

Da kommt so ein bisschen dieser sogenannte KI-Officer ins Spiel. Den Begriff hört man manchmal, KI-Verantwortlicher, wie man ihn nun nennen mag. Es ist jedenfalls eine Person oder mehrere Personen, die in besonderem Maße mit dem Umgang von KI, der dahinterliegenden Technik und dem Verständnis dieses ganzen Themas betraut sind. Und da muss ich für sorgen, dass diese Leute in meinem Unternehmen verfügbar, ansprechbar, ausgestattet mit den entsprechenden, mit den zeitlichen Kontingenten etc.

Klingt so ein bisschen nach einem Äquivalent zum Datenschutzbeauftragten, ist aber glaube ich nicht ganz so identisch. Ja, obwohl ich glaube der Vergleich ist für den ersten, damit man so eine Vorstellung, so eine grobe Vorstellung hat, ist es glaube ich ganz gut. Natürlich ist der Datenschutzbeauftragte mehr für Anfragen von außen auch zuständig und hier ist es so ein bisschen so, dass auch die internen Prozesse nicht ohne diesen KI-Officer auskommen. Der nächste Punkt wäre die kontinuierliche Überwachung.

Auch da ist eigentlich fast schon selbsterklärend. Also ich habe das KI-System implementiert, ich nutze es jetzt und dann darf ich nicht einfach das vor sich hin machen lassen, sondern ich sollte das laufend überwachen. Stimmen die Ergebnisse, stimmt die Tätigkeit, macht es sich nicht selbstständig, ganz blöd gesagt. Und wenn da irgendwie Verdacht aufkommt, dass da möglicherweise etwas schief läuft oder sogar schon ein Vorfall entstanden ist, dann habe ich da auch eine entsprechende Meldepflicht an beispielsweise den Anbieter oder sogar Marktüberwachungsbehörden.

Das kommt wahrscheinlich tatsächlich für solche Systeme in Betracht, die einigermaßen unbemerkt agieren. Also wenn ich jetzt das Chat-GPT-Beispiel nehme, okay, der fängt an zu laufen, wenn ich da was reingebe und ihnen was frage. Aber gerade so im Bereich von Logistik, im Bereich von Vorbereitung verschiedener Anfragen, Abarbeitung von Anfragen, Da Dinge, die im Hintergrund laufen, die ich einmal eingerichtet habe. Und da ist es, glaube ich, umso wichtiger, dass ich immer regelmäßig darauf schaue, ob es noch die gewünschten Ergebnisse erzielt.

Und ob, ja, ich sage mal, ob da die Kategorisierung vielleicht von, weiß ich nicht, ich habe irgendwie vielleicht die Abwicklung meiner Versanddaten, ob die Dinge an den richtigen Stellen landen. Und da sich nicht, aus welchen Gründen auch immer, Fehler einschleichen. Das bringt uns so ein bisschen zum nächsten Punkt. Solche KI-Systeme sollten immer auch automatisiert im besten Fall Protokolle erzeugen über ihre Tätigkeit und diese Protokolle müssen dann wiederum auch gespeichert werden für mindestens sechs Monate.

Es könnte natürlich auch andere Vorgaben geben, die das noch ausweiten und da ist es einfach wichtig, dass diese Protokolle erstens überhaupt erstellt werden, aber das ist Aufgabe des Anbieters, das KI-System so zu gestalten, dass es das auch tut. Und dann aber diese Dokumentation nicht zu löschen, das wäre ganz gut und dann wahrscheinlich auch die an einem bestimmten Ort aufzubewahren. Was du eben schon angerissen hattest, dass wir eine gewisse Informationspflicht gegenüber Anbietern und Behörden haben, wenn es Vorfälle oder Risiken gibt. Das kann man noch vielleicht nochmal unterstreichen, auch wenn es da an mancher Stelle noch nicht ganz klar ist, wem wir denn was mitteilen sollen.

Das bedarf noch einer Umsetzung. Jedenfalls aber, was klar ist und die lassen sich im Unternehmen auch entsprechend bestimmen, ist es so, dass ich bei natürlich betroffenen Personen, die in irgendeiner Art und Weise von diesen Ergebnissen des Systems oder des Systems selber betroffen sind, informieren muss und je nach Einsatzgebiet auch Arbeitnehmervertreter und konkret den Betriebsrat informieren und in manchen Fällen auch eine Zustimmung einholen muss. Und das sind alles Dinge, die vor Einführung passieren müssen. Das muss nicht.

Also hier übrigens seit einem Monat läuft hier bei uns folgendes System. Das ist vielleicht ein bisschen schwierig. Genau, das ist das, worauf es nämlich am Ende auch entscheidend ankommt. Wir müssen schon vor Einführung, muss klar sein, was ist das für eine Risikostufe, was brauche ich dann für Infrastruktur, was brauche ich dann für menschliche Infrastruktur.

Vielleicht ein letzter Punkt noch, sonstige rechtliche Vorgaben, also insbesondere die rechtlichen Vorgaben, die wir schon genannt haben, Datenschutz, Urheberrecht, aber auch immer wichtiges Arbeitsrecht sind zu beachten. Also und die bleiben auch unberührt von der KI-Verordnung. Das ist vielleicht, ja, das ist nicht immer nach außen hin klar oder ich könnte mir vorstellen, dass auch gerade Nicht-Juristen das manchmal vergessen, dass man, wenn so etwas wie die KI-Verordnung auf den Markt kommt und implementiert wird, dass man dann das denkt, okay, ich gucke mir jetzt die KI-Verordnung, die wirklich schon lang genug ist, gucke ich mir jetzt im Detail an und setze die 100% um, dann bin ich fertig. Leider ist das so nicht.

All die anderen gesetzlichen Regelungen, die existieren und die anwendbar sind, muss ich leider immer noch beachten und anwenden. Was ich vielleicht nur sagen wollen würde, ist, dass wenn ich die KI-Verordnung strengst befolge und mit ihren hohen Anforderungen, dass ich dann häufig auch schon viele, viele Schritte tue, um auch datenschutzrechtlich auf einem guten Weg zu sein. Das heißt, wenn ich diese Risikoabschätzung mache, ist mein KI-System Hochrisiko oder nicht, dann stelle ich viele Fragen, die ich auch bei einer Datenschutzfolgenabschätzung machen müsste, wenn ich herausfinden möchte, ob das datenschutzrechtlich oder ob hier eine große Gefahr für datenschutz- bzw. personenbezogene Daten besteht.

Ja, das ist vielleicht an der Stelle nochmal ganz wichtig zu sagen, dass dieses Thema bisher aufgekommen ist im Bereich der DSGVO, dass ich gesagt habe, okay, ich führe ein neues Tool zum Beispiel ein und ich ändere in meinem Unternehmen etwas, wovon viele personenbezogen oder personenbeziehbare Daten betroffen sind. Das kann die Einführung eines neuen Newsletter-Versandanbieters sein, das kann auch teilweise die Einführung eines neuen generell E-Mail-Anbieters oder eines Systems zur Verwaltung meiner Kundendaten sein. Immer dann musste ich ja vorher schon eine Datenschutzfolgenabschätzung machen und eben sagen, okay, was passiert mit den Daten? Sind die jetzt einem größeren oder einem geringeren Risiko ausgesetzt?

Muss ich da vielleicht noch gesonderte Einwilligungen einholen? Habe ich die eingeholt? Brauche ich sie nicht? Etc.

Und diese Datenschutzfolgenabschätzung ist ja nun ein Teil, der so ein bisschen unter diesem Punkt fällt, ja, ich muss übrigens alles andere rechtliche auch einhalten, wenn ich so ein KI-System einführe, ein KI-Hochrisikosystem einführe. Und dann muss ich das eben auch mitmachen. Das hätte ich aber eben auch ohne KI-Verordnung machen müssen. Und das ist das, was du sagst, was ganz wichtig ist.

Wir hatten das ganz am Anfang, ich glaube, den Begriff habe ich nicht gewählt, Aber es gibt diverse andere rechtliche Möglichkeiten, um gegen bestimmte KI-Erzeugnisse vorzugehen. Also ich sage mal, wenn wir zum Beispiel, die KI-Verordnung behandelt auch zum Beispiel Deepfake-Ergebnisse. Aber ich brauche nicht zwingend die KI-Verordnung, um gegen Deepfakes vorzugehen. Das ist ganz wichtig.

Also kein anderes Gesetz wird dadurch irgendwie außer Kraft gesetzt. Oder ich sage mal, ob das nur das Persönlichkeitsrechtliche ist oder das Urheberrechtliche oder eben das Datenschutzrechtliche. Das gilt parallel und ich muss es eben auch parallel berücksichtigen. Und das sagt auch die KI-Verordnung, wenn ich so ein Ding bei mir im Unternehmen einsetze, muss ich mich an alle anderen Regeln natürlich auch halten.

Ja, ich glaube, dadurch, dass so wie die KI-Verordnung jetzt funktioniert, aber eigentlich auch die DSGVO vorher schon funktioniert hat, wird es auch zunehmend wichtiger für Unternehmen, wenn sie sich mit neuen Tools beschäftigen, insbesondere jetzt mit KI-Systemen beschäftigen und der Implementierung von KI-Systemen beschäftigen, dass sie eben diese rechtliche Komponente auch frühzeitig in diesem Implementierungsprozess mit einbeziehen. Also wir haben es jetzt schon viermal, glaube ich, gesagt und ich sage es noch ein fünftes Mal, weil es eben so wichtig ist. Man verstößt nicht leichter gegen die KI-Verordnung, als wenn man einfach nur ein KI-Produkt nutzt und dann erstmal überlegt, darf ich das überhaupt nutzen oder muss ich irgendwelche Sachen beachten. Also es ist sehr, sehr wichtig hinsichtlich der KI-Verordnung und so wie die aufgebaut ist, dass man vor der Implementierung, vor der Nutzung sich Gedanken macht, was muss ich beachten und wie kann ich dieses KI-System verwenden.

Ich glaube, das ist insofern ein ganz gutes Schlusswort für diesen Abriss, den wir versucht haben zu geben. Wie gesagt, man kann an vielen Stellen einsteigen. Wann ist man Anbieter? Wann ist man Betreiber?

Wann ist man Hochrisiko? Wann ist man nicht Hochrisiko? Was ist eigentlich KI? Vielleicht machen wir das ja noch.

Vielleicht machen wir das noch. Vielleicht machen wir, ja, es steht ja hier noch so auf dem Zettel so eine Folge, eine Folgenreihe, dass man, aber wir gucken mal. Also es gibt auf jeden Fall, vielleicht haben wir bis dahin auch ein bisschen mehr Klarheit, weil in der Tat, es ist ja wie das manchmal so ist, wie es auch bei der Datenschutzgrundverordnung am Anfang war, dass viele Dinge einfach noch unklar waren. Mittlerweile hat sich das durch ganz unterschiedliche Bewegungen, Entscheidungen, Auslegungshilfen etc.

ein bisschen relativiert. Das wird hier auch der Fall sein, auch wenn hier natürlich die technische Entwicklung sehr rasant ist. Und wir werden mal ein bisschen gucken müssen, wie wir da rechtlich hinterherkommen. Aber ich glaube, es ist nicht ganz aussichtslos.

Ja, in diesem Sinne würde ich sagen, beschließen wir das Podcast-Jahr und ich wünsche allen Hörerinnen und Hörern frohe Weihnachten, einen guten Rutsch ins neue Jahr, bleibt alle gesund und munter. Wir freuen uns auf die erste Folge im neuen Jahr, die kommt schon direkt zu Beginn, noch am 3. Januar und in diesem Sinne, alles Gute, bleibt uns gewogen, bis zum nächsten Mal. Ja, auch von mir frohe Adventstage, frohe Festtage, einen guten Rutsch ins neue Jahr.

Und dann freue ich mich auch schon auf die sehr, sehr frühe erste Folge im neuen Jahr und bis dahin. Untertitelung des ZDF für funk, 2017