Willkommen zum Podcast Kaffeerecht von der Kanzlei TWW Law mit rechtlichen Themen für Kreative, Unternehmer und Unternehmen. Hallo und herzlich willkommen zu einer weiteren Folge unseres Podcasts Kaffeerecht. An diesem Mikrofon ist wie gewohnt Dennis Tölle und am anderen Mikrofon. Marvin Erifei, hallo auch von meiner Seite.

Heute ein sehr aktuelles Thema, das uns viel beschäftigt momentan und uns wahrscheinlich auch in Zukunft noch viel beschäftigen wird. Wir Juristen machen uns große Sorgen, ob unsere Jobs bald alle überflüssig sind. Es geht um KI und die neue KI-Verordnung der EU und da wollen wir mal schauen, was die eigentlich genauso regelt, was sie vielleicht auch nicht regelt. Und ja, ich freue mich auf den Podcast.

Die KI-Verordnung, die wir im ersten Schritt, glaube ich, einmal kurz ein bisschen einordnen wollen, was ist das Ding, wo kommt es her, wo geht es hin, dann schauen wir uns im nächsten Punkt an, was geregelt werden soll, wobei man da schon vorwegnehmen kann, dass die Regelungen relativ umfangreich sind, jedenfalls wenn man sich den reinen Text anschaut und wenn wenn man sich anschaut, was für Abzweigungen man nehmen kann, wenn man sich mal so einzelne Konstellationen durchdenkt. Und am Ende dann so ein bisschen auch die Folgen des Ganzen. Und vielleicht kannst du kurz einsteigen mit der Einordnung, was diese KI-Verordnung ist. Als Verordnung ist sie halt unmittelbar geltendes Recht oder wird unmittelbar geltendes Recht sein in der EU und in allen Mitgliedstaaten.

Das ist dann sozusagen der Unterschied zur Richtlinie. Die müssen ja dann nochmal in den einzelnen Mitgliedstaaten umgesetzt werden durch eigene Gesetze oder Anpassung von bestehenden Gesetzen. Aber wir haben hier eine Verordnung, die soll unmittelbar gelten. Das ist insoweit auch sinnvoll, da es sich bei KI um etwas handelt, das wenig Spielraum lässt, damit in einzelnen Mitgliedstaaten es unterschiedlich behandelt werden würde.

Da es sich ja häufig auch im Internet befindet, ist es schon sinnvoll, dass es immer überall gleich ist, damit auch Anbieter von KI-Systemen, aber auch Nutzer von KI-Systemen sich darauf verlassen können, dass egal ob ich jetzt gerade in Spanien sitze oder in Deutschland sitze, ich immer unter die gleichen Vorschriften falle. Es wird dennoch möglich sein, für die Nationalstaaten strengere Vorschriften innerhalb von bestimmten Öffnungsklauseln zu erlassen. Das sind aber ganz besondere spezifische Anwendungsfälle, die wollen wir hier auch gar nicht in den Blick nehmen. Das ist für uns nicht so relevant.

Das soll nur sozusagen gesagt sein. Und ja, ich glaube, dann können wir eigentlich auch schon darüber reden, was eigentlich KI ist für die KI-Verordnung. Ja, vorher will ich noch ganz kurz klarstellen, weil das vielleicht gar nicht so klar ist. Also in der Kommunikation, in der Öffentlichen wirkt das so, als wäre es jetzt alles fertig.

Also die KI-Verordnung ist noch nicht in Kraft. Also man hat sich zuletzt jetzt auf einen Text geeinigt, nachdem es da eben ein paar Änderungen gab von unterschiedlichen Seiten. Und mittlerweile steht der Text, meines Erachtens geht er gerade nochmal durch eine sprachliche Berichtigung, damit es auch in allen Sprachen alles passt. und sobald es dann im Europäischen Amtsblatt veröffentlicht ist, ist es dann auch wirksam.

Also es gibt keine, es gibt jetzt auch keinen Zeitraum mehr, kein Übergangszeitraum oder so. Wenn es veröffentlicht ist, dann ist es wirksam. Mit Ausnahme einer Frist von zwei Jahren, meine ich, in der bestimmte Umsetzungen noch in den Nationalstaaten erfolgen sollen, was so Einrichtungen von Behörden etc. angeht.

Genau, da bleibt es sozusagen nur noch abzuwarten. Das müssten wenige Monate eigentlich sein, bis das dann veröffentlicht wird. Was vielleicht noch interessant ist, habe ich im Vorfeld in meiner Recherche gemerkt, die Europäische Kommission hat eigentlich schon vor einigen Jahren, ich glaube vor zwei, drei Jahren schon eine Stelle eingerichtet, bei der man sozusagen als KI-Systembetreiber sich hätte melden können und dort sozusagen mit denen in den Dialog kommen können, weil die KI-Verordnung sozusagen da schon geplant war. und dann wollte man auch die Wirtschaft mit einbeziehen und sagen, naja, zeigt uns mal, wie ihr mit euren KIs umgeht, welche Risikobewertungen nehmt ihr vor, welche technischen Möglichkeiten habt ihr und es ist nicht sehr transparent gewesen, wer sich da gemeldet hat oder wie sozusagen der Dialog dann stattgefunden hat, aber diese KI-Verordnung ist jetzt zwar sehr plötzlich in den Medien aufgetaucht und sozusagen in der öffentlichen Wahrnehmung aufgetaucht, aber sie ist eigentlich schon sehr lange in der Entstehung.

Und naja, endlich ist sie da. Ja, dann lassen wir uns jetzt tatsächlich zum zweiten Themenpunkt gehen. Was die KI-Verordnung regelt, dafür müssen wir erstmal wissen, was KI ist. Das definiert jeder für sich vielleicht ein bisschen anders.

Die Verordnung hat dafür eine Definition gefunden, die auch zuletzt nochmal geändert wurde, um eben festzulegen, was ist denn überhaupt diese künstliche Intelligenz, die mit dieser Verordnung geregelt werden soll. Denn wie das nun mal so ist, alles, was dann nicht unter diese Definition fällt, fällt auch nicht in den Regelungsbereich. Das heißt, muss ich nicht irgendwelchen, ja, möglicherweise verboten oder Verpflichtungen unterwerfen. Und das, was dieser, ja, ich sag mal, was dieser Text, Artikel 3 ist das, der geplanten Verordnung, der stützt sich im Wesentlichen so ein bisschen darauf, dass man auf der einen Seite natürlich ein maschinengeschütztes System hat, dann brauchen wir Autonomie, die dieses System beinhaltet und wir brauchen, das ist sprachlich interessant formuliert, eben diesen Aspekt, dass ein System mit bestimmten Eingaben in Anführungsstrichen eigenständig Ergebnisse produziert, die einem gewissen Ziel entsprechen, das entweder vorgegeben ist oder das in dieser KI veranlagt ist.

Die Definition selber besagt eben, dass es ein maschinengestütztes System ist, das so konzipiert ist, dass es mit unterschiedlichem Grad an Autonomie operieren kann und nach seiner Einführung Anpassungsfähigkeit zeigt und das für explizite oder implizite Ziele aus den Eingaben, die es erhält, also den Prompts, ableitet, wie es Ergebnisse, Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erzeugen kann, die physische oder virtuelle Umgebung beeinflussen können. Ja, und ich finde, wir haben das vorher nicht geplant, aber vielleicht ist das ganz anschaulich für uns. Also jeder kennt ja die KI oder die sogenannte KI ChatGPT von OpenAI. Und vielleicht könnten wir mal so anhand dessen, was wir über ChatGPT wissen, durchspielen, ob ChatGPT sozusagen als System der künstlichen Intelligenz gilt.

Also ein maschinengestütztes System, würde ich sagen, liegt auf jeden Fall vor. Unterschiedlicher Grad an Autonomie, unter dem es operiert. Auch da, da müsste man jetzt wahrscheinlich schon die technischen Hintergründe kennen, weil so sicher bin ich mir jetzt nicht, inwieweit autonom gehandelt wird. Also eindeutig gibt es Vorgaben, die ChatGPT hat, wo Aussagen dann nicht getroffen werden oder sozusagen geblockt wird und gesagt wird, dass darüber keine Aussage getroffen werden darf.

Das heißt, irgendwo ist da schon die Autonomie eingeschränkt worden. Aber ich denke, kann man wahrscheinlich auch im Ergebnis bejahen. Ja, Anpassungsfähigkeit wüsste ich jetzt nicht. Würde ich, ja.

Also, ich sage mal so, auch da, ohne den technischen Hintergrund da an der Stelle zu durchdringen, würde ich sagen, dass ich im Gespräch mit GPT ja schon feststelle, dass die Antworten sich an das, was ich vorher gesagt habe, anpassen. Und wenn ich in eine bestimmte Richtung gehe, dass das berücksichtigt wird in einem bestimmten Rahmen. Also insofern würde ich schon sagen, dass es anpassungsfähig ist. Es ist natürlich anpassungsfähig, wenn ich auf der einen Seite sage, okay, berücksichtige eben nicht dein komplettes Wissen, berücksichtige nicht die komplette Bandbreite an Möglichkeiten sprachlich, sondern ich begrenze es irgendwie, ich weiß nicht, ich mache mir einen, weiß ich nicht, nur einen, weiß ich nicht, in deutscher Sprache nur auf technische Sachen, in Antworten nur in bestimmten Dialekt oder solche Dinge oder immer witzig, immer im Rap-Style oder wie auch immer.

Da kann ich natürlich anpassen, aber das ist ja eine Anpassungsfähigkeit, die ich vorher vorher nehme, nicht die Maschine selber. Ja, und Eingaben zu erzeugen bzw. abzuleiten, also im Sinne von Auseingaben, Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen zu erzeugen, das ist eindeutig auch der Fall, sodass ganz simpel eigentlich ChatGPT sehr wahrscheinlich und grundsätzlich sollte es auch so sein, eine KI ist oder auch als KI im Sinne der KI-Verordnung gilt und damit erstmal unter diesen Begriff fällt, Was aber jetzt noch lange nicht bedeutet, dass ChatGPT auch stark reguliert werden würde durch die KI-Verordnung. Denn das ist im Rahmen der KI-Verordnung abhängig davon, welches Risiko von einem KI-System ausgeht.

Und dafür sind sozusagen verschiedene Risikoeinstufungen bzw. Risikostufen werden erklärt in der KI-Verordnung. Und die wollen wir uns jetzt als nächstes anschauen. Ja, ganz genau.

Vielleicht noch ganz kurz vorab vom Gedanken her. Man hat immer so das Gefühl, als Chat-GPT quasi so das große Licht der Welt erblickt hat, also irgendwie eine größere Bekanntheit erlangt hat und alle auf einmal im KI-Fieber waren und gedacht haben, wow, was ist das? Da hat es ja zu diesem Zeitpunkt hat es ja nicht angefangen mit dieser Entwicklung der KI-Verordnung. Also das hat ja schon wesentlich vorher, wesentlich früher angefangen.

Und es wirkt immer so ein bisschen so, als wäre es eine Reaktion auf diesen KI-Hype. Und ich glaube, dass dieser KI-Hype das Ganze auch natürlich im politischen Sinne etwas gefördert hat. Also das Interesse war auf einmal noch größer und der Druck noch größer, dass man zu einem Ergebnis kommt. Aber die Entwicklung, die Gesetzesentwicklung hat ja vorher schon begonnen.

Und das ist nicht die erste Regelung, die sich mit künstlicher Intelligenz beschäftigt, wenn auch nicht. Also ich sage mal, sie tut es jetzt sehr ausdrücklich, aber es gab ja auch vorher schon Ansätze, das zu regeln. Ja, ich glaube, was insoweit passiert ist, ist, dass es den politischen Prozess extremst beschleunigt hat. Also während man sich vorher vielleicht noch Zeit gelassen hat und sehr viel diskutiert hat über Einzelfragen oder technische Hintergründe und das Verständnis auch möglicherweise im Diskurs sozusagen teilweise nicht da war, ist das jetzt wahrscheinlich, hat sich das extremst beschleunigt, weil man plötzlich gesehen hat, wie breit sich das verbreitet und wie das überall sozusagen aus dem Boden sprießt, die verschiedenen KIs, die auch auf dem GPT-System basieren.

Die KFI-Verordnung, insoweit würde ich dir auch zustimmen, dass die KI-Verordnung schon länger in der Entstehung ist und schon länger besprochen wird, als zum Beispiel Chat-GPT besteht. Wenn man das vergleicht mit der, es gab eine Resolution vom Präsidenten Biden für Amerika, auch zu KI und die wirkte schon eher kurzfristigerer Natur, so ein bisschen so ad hoc, oh KI ist jetzt da, da müssen wir was gegen machen. Da würde ich die KI-Verordnung so eben nicht einschätzen, sondern sagen, die ist schon länger geplant und auch sozusagen durchdachter. Diese Formulierung, da müssen wir was gegen machen, die muss man ja ein bisschen vorsichtig betrachten im Hinblick auf die Verordnung der EU, weil ganz klares Ziel ist, natürlich, niemand soll durch KI in seinen Rechten über die Maßen beeinträchtigt werden, aber klares Ziel ist auch, dass Innovation dadurch nicht eingeschränkt, sondern auch gefördert werden soll.

Und das heißt, darauf basiert auch im Wesentlichen diese Risikoeinstufung, dass man eben, ja ich sag mal so vier Punkte hat. Man sagt, okay, als erstes haben wir tatsächlich ein klares Verbot von unannehmbaren Risiken. Gucken wir gleich mal, was das sein soll. Dann gibt es als zweiten Teil KI-Systeme mit einem hohen Risiko.

Die sollen in einem gewissen Maße reguliert werden. Dann gibt es KI-Systeme mit begrenztem Risiko. Da gelten auch bestimmte Verpflichtungen, unter anderem Transparenzverpflichtungen. Und dann gibt es eine Kategorie, die sagt, dass KI-Systeme mit geringstem Risiko, die sollen unreguliert sein.

Also vielleicht fällt da sogar im Moment auch die Masse drunter, dessen, was wir so kennen. Aber das ist eben nicht alles. Und da können wir mal gucken, was so, vielleicht so ein bisschen, erstmal den Teil anschauen, was tatsächlich verboten sein soll. Ja, und zwar verboten sollen diejenigen KI-Systeme sein, die unannehmbare Risiken darstellen.

Und unter unannehmbaren Risiken versteht die KI-Verordnung und nennt diese auch beispielhaft, ich glaube in den Erwägungsgründen, soziale Bewertungssysteme und oder manipulative KI. Also diejenigen KIs, die sozusagen erheblichen Einfluss haben können darauf, wie wir als Gesellschaft auch funktionieren und uns Handlungsanweisungen fast schon geben können oder uns zu Handlungen verleiten können, die möglicherweise wir so nicht aus freier Entscheidungsfindung treffen würden. Also dann, wenn KI unterschwellige, manipulative oder täuschende Techniken einsetzt, dann diese soll verboten sein. Ja, und ein weiterer Punkt, der auch ganz klar nicht stattfinden soll, sind Kategorisierungssysteme.

Das soll zum einen so biometrische Systeme sein, die ausschließlich basierend auf solchen Aspekten, also biometrischen Aspekten, irgendwelche Schlüsse ziehen. Und das bezieht sich unter anderem auch auf soziales Scoring, das heißt also irgendwie eine Form von Bewertung von Personen oder Gruppen aufgrund ihres Verhaltens oder ihrer Eigenschaften. Und das soll eben gerade nicht stattfinden, was ja absolut nachvollziehbar ist. Das heißt, natürlich ist es so, wenn ich automatisiert jemanden, das, was mir immer so in den Kopf kommt, wenn ich automatisiert die Kreditwürdigkeit von jemandem bewerte, dann kann ich das machen anhand von Aspekten, dass ich sage, okay, der hat in der Vergangenheit seine Rechnung nicht bezahlt, der ist vielleicht insolvent etc.

Dann kann ich das bewerten. Aber eine solche Bewertung darf auf keinen Fall stattfinden, nur aufgrund des Sozialverhaltens, aufgrund bestimmter persönlicher Merkmale etc. Also ich sage, okay, die Gruppe, die immer nur da in diesem Stadtteil wohnt, die bestimmte Straftatnehmer begeht, aufgrund dieser Aspekte ist es komplett untersagt. Solche automatisierten Systeme sollen nicht stattfinden.

Ein Beispiel, das ich jetzt ganz grob so ein bisschen klaue aus einem Buch, das nennt sich KI 2041, das kann ich sehr empfehlen, ich bin gerade dabei, das zu lesen. Ein Beispiel, das dort genannt wird, ist Versicherungen. Wenn man jetzt die ganz klassische Krankenversicherung nimmt und dort bessere Raten bekommt, wenn man sich besser verhält und dann wird sozusagen KI verwendet, dein Verhalten zu kontrollieren, zu überprüfen und wenn du dich dann, wenn du beispielsweise schnell Auto fährst, dann sagt die KI, naja, warum fährt ihr jetzt so schnell Auto, das ist ja eine gefährliche Tätigkeit, dann musst du nächsten Monat mehr Geld bezahlen, weil es ist höher, dass du einen Unfall hast und wir dich dafür versichern müssen. oder dir dann eine Versicherungssumme auszahlen müssen.

Und so funktioniert das dann, dass du ganz variable, anhand deines eigenen Verhaltens gemessene Preise zahlen musst oder Versicherungsbeiträge zahlen musst. Und das ist natürlich, klingt vielleicht für den einen oder anderen irgendwie nach so Zukunft und toll, aber eigentlich ist das sehr dystopisch fast schon, weil man dann, naja, implizit wird man oder mittelbar wird man ja schon gezwungen, sich auf eine bestimmte Art und Weise zu verhalten, um sozusagen die Kosten gering zu halten. Was ja nicht schlimm ist, wenn man sich dabei innerhalb der Regeln befindet, wenn ich jetzt nicht mit 100 durch die Ortschaft rase. Aber in der Tat, also das ist so ein Punkt, der so ein bisschen findet eher statt.

Also es ist ja so bei den Krankenversicherungen, wenn ich meine Vorsorgeuntersuchungen einhalte, dann gibt es da, ich weiß gar nicht, ob es Nachlässe sind, aber dann beeinflusst das das Ganze schon, wenn ich eben bestimmte Angaben ja ohnehin beim Abschluss von einer oder einer Versicherung mache. Was ist, ich rauche, ich trinke, was mache ich alles so? Da sind ja diverse Fragen, die gestellt werden. Habe ich Vorerkrankungen?

Habe ich erbliche Vorerkrankungen in meiner Familie? Dann haben wir das zuletzt hier ja auch, dass einige Krankenkassen ja auch zum Beispiel irgendwelche Fitnessgeräte sponsoren. Irgendwelche Uhren, Fitnessuhren etc., die natürlich so ein bisschen damit einhergehen, dass ich auch ein Augenmerk darauf auf mein Verhalten habe. Das reicht diese Grenze, glaube ich, noch nicht, dass das hier unter einem Verbot fällt.

Aber es geht so in diese Richtung. Ja, ich meine, das funktioniert ja heute momentan eher über so Bonussysteme, dass du dann, ich melde mich in einem Fitnessstudio an, das kann ich dann angeben bei der Krankenversicherung, dann kriege ich einen Punktebetrag oder vielleicht sogar auch einen direkten Geldbetrag, den ich als Geldwertenvorteil irgendwie mir auszahlen lassen kann. Aber wie du schon gesagt hast, das ist ein ganz erheblicher Unterschied, als wenn ich sozusagen deinen gesamten Tagesablauf monitore, am besten noch verbunden mit irgendwie einer Smartwatch, die permanent dein System sozusagen überprüft, deine biometrischen Daten überprüft. Und wenn du schlecht geschlafen hast, dann darfst du ab nächstem Monat 5 Euro mehr zahlen.

Das ist ja schon eher gefährlich. Ja, also das Thema kann man tatsächlich noch ein bisschen weiter ausführen. Das könnten wir eigentlich mal in einer gesonderten Folge machen. Aber ich komme drauf, weil ich tatsächlich das mal ein bisschen ausprobiert habe, Essen zu tracken.

Mal zu gucken, was man so, und wenn das dann aber natürlich eine Folge hat, dass, oh, hab schon wieder einen Schnitzel heute, da müssen wir mal gucken. Oh, rohes Fleisch schon wieder. Oh, heute noch ein Bierchen. Dann ist das natürlich so ein Punkt, ja, welche Folgen das hat.

Und dann sind solche Sachen, die vielleicht automatisiert erfolgen, dann auch tatsächlich einfach nicht gewünscht. Und die Europäische Kommission ganz auch auf einer Linie mit der Europäischen Grundrechtecharta und auch mit dem Grundgesetz insoweit sieht da einfach eine erhebliche Gefährdung der allgemeinen Handlungsfreiheit und will das halt schützen, dass wir auch das Recht haben, uns ungesund zu verhalten. Und diesen Schutz will man dadurch erreichen, dass man das als verbotenes System ansieht. Einen weiteren Aspekt, den die EU da so im Blick hat, ist den, erinnert mich immer ein bisschen an iRobot, das ist so dieses Predictive Crime oder dieses sogenannten Pre-Cops, also dass man, ich will nicht sagen die Vorhersage von Straftaten, sondern aber eben auch die Bewertung des Risikos, dass eine Person Straftaten begeht, basierend eben auch auf Profilen, Persönlichkeitsmerkmalen etc.

Das soll auch nicht zulässig sein. Das trifft vielleicht so ein bisschen das, was ich eben sagte. dass ich sage, okay, es ist kein Geheimnis, dass vielleicht, wenn man das irgendwie sich anschauen würde, dass in bestimmten Stadtteilen von Städten irgendwie mehr Polizeieinsätze stattfinden als in anderen. So, das heißt, jetzt ziehe ich da hin, dann bekomme ich gleich ein anderes Pre-Crime-Rating.

Oh, aufpassen, jetzt, weiß ich nicht, geht er in den nächsten Laden und klaut er was. Also sowas soll auch nicht zulässig sein, wenn das allein auf solchen Profilen oder Persönlichkeitsmerkmalen beruht, was absolut nachvollziehbar ist. Und dann so etwas wie das Aufbauen von Gesichtserkennungsdatenbanken soll auch verboten sein und auch, finde ich auch sehr interessant, das Ableiten von Emotionen am Arbeitsplatz oder in Bildungseinrichtungen. Also mit der Rückausnahme, dass medizinische oder Sicherheitsgründe, für diese Gründe soll das noch erlaubt bleiben.

Aber sozusagen um möglicherweise als Arbeitgeber zu ermitteln, arbeiten eigentlich, sind meine Arbeitnehmer zufrieden oder sind sie gelangweilt? Sowas ist nicht erlaubt. Wenn ich das aber nutzen würde, um herauszufinden, ob meine Arbeitnehmer kurz vorm Schlaganfall sind, dann wäre das möglicherweise erlaubt. Da muss man aber dann auch wieder gucken, dass es nicht sozusagen als Nebenprodukt doch einen verbotenen Teil auch mit kontrolliert oder mit beinhaltet.

Und dann wird man dann in der Zukunft sehen, insbesondere wenn dann die KI-Verordnung wirklich da ist und in Kraft ist, inwieweit und die entsprechenden KI-Systeme überhaupt bestehen, inwieweit das dann miteinander vereinbar ist oder ob dann eine solche KI-Nutzung einfach generell immer ausgeschlossen ist, weil man sozusagen diesen medizinischen oder Sicherheitsaspekt nicht einfach ausklammern kann und alleine implementieren kann. Ganz interessant finde ich, daran merkt man auch, wie sehr sich da unterschiedliche Parteien an diesem Text ausgetobt haben und so ein bisschen bis jetzt zu einer Lösung gekommen sind, die versucht, allem gerecht zu werden. Das geht so ein bisschen um diese biometrische Fernidentifizierung, heißt das. Und letztlich ist es unter anderem ja die Videoüberwachung.

Also die Videoüberwachung in öffentlich zugänglichen Räumen in Echtzeit soll grundsätzlich auch unzulässig sein, aber, und dieses Aber ist, glaube ich, relativ groß. Und da geht es eben um erhebliche Eingriffe, erhebliche Straftaten, vorhersehbar terroristische Angriffe, schwere Straftaten, Mord, Vergewaltigung, bewaffneter Raubüberfall, unter anderem aber auch Umweltkriminalität. Das finde ich interessant. Wobei das nicht heißt, dass ich es falsch finde.

Und dann die weiteren Einschränkungen, dass wenn das dann aber ausnahmsweise zulässig ist, dass man sowas macht, dass man also möglicherweise eben schaut, okay, wo läuft er gerade rum in Echtzeit, wo benutzt er seine Kreditkarte, wo benutzt er seinen Fingerabdruck, wo hat er gerade sein Handy entsperrt mit Face ID oder was auch immer. wird das, und das ist dann so ein Teil, den die Nationalstaaten dann noch regeln müssen, davon abhängig gemacht, dass es eine Genehmigung gibt von einer Justizbehörde, Staatsanwaltschaft, Gericht etc. Und dann wieder eine Rückausnahme, außer es gibt eben dringende Fälle, die da entsprechend begründet sind, dann darf man das auch ohne Genehmigung machen. Wenn sich das im Nachhinein dann herausstellt als doch nicht genehmigungsfähig oder nicht genehmigt, ja, dann muss man wieder alles löschen.

Aber ich könnte mir vorstellen, dass das schon im ersten Schritt dazu führt, dass Strafverfolgungsbehörden das mal in Anführungsstrichen ausprobieren und sagen, okay, wir gucken mal. Da wird die Rechtsprechung dann sagen müssen, okay, das ist eben kein solcher Fall gewesen oder es ist ein solcher Fall gewesen. Und die Systeme, die jetzt im Moment KI-basiert dort eingesetzt werden, ich meine, es gibt sie. in einigen Staaten etwas stärker, in anderen etwas weniger stark.

Aber gerade so diese Datenbanken, diese Bilddatenbanken, Gesichtserkennungsdatenbanken, die ja grundsätzlich auch unter dieses Verbot fallen, die gab es ja zumindest mal. Und ob die jetzt einfach jemand gelöscht hat, das weiß ich nicht. Ja, ich glaube, was man an diesem Beispiel noch ganz gut darstellen kann, ist, dass die KI-Verordnung sich in einem sehr schwierigen Umfeld befindet und es sehr schwer ist, hier saubere Regelungen zu finden, mit denen alle sozusagen glücklich werden. Insbesondere, wenn man so etwas hat wie Datenschutz, das auf der anderen Seite steht und die DSGVO, die sozusagen auf der anderen Seite steht, dann wird es sehr schwer, das alles unter einen Hut zu bringen.

Und man hat es jetzt mit dieser KI-Verordnung versucht, Inwieweit das dann wirklich gut umgesetzt wurde, müssen wir dann sehen nachher, wie es in der Anwendung läuft. Anhand dieser biometrischen Fernidentifizierung merkt man aber auch, dass möglicherweise Änderungen in unserem Strafprozessrecht oder in unserem Polizeirecht als solchen notwendig sein werden, um halt auf solche neuen Mittel der Strafverfolgung oder auch der Gefahrenabwehr einzugehen. Also das reicht nicht, dass nur die KI-Verordnung jetzt da ist, sondern wir müssen dann auch innerhalb des Mitgliedstaats, also innerhalb von Deutschland sozusagen, noch eigene Regelungen treffen, um das sozusagen zu komplementieren und zu ergänzen. Dann lass uns gerne auch mal, damit wir das auch alles ein bisschen unterkriegen, über den nächsten Punkt sprechen und das sind die KI-Systeme mit hohem Risiko.

Das heißt also, das ist so ein bisschen die nächste Kategorie, die geregelt werden soll und dann stellt sich als erstes die Frage, was sind denn jetzt KI-Systeme mit hohem Risiko? Da verweist die Verordnung unter anderem auf zwei Anhänge, die es gibt dazu. Und darin sind einzelne Beschreibungen, einzelne Kategorien drin enthalten, die wir mal ganz kurz anreißen können. Also grundsätzlich ist es so, dass KI-Systeme dann als risikoreich gelten sollen, wenn sie in irgendeiner Art und Weise ein Profil von Personen erstellen.

Das heißt, sie verarbeiten automatisiert personenbezogene Daten, um irgendetwas zu bewerten. Das kann die wirtschaftliche Lage sein, wie ich das eben schon mal kurz angesprochen habe, so ein bisschen dieses Kreditrating. Das kann aber auch die Gesundheit sein. Also grundsätzlich gibt es ja die Möglichkeit, dass ein solches KI-System nicht verboten ist, sondern eben nur ein hohes Risiko beinhaltet und dann entsprechende Folgen auslöst.

Da fallen grundsätzlich auch solche Systeme drunter, die in irgendeiner Art und Weise mit biometrischen Verfahren arbeiten. Also so Fernidentifikation. Also man kennt das, man eröffnet ein Konto, man geht nicht mehr zur Bank, sondern man setzt sich vor seinen Rechner und hält da den Personalausweis in die Kamera, dreht und wendet und macht und tut. Und auf der anderen Seite sitzt entweder ein Mensch oder ein Mensch, der dann, oder in der Regel wird es sein, ein Mensch mit KI-System, die das dann bewertet und irgendwann grünes Licht gibt oder nicht.

Und das ist nach dieser Definition meines Erachtens ein System mit einem hohen Risiko, das ganz klar reguliert werden soll. Genauso selbstverständlich, würde ich sagen, Systeme, die sich mit kritischen Infrastrukturen beschäftigen und auch hier wieder Systeme, die im Bereich der allgemeinen und beruflichen Bildung oder überhaupt im Bereich Arbeitnehmerschutz stattfinden. Ja, was man an dieser Stelle noch vielleicht sagen muss, ist, dass die KI-Verordnung leider nicht, also wir versuchen es relativ simpel sozusagen zu komprimieren. Ich kann mir vorstellen, dass es jetzt schon sozusagen leicht verwirrend ist.

Das Problem ist nur, dass die KI-Verordnung sogar noch Rückausnahmen macht. Das heißt, wenn wir jetzt von einem Hochrisikosystem, also einem System mit hohem Risiko sprechen und sagen, ja, das könnte ein KI-System sein, wie du es gerade gesagt hast, mit fernbiometrischer Erkennung, dann kann es aber auch Rückausnahmen geben, dann, wenn kein erhebliches Risiko für Gesundheit, Sicherheit oder die Grundrechte natürlicher Personen vorliegen. An der Stelle, vielleicht können wir schon mal spoilern, die EU ist sich dessen bewusst, dass das Ganze eine relativ komplexe Materie ist und hat deswegen also zum einen auf der Seite der EU einen sogenannten AI Act Explorer, um so ein bisschen die Regelungen durchzuschauen, zur Verfügung gestellt, aber unter anderem auch, und den finde ich eigentlich ganz gelungen, den Compliance Checker. Das heißt, ich kann selber entweder für mich oder für andere prüfen, falle ich mit diesem Anwendungsbereich unter diesen AI-Act und habe ich dann, oder ich sage mal, welche Regelungen habe ich zu berücksichtigen.

Ich habe dort auch die ganzen Definitionen, wenn ich nicht weiß, bin ich jetzt dieser oder jener und wir packen das in die Shownotes und das ist nicht ganz trivial, weil es einfach auch sehr viele Punkte gibt, die dann eben diese ganzen Ausnahmen und Rückausnahmen widerspiegeln. Aber damit kommt man, glaube ich, ganz gut da durch und kann so eine erste Einschätzung vornehmen, ob man selber jetzt darunter fällt oder nicht. Das bringt so ein bisschen Klarheit in dem sehr umfangreichen Text auch. Ja, und in dem Fragen- und Antwortenbereich darunter unter dem Compliance-Checker wird auch eine kleine Studie zitiert, in der sich ergeben hat, wie viele KI-Systeme, die es derzeit gibt, in die verschiedenen Kategorien fallen werden.

und vielleicht passt das ja gerade ganz gut, es gibt nur 18 Prozent oder nach derzeitigem Stand sind nur 18 Prozent der derzeitigen KI-Systeme von 106 überprüften KI-Systemen würden unter die Kategorien des hohen Risikos fallen, während 42 Prozent unter die Kategorie eines geringen Risikos fallen und bei 40 Prozent müsste man dann nochmal schauen, weil da ist es unklar, ob sie hohes oder geringes Risiko haben. Es stellt sich so ein bisschen die Frage, wo würden die alle einfallen, weil wenn die jetzt alle hohes Risiko wären, dann würde diese Studie natürlich ein komplett anderes Ergebnis haben. Aber wenn man die 18% zu den 40% jetzt erstmal so vergleichen würde, ganz unsachlich und unstatistisch sauber, dann merkt man schon, dass KI-Systeme, die so wie sie jetzt kennen und wie wir sie jetzt gerade schon benutzen, viele davon werden nicht weiter verändert werden oder müssen nicht reguliert werden, sondern können einfach so weiter bestehen. Ich glaube, es kommt auch sehr stark darauf an, wie ich sie einsetze.

Das ist ja immer so ein bisschen der Punkt. Also das System an sich, also das stammt aus einem anderen Zusammenhang. Technik allein ist nicht böse. Und es kommt immer darauf an, wie ich sie einsetze.

Und da ist die Frage, ob künstliche Intelligenz vielleicht da ein bisschen rausfällt, weil sie eben selber Dinge macht, wenn sie sie denn selber macht und inwieweit ich das vorher vorgebe oder begrenze etc. Aber das ist ein ganz anderes Thema. Was diese Systeme mit hohem Risiko angeht, ich glaube, man kriegt eine Idee mit dem, was wir dargestellt haben. Auch da der Bereich der Strafverfolgung ist ein Punkt, der auch relevant ist.

Auch da ist nicht per se alles unzulässig, aber wenn es in diesem Bereich stattfindet, unterfällt es einem hohen Risiko und dann ist es reguliert. Der nächste Schritt nach unten ist im Prinzip der, dass wir sagen, wir haben Systeme mit geringeren Transparenzpflichten und diese geringeren Transparenzpflichten mit begrenztem Risiko. Wir haben Systeme mit begrenztem Risiko und die unterfallen geringeren oder überhaupt Transparenzpflichten. Das heißt, ich habe da keine starke Regulierung oder teilweise auch gar keine Regulierung, aber ich habe auf jeden Fall bestimmte Verpflichtungen, dass ich Informationen über mein System preisgebe.

Der wichtigste Punkt, der sich auch so in der Form ändern werden muss, ist, es muss den Nutzern von solchen KI-Systemen mit begrenztem Risiko klar sein, dass sie sich mit einer KI unterhalten bzw. interagieren in irgendeiner Form. Das heißt, wenn wir jetzt über ein Chatbot reden oder ein Bild vor uns sehen, das von einer KI erstellt wurde, dann muss mir klar sein können, als Endnutzer durch irgendwie ein Wasserzeichen oder durch die Meldung, dass dieser Chatbot ist eine KI, dass ich mit einer KI interagiere. Und das ist, glaube ich, eine der wichtigsten Änderungen zu dem Status Quo, denn Stand jetzt ist das nicht so und theoretisch könnte ich mit einem Chatbot auf irgendeiner Internetseite mich unterhalten und denken, da sitzt wirklich auf der anderen Seite eine andere Person, die gerade meine Fragen beantwortet zu irgendwie Telekommunikationsleistungen.

und möglicherweise ist das aber keine wirkliche Person, keine reale Person, sondern eine KI und das müsste dann in Zukunft so auch ausgewiesen werden. Und der zweite Punkt, eben die Deepfakes, also wenn ich Bilder habe, die täuschend echt sind und etwas darstellen, was so vielleicht nie passiert ist, dann muss mir das eigentlich auch sozusagen gezeigt werden. Da wird es spannend sein, in welcher Form das umgesetzt wird. Ja, da werden, also mir stellt sich als erstes die Frage, wie muss das denn deutlich gemacht werden?

Weil wenn ich heute, aber da muss man auch sagen, dass es dann, ich glaube, das ist sehr subjektiv, im Moment, wenn ich eine Anfrage an den Chatbot, also wenn ich bei einem großen Online-Händler eine Anfrage wegen einer Stornierung oder wegen einer Rücksendung oder sowas stelle, dann gehe ich im ersten Schritt davon aus, okay, da sitzt kein Mensch, das wird erstmal durch eine KI gemacht. Ich weiß ehrlich gesagt gerade nicht, ob mir das optisch in irgendeiner Art und Weise auch präsent gemacht wird da. Das weiß ich gerade nicht. Aber ich weiß, dass ab einem gewissen Punkt dann ja immer dieses, okay, warten Sie bitte kurz, wir stellen Sie zu einem Mitarbeiter durch oder irgendwie sowas.

Da erfahre ich dann auch so, ich habe bisher gar nicht mit einem Mitarbeiter gesprochen. Und sowohl an dieser Stelle als auch an der Stelle bei den Deepfakes wird es, glaube ich, spannend sein. Und da wird dann auch, glaube ich, so ein bisschen die Diskussion, vielleicht auch der Streit stattfinden, wie stelle ich das denn klar? Wie offensichtlich muss das sein?

Muss ich das irgendwo in den, weiß ich nicht, in den Metadaten einer Datei hinterlegen, was damit passiert ist? Oder muss ich da, weiß ich nicht, diagonal drüber schreiben, Deepfake? Also ich glaube, da kommt es da so ein bisschen drauf an. Da gibt es, glaube ich, ganz unterschiedliche Interessen, aber das wird sehr spannend sein.

Also wenn wir nur bei den zwei Beispielen Chatbots und Deepfakes bleiben. Für Chatbots sehe ich das eigentlich relativ einfach an. Man könnte ja so eine Art Banner einblenden, das immer auch permanent da bleibt. Es handelt sich nicht um eine reale Person, es handelt sich um eine KI, mit der sie sich unterhalten.

Das könnte relativ einfach gehandhabt werden. Oder zum Beispiel wäre es auch möglich, dass wenn das irgendwie grafisch dargestellt wird, eine andere Person in dem Chatfenster, dass diese Person kein Mensch sein darf. Das wäre zum Beispiel auch eine Option, der man das, sondern ein Roboter. Das wäre vielleicht eine Option.

Bei den Deepfakes, da gibt es ja verschiedene Ideen. Da gibt es ja auch diesen Wiedererkennungspixel, den man immer eingebaut haben muss in dem Bild. Die Frage ist nur, inwieweit muss es für den Endnutzer sofort auf den ersten Blick erkennbar sein? Wenn das der Fall sein sollte, dann ist es wesentlich schwerer.

Dann bräuchte man fast schon dieses Banner, das quer über das ganze Bild ist, aber dann würde es ja auch den Zweck von solchen erstellten Bildern verletzen, beziehungsweise zerstören. Da sehe ich auch ein großes Problem. Ich glaube, im Ergebnis, also in der Sache ist es schon richtig, dass Deepfakes erkennbar sein sollten als Deepfakes. Ich glaube, viele werden sich erinnern an das Bild von dem Papst in seinem sehr schicken Mantel, das dann irgendwie sich als Deepfake herausgestellt hat.

Solche Sachen sollten am besten nicht passieren, da das auch wirklich für sehr viel Unfug verwendet werden kann und wirklich schlimm. Unfug ist vielleicht ein zu flapsiges Wort an der Stelle eigentlich, aber gut. Deswegen muss man wahrscheinlich vorsichtig sein und da bin ich mir noch nicht sicher, wie die Interessen vernünftig in eine Waage gebracht werden können. Ja, bin ich bei.

Das wird auf jeden Fall noch spannend sein. Ein weiterer Teil, der unter diese KI-Systeme mit begrenztem Risiko fällt, ist die Vorgabe, dass diese Systeme das EU-Urheberrecht einhalten müssen. Und dann werden wir im Vorhinein mal kurz darüber gesprochen. Wir hatten ja auch, ich glaube, das war eine unserer ersten Podcast-Folgen auch, als wir über Bildgeneratoren gesprochen haben.

Und die Frage, ist das urheberrechtlich zulässig, wenn ich Trainingsdaten verwende und was es mit den Ergebnissen, die dabei rumkommen. Und wir sind ja damals auch schon zu dem Ergebnis gekommen, dass die Hürden relativ gering sind, solche Trainingsdaten zulässig zu nutzen, wenn ich im wissenschaftlichen Bereich, im Forschungsbereich bin. Da bewegen sich aber auch KI-Systeme, aber ja nicht nur. Und ein großer Teil findet ja auch einfach im Nicht-Forschungsbereich statt.

Und da gibt es nach den bisherigen Regelungen durchaus breite Regelungen, die sagt, okay, das kannst du auch alles benutzen, außer es gibt eben einen Nutzungsvorbehalt desjenigen, der diese Sachen online zur Verfügung stellt. Und dieser Nutzungsvorbehalt, da ist dann die Frage, wie muss das alles gestaltet sein? Ich denke aber, da gibt es Möglichkeiten, wie man das machen kann. Nur ich frage mich, diese Trainingsdaten, die sind ja alle nicht zwingend heute gesammelt worden, sondern die sind vielleicht auch schon vor fünf Jahren gesammelt worden und werden aktuell immer noch gesammelt.

Und dann frage ich mich, inwieweit diese Verpflichtungen der Einhaltung des EU-Urheberrechts dieser Verordnung darauf noch Auswirkungen haben können. Ja, das ist etwas, was man wirklich beobachten muss und vielleicht auch generell ist noch die Sache zu nennen, dass im Urheberrecht normalerweise der Urheber nichts tun muss, um Rechte zu haben an seinen Werken. Jetzt ist es aber so, dass gerade bei diesen Trainingsdaten plötzlich ihm die Pflicht auferlegt wird, dem Urheber die Pflicht auferlegt wird, seinen Nutzungsvorbehalt auszusprechen. Also beispielsweise, indem ich ein Bild hochlade und in den Metadaten einen bestimmten Code einfüge oder die Aussage einfüge, Nutzungsvorbehalt nicht für Trainingsdaten verwenden.

Deswegen habe ich das zwar gemacht, aber es erschließt sich mir nicht so ganz, warum an dieser Stelle sozusagen die Voraussetzungen umgedreht werden plötzlich und es Urhebern sozusagen schwerer gemacht wird als sonst, ihre Rechte wahrzunehmen, beziehungsweise warum sie jetzt aktiv tätig werden müssen, um ihre Rechte zu behalten. beziehungsweise sie behalten natürlich alle anderen Rechte wie das Veröffentlichungsrecht etc. Aber warum hier sozusagen ein so geringer Eingriff gesehen wird in die Trainingsdaten oder durch die Nutzung als Trainingsdatum, verstehe ich noch nicht ganz. Ich denke auch, man sieht eigentlich ganz gut, dass aus dem kreativen Bereich, aus dem urheberrechtlichen Bereich da doch viel Gegenwind kommt, dass man eigentlich sich einen etwas, einen besseren Schutz gewünscht hätte.

Wobei man sagen muss, dass das schon auch bei, also daran ändert jetzt die KI-Verordnung, also das können wir feststellen, die KI-Verordnung ändert nichts daran an dieser Situation. Sie greift im Prinzip so ein bisschen auf das zurück, was ich vielleicht am Anfang schon so ein bisschen angerissen habe, so dieses, es gab auch früher schon Regelungen, die sich damit beschäftigt haben, nämlich eben mit diesem Text- und Datamining, das Paragraphen 60d und 44a Urheberrechtsgesetz, diese Regelungen beinhalten ja auch schon einen Teil KI. Also das ist ja gerade das, was die erste Frage, die aufkam bei ChatGPT oder bei Bildgeneratoren, was habt ihr denn alle für Daten benutzt und durftet ihr diese Daten überhaupt benutzen? Dann kamen jedenfalls im deutschen Bereich alle auf diese Normen zu sprechen und sagten, naja, das ist ja schon zulässig, wenn es Forschungsbereiche sind sowieso und wenn es nicht Forschungsbereiche sind, gab es auch die Auffassung, dass das zulässig ist, wenn eben kein Nutzungsvorbehalt besteht.

Jetzt machen wir uns aber nichts vor, wer hat denn bitte einen Nutzungsvorbehalt oder vor zwei Jahren jedenfalls einen Nutzungsvorbehalt reingeschrieben und wo denn überhaupt und was heißt das und das war ja insofern nicht geregelt. Auf diese Regelung greift die KI-Verordnung jetzt, glaube ich, schon zurück und sagt, naja gut, ihr müsst das EU-Urheberrecht einhalten. Diese Regelungen basieren aber ja auch auf EU-Verordneten oder auf EU-Richtlinien und sagen dann, okay, wenn ihr das zulässiges Text- und Datamining betrieben habt, dann ist ja alles wunderbar. Das heißt, zumindest für die Zukunft ist es einfach klare Empfehlung, dass wenn man Urheber ist, Fotograf ist beispielsweise und Bilder ins Internet stellt, dass man mit diesen Metadaten insoweit arbeitet, dass man einen klaren Nutzungsvorbehalt dort einträgt, wenn das das eigene Interesse ist.

Es kann natürlich auch Menschen da draußen geben, denen das in Anführungsstrichen jetzt egal ist und die sagen, naja, lass die KI doch damit trainiert werden. Es werden ja nicht meine Bilder dann direkt reproduziert, was ja insoweit technisch gesehen auch, soweit ich das zumindest überschauen kann, richtig ist. Wir sind schon lange über diese Zeiten hinaus, wo irgendwie Getty Images noch sich wiedergefunden hat in den KI-generierten Bildern. Also immer dieses Wasserzeichen Getty Images, das war ja ganz am Anfang irgendwie so eine Sache, dass das sich wiedergefunden hat in den KI-generierten Bildern.

Darüber sind wir ja schon lange hinaus. Wahrscheinlich auch, weil die Trainingsdaten einfach sehr viel umfangreicher geworden sind. Okay, dann lass uns noch die vierte Kategorie kurz anreißen. Das ist nämlich die, die sich mit KI-Systemen mit geringstem Risiko beschäftigt und das ist schlichtweg unreguliert.

Genau, also und das sind wahrscheinlich auch viele KIs, die wir jetzt gerade auf dem Markt haben oder die sich jetzt gerade sozusagen wiederfinden in der Anwendung. Beispielhaft werden genannt sowas wie Spamfilter, wenn sie den KI gestützt sind und Videospiele in den KI zum Einsatz kommen. Aber auch da muss man daran denken, dass der Schritt zu einer KI mit begrenztem Risiko oder mit hohem Risiko, der kann sehr schnell getan sein, wenn doch Auswirkungen auf die Rechte, auf die Gesundheit von natürlichen Personen zu befürchten sind. Dann kann auch aus einem KCI-System mit geringstem Risiko plötzlich eine regulierte KI mit begrenztem Risiko, wo man dann Transparenzpflichten hat oder aber sogar einer KI mit hohem Risiko werden.

Wenn wir jetzt im Prinzip diese vier Kategorien so dargestellt haben, das heißt, wir haben eine Kategorie, die ist einfach schlicht untersagt, dann haben wir quasi am anderen Ende der Skala eine Kategorie, da gibt es auch keine, also es gibt keine Regelungen zu, aber die sind unreguliert. Und dann gibt es zwei Kategorien, die so ein bisschen überbleiben, das sind einmal die mit einem niedrigen Risiko, die hatten wir eben schon so ein bisschen besprochen, Transparenzpflichten, Einhaltung des EU-Urheberrechts und noch ein paar weitere. Am spannendsten wird wahrscheinlich sein die Kategorie der Systeme mit hohem Risiko. Und da will ich vielleicht noch ein paar Punkte anreißen, was dann da gilt.

Oder was da jedenfalls von der Verordnung erstmal vorgesehen ist, relativ allgemein, was es für Vorgaben gibt, was diese Systeme einhalten müssen, damit sie denn überhaupt zulässig betrieben werden können und nicht unter ein verbotenes System fallen. Ganz wichtig ist es den Verordnungsgebern, dass es für den gesamten Lebenszyklus dieses Systems, wie lang auch immer der ist, ein Risikomanagementsystem gibt. Das also im Vorhinein aufgezeigt werden kann, welche Risiken bestehen, wie wird damit umgegangen und wie entwickelt sich das möglicherweise. Also ich kann nicht sagen, okay, Zeitpunkt heute, ich lasse das Ding auf dem Markt und heute funktioniert es so.

Wenn es aber gerade etwas ist, was vielleicht sich auch selbstständig entwickeln und verändern kann, muss ich das voraussehen oder muss es begrenzen. Das ist dann vielleicht so ein Punkt, weil ich kann natürlich über den gesamten Lebenszyklus eines Systems nur dann etwas sagen, wenn ich weiß, wie es sich entwickelt. das ist ja nun mal der KI immanent, dass sie vielleicht eine gewisse eigene Entwicklung hat. Aber die muss ich eben auf technischer Ebene dann, jedenfalls nach meinem Verständnis, so schon bewerten, dass ich das Risiko eben auch einschätzen und niederschreiben kann.

Das Ganze muss dann auch mit Testdatensätzen irgendwie im Bereich der Überwachung sichergestellt werden, dass das alles vollständig und repräsentativ ist. Aber das halte ich für eine relativ hohe Hürde. Was ich auch für relativ wichtig halte, ist die Schaffung von einer Mensch-Maschine-Schnittschnelle, wie es die KI-Verordnung nennt, damit immer und zu jedem Zeitpunkt eine menschliche Aufsicht möglich ist. Und sozusagen die menschliche Aufsicht insoweit möglich ist, dass überprüft werden kann, ob aktuell große Gefahren für Gesundheit, Grundrechte von natürlichen Personen bestehen und möglicherweise diese dann auch einzudämmen und zu verhindern.

Das heißt, dieses Bild einer außer Kontrolle geratenen KI, wie es vielleicht auch aus iRobot ist, das soll gerade verhindert werden, indem sozusagen immer der Eingriff von Menschen möglich sein muss. Ich verstehe das so ein bisschen auch als Kill-Switch. Ja. Also ich muss irgendwo, ich muss einen Stecker ziehen können.

Ja. Was ich mir bei der dezentralen Verteilung von Systemen, ja gut, weiß ich nicht, ob es schwierig ist, aber ich bin technisch nicht ausreichend drin, aber also so dieser eine rote Knopf oder ich stelle mal hier gerade den Strom ab, so einfach ist es ja heutzutage noch nicht mehr. Ja, das muss auch auf technischer Ebene sichergestellt werden. Es müssen entsprechende Unterlagen zur Verfügung gestellt werden, die das belegen.

Und wer das dann nachprüft, das ist wieder die nächste Frage. Also wir müssen eigentlich versuchen, aus Filmen wie Terminator und iRobot zu lernen und diese zu verhindern. Auf jeden Fall, ja. Aber wie gesagt, es gibt noch ein paar weitere Punkte.

Es muss ein Qualitätsmanagementsystem eingerichtet werden und eine, das fand ich ganz ein bisschen süß in Anführungsstrichen, eine Bereitstellung von Gebrauchsanweisungen. Ich brauche also ein KI-System, eine Gebrauchsanweisung für die nachgelagerten Verwender, die dann ebenfalls diese Vorschriften einhalten müssen. Und ich muss quasi als derjenige, der dieses System schafft, dafür sorgen, dass die, die es nachher weiter verteilen, auch in der Lage sind, es zu verstehen und zu benutzen und gleichermaßen diese Regelung einzuhalten. Und das halte ich auch für sehr umfangreich jedenfalls.

Ich glaube, dass da einige Systeme zu Recht hohe Hürden nehmen müssen, damit sie eben nicht außer Kontrolle geraten. Ich habe noch einen Punkt, weil ich da so ein bisschen drüber gestolpert bin. Das war die Wahl der Begrifflichkeiten. Also die Verordnung ist voll mit Definitionen von bestimmten Dingen.

Das geht zum einen darum, wer ist betroffen. klare Definitionen dafür, wer ist Anwender, wer ist Nutzer etc. Und da hilft zum einen, wenn man das selber mal rausfinden will, auch wieder dieser Compliance-Checker der EU. Und ein Beispiel haben wir, glaube ich, rausgesucht.

Das ist so das, was, glaube ich, auch die meisten, oder ja, tatsächlich die meisten Leute dann interessiert. Bin ich denn, wenn ich unternehmerisch unterwegs bin, von dieser KI-Verordnung betroffen? Weil es ist ja nun so, dass auch in, egal welcher Unternehmensgröße, KI stattfindet. Sei es jetzt, ich benutze ChatGPT, um mir selber was zusammenzufassen.

Das ist vielleicht noch gar nicht mal so von Relevanz. Aber vielleicht benutze ich irgendwie ChatGPT, um einen Blogbeitrag aufzubereiten, um einen Blogbeitrag vorzubereiten, um vielleicht auch eine Idee an eine E-Mail zu bekommen, um Kommunikation gegenüber meinen Kunden zu führen. Ich habe in die Microsoft-Systeme sehr viel KI schon integriert, die mir bestimmte Vorschläge macht. Und wenn ich damit als Unternehmen nach außen kommuniziere, dann habe ich möglicherweise eine Situation, dass ich auch in den Anwendungsbereich dieser KI-Verordnung falle.

Die Definition, man differenziert da so ein bisschen bei der Verordnung, dass also nur in Anführungsstrichen solche Nutzer, vorsichtig mit der Begrifflichkeit, sind eigentlich Endnutzer, die nicht unter die KI-Verordnung fallen, wenn sie das Ganze aus rein persönlichen und nicht beruflichen Gründen nutzen. Diese Gruppe ist von der KI-Verordnung nicht betroffen. Ja. Wenn ich aber eben im Bereich bin, dass ich das KI-System beruflich einsetze, dann bin ich nach der Definition der KI-Verordnung Nutzer und nutze diese KI für mich beruflich.

Und dann falle ich auch unter den Anwendungsbereich. Und das ist etwas, glaube ich, was sich viele bewusst machen müssen. Das gilt jetzt nicht nur für den Entwickler, der jetzt irgendwie ein, weiß ich nicht, biometrisches Identifikationssystem oder Strafverfolgungssystem oder Open AI, sondern es gilt auch für, weiß ich nicht, ein mittelständisches Handwerksunternehmen, das diese KI einsetzt, um vielleicht auch Kundenanfragen zu beantworten. Und das würde dann beispielsweise, muss es natürlich nicht, aber könnte Transparenzpflichten auslösen.

Wie zum Beispiel dann sagen zu müssen, okay, dieser Blogbeitrag oder diese E-Mail wurde unter der Zuhilfenahme oder sogar allein nicht durch KI erstellt beziehungsweise beantwortet. Und das wäre vielleicht so einer der Hauptfälle, wo sozusagen die Wirkung der KI-Verordnung sich dann niederspiegelt, dass man halt dann Transparenzpflichten hat hinsichtlich der Entscheidungsfindung. Aber auch kann man als Nutzer, also als beruflicher Nutzer, kann es verboten sein, ausschließlich die KI eine Entscheidung treffen zu lassen. Das heißt, wenn ich nur Chat-GPT sozusagen entscheiden lassen wollen würde, wie ich mich verhalte oder wie ich etwas beantworte oder wie ich über etwas entscheide, dann wäre das möglicherweise, könnte das verboten sein und ich müsste diese Entscheidung zumindest nochmal mit meinen menschlichen Fähigkeiten nachprüfen und ergänzen.

Da bleibt es, glaube ich, auch noch spannend, wo da die Grenzen gezogen werden und wie das dann nachher im Konkreten ausgestaltet wird. Das werden wir mit Spannung beobachten. Vielleicht nur ganz kurz zur Ergänzung. Diejenigen Personen, die es nicht beruflich verwenden, die werden zwar nicht verpflichtet durch die KI-Verordnung, aber können oder werden aber berechtigt bzw.

bekommen gewisse Rechte zugesprochen. Das wäre beispielsweise ein Recht auf Beschwerde bei einer nationalen Aufsichtsbehörde, das Recht auf einen wirksamen Rechtsbehelf gegen die Entscheidung einer nationalen Aufsichtsbehörde und das Recht auf Erläuterung individueller Entscheidungen. Diese Regelungen finden sich in den 68a bis c KI-Verordnungen. Da wird man, glaube ich, nochmal schauen müssen, ob die nicht neu nummeriert werden, weil ich kann mir ehrlich gesagt schwer vorstellen, dass sie direkt eine Verordnung auf den Weg bringen, wo schon mit a bis c gearbeitet wird.

Die Aufsichtsbehörden, das sollen in Deutschland die Datenschutzbehörden werden, ne? Ich glaube, das war noch nicht ganz klar, weil die KI-Verordnung ja einen nicht unerheblichen Teil für Strafermittlungsbehörden auch hat. Und dann hatte man überlegt, ob man auch Teile zumindest dem Bundeskriminalamt übertragen wollen würde. Das Problem ist nur dabei, dass die KI-Verordnung meines Wissens nach das nicht vorsieht, dass verschiedene Behörden zuständig sind.

Und möglicherweise muss das gesammelt bei einer Behörde landen, dann könnte es das BFDI, also der Bundesdatenschutzbeauftragte für Datenschutz und Informationsfreiheit sein. Das bleibt dann ja spannend zu beobachten. Es ist ja nicht so, dass es da im Moment nicht schon genug zu tun gäbe und da dann ja noch Aufgaben hinzukommen. Das stimmt, ja.

schädliche Geldstrafen gibt. Das sind Sachen, die die Nationalstaaten noch beschließen müssen. Und diese Aufsichtsbehörden können im ersten Schritt nach der Verordnung jedenfalls Überwachungsverfahren einleiten und gucken, was passiert denn alles und ebenfalls Strafen verhängen. Aber wie gesagt, das ist eben etwas, was auch noch im Konkreten beschlossen werden muss durch die nationalen Staaten.

Und dann, ja, also ich glaube, der Startschuss ist definitiv gefallen. Und es bleibt sehr spannend, wie so einzelne Punkte, die wir jetzt mal angerissen haben, gerade im Bereich der Systeme mit hohem Risiko, tatsächlich in der Umsetzung sich gestalten. Und wer dann im Konkreten tatsächlich davon betroffen ist. Diese 40 Prozent, die du eben genannt hast, die dann quasi unklar sind, da wird es letztlich nur durch Rechtsprechung belastbar bewertet werden können, ob entsprechende Systeme drunter fallen oder nicht.

Ja, also die KI-Verordnung hat auf jeden Fall das Potenzial, eine erhebliche Änderung in diesem Ökosystem sozusagen zu bewirken. Es wird entscheidend darauf ankommen, wie einzelne KI-Systeme ausgelegt werden, ob es sich um KI-Systeme mit hohem, geringem, verbotenen Risiko handelt. Das wird man dann wirklich noch nachher sehen. Von meiner Seite aber war es das, glaube ich, dann.

Ich wollte nämlich dein sehr gutes Schlusswort nicht unterbrechen. Und bedanke mich für diese tolle Folge und freue mich über jeden, der zugehört hat. Und verabschiede mich bis zum nächsten Mal. Auch von meiner Seite habe ich da nichts mehr zu ergänzen.

Wenn euch das Thema, die Folge, der Inhalt gefallen hat, wenn auch heute mit etwas verschnupfter Stimme, Dann freuen wir uns auf Feedback, Ideen etc. an podcast.tvw.loh oder natürlich auch gerne eine positive Bewertung bei den ganzen Anbietern, bei denen man unseren Podcast findet. Und dann sehen wir uns in zwei Wochen wieder. Und bis dahin, auf Wiederhören.