Wann muss ich die KI-Nutzung kennzeichnen? – Fall des Monats Oktober ’26

Das Team der Rechtsinformationsstelle ORCA.nrw unterstützt Lehrende aus Nordrhein-Westfalen bei rechtlichen Fragen. Im Format „Fall des Monats“ stellt es regelmäßig einen besonderen Sachverhalt vor, der sich aus einer zu bearbeitenden Anfrage oder aus aktueller Rechtsprechung ergibt.

Ausgangspunkt

Ein Team aus Lehrenden erstellt einen neuen Moodle-Kurs und möchte mit verschiedenen Medien arbeiten, die sie selbst mithilfe von KI erzeugen wollen. Zum einen sollen durch ein KI-System Bilder, die realistisch wirkende Szenen zur Veranschaulichung der Lerninhalte darstellen, erzeugt und gegebenenfalls anschließend bearbeitet werden. Zum anderen sollen die Lerninhalte in ein KI-System eingegeben werden, um daraus einen Podcast mit KI-generierten Stimmen zu erstellen. Die Lehrenden fragen sich nun, ob und wie diese KI-Erzeugnisse als solche zu kennzeichnen sind.

Rechtliche Bewertung

(1.) Deepfake

Die KI-Verordnung (EU) 2024/1689 (KI-VO) verpflichtet Betreiber bestimmter KI-Systeme seit dem 2. August 2026 dazu, die Verwendung von KI offenzulegen. Diese Offenlegungspflicht betrifft gemäß Art. 50 Abs. 4 KI-VO jedoch nicht sämtliche KI-generierten Inhalte. Für die Lehre besonders relevant sind die sogenannten „Deepfakes“. Hierunter fallen entgegen dem alltäglichen Sprachgebrauch nicht nur täuschend echte Darstellungen von Personen. Vielmehr bezeichnet der Begriff jeden durch KI erzeugten oder manipulierten Bild-, Ton- oder Videoinhalt, der wirklichen Personen, Gegenständen, Orten, Einrichtungen oder Ereignissen ähnelt und einer Person fälschlicherweise als echt oder wahrheitsgemäß erscheinen würde (Art. 3 Nr. 60 KI-VO). Entscheidend ist somit, ob der jeweilige Inhalt den Eindruck erwecken kann, eine tatsächliche Aufnahme oder Darstellung der Wirklichkeit zu sein. Nicht jedes KI-generierte Bild und nicht jede KI-generierte Audiodatei stellt daher automatisch einen Deepfake dar.

Bei den im Moodle-Kurs verwendeten realistischen Bildern kann es sich um Deepfakes handeln, wenn sie beispielsweise tatsächlich existierende Orte, Personen oder Ereignisse darstellen und dabei der Eindruck entsteht, es handele sich um authentische Aufnahmen.

Auch der KI-generierte Podcast ist gesondert zu betrachten. Allein die Verwendung einer synthetischen Stimme begründet noch nicht zwingend einen Deepfake. Eine Offenlegungspflicht kann jedoch insbesondere dann bestehen, wenn durch die KI-Stimme der Eindruck erweckt wird, eine tatsächlich existierende Person spreche oder eine authentische Tonaufnahme werde wiedergegeben. Gerade bei Podcasts ist daher zwischen einer bloß synthetischen Vertonung und einem Deepfake zu unterscheiden. Wird ein sachlicher Lehrtext mit einer erkennbar neutralen KI-Stimme vorgelesen, ohne dass eine authentische Aufnahme oder eine konkrete sprechende Person vorgetäuscht wird, besteht nicht allein aufgrund der KI-Stimme eine Offenlegungspflicht nach Art. 50 Abs. 4 S. 1 KI-VO.

(2.) Ausnahme

Eine Besonderheit gilt hingegen für Inhalte, die Teil eines offensichtlich künstlerischen, kreativen, satirischen, fiktionalen oder vergleichbaren Werks oder Programms sind, Art. 50 Abs. 4 S. 3 KIVO. In diesen Fällen entfällt die Offenlegungspflicht nicht vollständig. Sie beschränkt sich vielmehr darauf, die Existenz der KI-generierten oder manipulierten Inhalte in geeigneter Weise offenzulegen, ohne die Darstellung oder den Genuss des Werks zu beeinträchtigen. Für die Lehre kann diese Regelung beispielsweise bei fiktionalen Hörspielen, kreativen Bildgeschichten oder künstlerisch gestalteten Lehrmaterialien relevant werden. Ob ein solcher Fall vorliegt, hängt jedoch von der konkreten Gestaltung und Einbettung des Inhalts ab. Nicht jede zu didaktischen Zwecken erstellte Illustration fällt automatisch unter diese Sonderregelung.

Wichtig: Die Tatsache, dass die Inhalte ausschließlich in einem geschlossenen Moodle-Kurs bereitgestellt werden, begründet für sich genommen keine Ausnahme von der Offenlegungspflicht. Auch innerhalb eines zugangsbeschränkten Lernraums können KI-generierte Inhalte offenzulegen sein.

(3.) Art der Offenlegung

Art. 50 Abs. 5 KI-VO verlangt, dass die offenzulegenden Informationen klar und eindeutig sowie spätestens zum Zeitpunkt der ersten Interaktion mit dem jeweiligen Inhalt bereitgestellt werden. Die Offenlegung muss außerdem den geltenden Barrierefreiheitsanforderungen entsprechen. Die KI-Verordnung schreibt für die Offenlegung durch die Betreiber keine einheitliche Formulierung und kein bestimmtes Kennzeichnungssymbol vor. Entscheidend ist, dass die Empfänger – also hier die Lernenden – erkennen können, welche Inhalte durch KI erzeugt oder manipuliert wurden.

(a) Visueller Deepfake

Bei KI-generierten oder manipulierten Bildern kann die Offenlegung beispielsweise durch einen unmittelbar am Bild platzierten Hinweis erfolgen. Dieser sollte gut sichtbar und eindeutig dem jeweiligen Bild zuzuordnen sein. Zusätzlich hat die EU-Kommission Icons entwickelt, die zur Offenlegung genutzt werden können. Diese unterscheiden sich in „AI“, „AI GENERATED“ und „AI MODIFIED“. Diese Icons können beispielsweise im Bild selbst eingebettet werden und auf der Seite der EU-Kommission heruntergeladen werden.

Für einen Moodle-Kurs empfiehlt es sich, entsprechende Hinweise direkt im Bild oder unmittelbar in die Bildunterschrift aufzunehmen. Eine ausschließlich an anderer Stelle hinterlegte allgemeine Information über den Einsatz von KI wird dagegen regelmäßig unzureichend sein, wenn die Zuordnung zu den betroffenen Bildern nicht klar ist. Bei der Gestaltung sollte zudem auf Barrierefreiheit geachtet werden. Ein Kennzeichnungshinweis sollte daher nicht ausschließlich als Textbestandteil innerhalb des Bildes erscheinen, sondern möglichst auch als zugänglicher Text bereitgestellt werden.

(b) Audio Deepfake

Auch bei KI-generierten Audioinhalten muss eine erforderliche Offenlegung klar und eindeutig erfolgen. Bei einem Podcast bietet sich hierfür insbesondere ein Hinweis vor Beginn der Wiedergabe oder unmittelbar zu Beginn der Audiodatei an. Dieser sollte gut verständlich sein und bei längeren Audiodateien an geeigneten Stellen wiederholt werden. Wenn möglich sollte auch ein visueller Hinweis, etwa ober- oder unterhalb der Wiedergabefläche, mit eingebaut werden.

Fazit

Lehrende müssen stets prüfen, ob die KI-Erzeugnisse als KI-generiert offengelegt werden müssen. Dies ist bei Lernmaterialien in einem geschlossenen Moodle-Kurs vor allem bei sogenannten Deepfakes der Fall. Diese können in Form von Bilder, Videos oder Toninhalten erzeugt werden. Wenn das KI-Erzeugnis fälschlicherweise als echt wahrgenommen werden könnte, so ist spätestens bei der ersten Wahrnehmung des Inhalts auf die KI-Nutzung hinzuweisen.

Weitere Informationen zu den Transparenzpflichten der KI-Verordnung finden Sie hier.