KI-Governance | Civic Coding-Schlaglicht - Civic Coding – Innovationsnetz KI für das Gemeinwohl

Das Civic Coding-Schlaglicht „KI-Governance – Zwischen Innovation und Gesetz“ am 08.10.2024 beleuchtete verschiedene Ansätze der KI-Governance sowie ihre Herausforderungen und Potenziale für die Zivilgesellschaft. Im Mittelpunkt stand die Frage, wie sichergestellt werden kann, dass Innovationen gemeinwohlorientierten Prinzipien entsprechen. Dabei wurden der AI Act und internationale Policy-Initiativen wie die KI-Konvention des Europarats sowie die KI-Leitlinien der UNESCO näher beleuchtet. Es wurde diskutiert, wie gemeinwohlorientierte Innovationen durch sie gestärkt werden und wie sich zivilgesellschaftliche Akteur*innen bei der Aushandlung von solchen Gesetzen und Initiativen einbringen können.

Dr. Julian Stubbe von der Civic Coding-Geschäftsstelle moderierte den virtuellen Austausch mit Beiträgen von:

• Lajla Fetic, Senior Trustworthy AI Expert beim gemeinnützigen appliedAI Institute for Europe
• Matthieu Binder, wissenschaftlicher Mitarbeiter des digitalpolitischen Think Tanks iRights.Lab.

• Der AI Act unterscheidet nicht nach gemeinwohlorientierten und kommerziellen Organisationen, sondern richtet sich nach der Risikostufe der KI-Anwendung. Sofern die Anwendung die Kriterien der europäischen Definition eines KI-Systems erfüllt und auf den europäischen Markt gebracht wird, gilt der AI Act.
• Weitere Policy-Ansätze und Vereinbarungen wie die KI-Konvention des Europarats, die KI-Leitlinien der UNESCO oder die Empfehlungen der OECD sind ebenfalls eine wichtige Orientierung für international geltende Standards.
• Zivilgesellschaftliche Akteur*innen können sich beispielsweise über die Mitarbeit in Standardisierungsorganisationen in die Gestaltung des AI Acts einbringen.
• Neben der rechtlichen Konformität müssen Organisationen natürlich im Rahmen gesellschaftlicher Normen bewegen sowie den Fokus zunächst auf das Problem legen, das die KI-Anwendung lösen soll und innovative, interdisziplinäre Prozesse nutzen.

Über folgende Leitfragen sprachen und diskutierten wir mit den Expert*innen:

1. Welche spezifischen Anforderungen stellt der AI Act an gemeinwohlorientierte KI-Anwendungen?
2. Wie lässt sich bestimmen, ob eigene KI-Anwendungen in den Anwendungsbereich des AI Act fallen?
3. Welche globalen Initiativen und Abkommen zur KI-Governance haben für die Zivilgesellschaft in Deutschland besondere Relevanz?
4. Welche Einflussmöglichkeiten haben zivilgesellschaftliche Akteur*innen bei der Gestaltung von KI-Initiativen auf nationaler und internationaler Ebene?
5. Wie kann die Zivilgesellschaft sicherstellen, dass ihre gemeinwohlorientierten KI-Anwendungen sowohl innovativ als auch rechtlich abgesichert sind?

Lajla Fetic erklärte, dass der AI Act keinen Unterschied zwischen kommerziellen und gemeinwohlorientierten Anwendungen macht, sondern die Produkte selbst im Fokus stehen. Die Anforderungen der Verordnung orientieren sich daher am Risiko, das von der Anwendung des jeweiligen KI-Systems ausgeht, unabhängig von der Art der Organisation. Der AI Act unterscheidet dabei zwischen niedrigem, mittlerem und hohem Risiko sowie einem inakzeptablen Risiko, das zu einem Verbot des KI-Systems führt – etwa bei Technologien zur Emotionserkennung in bestimmten Situationen, beispielsweise am Arbeitsplatz. Systeme mit hohem Risiko, etwa in den Bereichen Bildung oder Recruiting, unterliegen strengen Auflagen.

Matthieu Binder ergänzte: „Nur weil man einen guten Zweck verfolgt, heißt das nicht, dass kein Risiko dahintersteht.” Gemeinwohlorientierte Organisationen müssen demzufolge sicherstellen, dass ihre KI-Systeme die entsprechenden Sicherheits- und Transparenzanforderungen erfüllen. Sie sollten sich daher mit dem AI Act beschäftigen, alle KI-Systeme auflisten, die sie entwickeln oder einsetzen und prüfen, ob diese unter die KI-Verordnung fallen, so der Rat der Expert*innen. Insbesondere gemeinnützige Organisationen benötigen dabei Unterstützung, da sie oft über weniger personelle Ressourcen verfügen. Ein hilfreiches Tool ist die vom applied AI Institute entwickelte Compliance Journey, die Organisationen durch die komplexen Schritte führt. 

Die KI-Verordnung gilt dann, wenn es sich bei der Anwendung nach europäischer Definition um ein KI-System handelt und es auf den europäischen Markt gebracht wird, erläuterte Fetic. Allerdings gibt es Ausnahmen: Wenn das KI-System beispielsweise nur Forschungszwecken dient, ist es meist vom Anwendungsbereich ausgenommen.

Binder riet Organisationen, sich folgende Fragen zu stellen, die dabei helfen, die für sie geltenden Auflagen des AI Acts zu bestimmen:

• Welchen Zweck verfolgt mein KI-System?
• Welche Daten verwendet es?
• Wer wird die Daten nutzen?
• Wer könnte davon betroffen sein?

Binder und Fetic thematisierten während der Diskussion einige weitere internationale Leitlinien und Abkommen, die sich mit KI-Ethik und -Governance befassen. Dazu gehören beispielsweise die KI-Konvention des Europarats sowie die KI-Leitlinien der UNESCO.

Der Europarat ist etwas größer als die Europäische Union und ihm gehören unter anderem auch die Türkei sowie einige Balkanländer an. Außerdem haben weitere Länder außerhalb Europas an der KI-Konvention mitgewirkt (beispielsweise die USA, Kanada, Japan und Israel). Die KI-Konvention zielt auf die Wahrung von Menschenrechten, Demokratie und Rechtsstaatlichkeit ab und bildet als völkerrechtlicher Vertrag und Rahmenkonvention einen gemeinsamen Nenner für die Mitgliedsstaaten. Binder betonte, dass zivilgesellschaftliche Akteur*innen die KI-Konvention argumentativ hinzuziehen können, wenn es um Themen wie Menschenrechte gehe. Allerdings bestehe die Gefahr, dass Organisationen sich überfordern, wenn sie die KI-Konvention zusätzlich zum AI Act für ihre Aktivitäten umfassend berücksichtigen, waren sich beide Expert*innen einig. Ähnlich verhalte es sich mit den KI-Leitlinien der UNESCO, die von 194 Staaten als ethische Leitlinien entwickelt wurden. Diese seien zwar wichtig für globale ethische Grundsätze, aber nicht unmittelbar hilfreich für die Umsetzung eigener gemeinwohlorientierter KI-Anwendungen, so Binder.

Darüber hinaus nannte er die OECD-Empfehlungen, die einen weiteren interessanten Ansatz darstellen, da die OECD sich insbesondere an die Wirtschaft richtet, Unternehmen direkt anspricht, Impulse gibt und Themen vorantreibt.

Binder machte deutlich, dass der AI Act auf diese Ansätze und Vereinbarungen Bezug nimmt und daher die wichtigste Grundlage für Organisationen darstellt, die KI-Anwendungen nutzen oder entwickeln.

Als eine Möglichkeit für gemeinwohlorientierte Organisationen oder Unternehmen, Einfluss auf die Anwendung der KI-Verordnung zu nehmen, stellte Fetic das Engagement in Standardisierungsorganisationen heraus, die Standards entsprechend des AI Acts entwickeln. Fetic betonte die Bedeutung zivilgesellschaftlicher Beteiligung an der Standardisierung, da es wichtig sei, nicht nur die Perspektive profitorientierter Unternehmen auf diesem Gebiet zu berücksichtigen.

Eine wichtige Rolle bei der rechtlichen Absicherung spielt die im Rahmen des AI Act vorgesehene KI-Aufsicht. Matthieu Binder betonte, dass diese auch die Aufgabe hat, bei der Umsetzung der Verordnung zu unterstützen und entsprechende Handlungsempfehlungen und Materialien zu entwickeln. Organisationen, die KI-Systeme anwenden, sollten zudem Schulungen anbieten, um sicherzustellen, dass ihre Selbstverpflichtungen auch in der Praxis umgesetzt werden, ergänzte Fetic. Gleichzeitig warnte sie vor einem sogenannten „Compliance Bias”: „Bei KI-Anwendungen, die einen gesellschaftlichen Mehrwert bieten sollen, geht es nicht nur darum, dass die Anwendung gesetzeskonform ist. Sie muss auch konform mit gesellschaftlichen Vorstellungen sein und aus Betroffenen Beteiligte machen.” Beispielsweise sollten bei der Entwicklung von KI-Systemen für Migrationsmanagement von Migration betroffenen Menschen gefragt werden, wie und wofür sie sich solche KI-Systeme wünschen, so Fetic. Ihre Empfehlung ist daher, das zu lösende Problem zunächst „technologieblind” zu beschreiben und im zweiten Schritt zu prüfen, wie eine Technologie dabei helfen kann.

• Compliance Journey des appliedAI Institute for Europe
• Studie „KI-Regulierung made in Germany?” des appliedAI Institute for Europe
• Policy Paper „Demokratie und KI” der Friedrich-Naumann-Stiftung und des iRights.Lab