Reflective AI — Die Vorteile von KI nutzen & ihre schädlichen Auswirkungen verhindern
Umgebungen für reflektierte Informationspraktiken in einer digitalen Gesellschaft verstehen und gestalten — hin zu einem Framework, das passiven Konsum hinterfragt und kritisches Engagement mit KI fördert.
Aktuelle Debatten über die zunehmende Polarisierung der digitalen Öffentlichkeit betonen die Rolle des KI-vermittelten Informationszugangs bei der Entstehung und Verstärkung von „Filterblasen“ und „Echokammern“. Aufbauend auf Erkenntnissen aus interdisziplinärer Forschung in den Sozial- und Computerwissenschaften schlägt das Projekt Reflective AI einen neuen Forschungsansatz vor, der die aktuellen Formen des passiven Informationskonsums hinterfragt und die bestehenden Möglichkeiten von KI-Technologien erweitert, um Umgebungen für reflektierte Informationspraktiken zu schaffen.
Problem & Kontext
Die Vorteile von KI verbergen zugrundeliegende problematische Aspekte, die für Nutzer:innen schädlich sein können und gelöst werden müssen, um einen verantwortungsvollen und produktiven Einsatz von KI zu gewährleisten:
- Filterblasen & Echokammern: KI-Algorithmen, die Empfehlungen aussprechen, können polarisierende Effekte erzeugen und verstärken und so den Zugang von Menschen zu vielfältigen Perspektiven einschränken.
- Die Erfahrungslücke: Die Diskrepanz zwischen der alltäglichen Erfahrung, die Menschen mit KI machen, und der Erfahrung, die sie benötigen, um KI auf dem Niveau zu verstehen, das erforderlich ist, um ihre Vorteile zu nutzen und ihre Gefahren zu vermeiden.
- Kognitive Verzerrungen: Bekannte kognitive Einschränkungen und Verzerrungen hindern Menschen daran, in der Lage oder bereit zu sein, über die Informationen nachzudenken, denen sie online begegnen.
- Soziotechnische Komplexität: Die Probleme im Zusammenhang mit dem KI-Einsatz entstehen nicht nur durch technologische Designs, sondern auch durch organisationale und gesellschaftliche Kontexte, in denen KI eingesetzt und entwickelt wird.
Das Reflective AI Framework
Das Framework beschreibt drei Hauptebenen, auf denen Interventionen erforderlich sind, um eine reflektierte KI-Nutzung zu unterstützen:
Endnutzer:innen
Ein besseres Verständnis zentraler Eigenschaften von KI steht im Mittelpunkt des Frameworks. Es müssen Lösungen entwickelt werden, die erfahrungsbasiertes Lernen über zentrale KI-Eigenschaften ermöglichen.
KI-Entwickler:innen & Designer:innen
Verständnis der Nutzerbedürfnisse und Veränderung von Arbeitspraktiken. User-Experience-Design sollte inhärente Eigenschaften und Risiken von KI-Modellen sichtbar machen.
KI-Regulierer & Politische Entscheidungsträger:innen
Öffentliche Politikmaßnahmen sollten die Entwicklung eines besseren Verständnisses von KI unterstützen und Rechenschaftsmechanismen etablieren.
Ziele & Forschungsfragen
- Mentale Modelle & Verständnis: Entwicklung eines Frameworks zur Untersuchung dessen, was Menschen über KI-Systeme lernen müssen, um reflektiertes Wissen zu entwickeln.
- Systemdesign & Kritisches Denken: Identifizierung, wie reflektierte Informationspraktiken durch KI-Systemdesign unterstützt werden können, um kritische Informationsbewertung zu fördern.
Zentrale Forschungsbereiche
- Transparenz & Verständlichkeit: KI-Beteiligung sichtbar machen und Nutzer:innen ermöglichen, zentrale Betriebseigenschaften wie Sensitivität, zeitliche Effekte und Datenschutz kennenzulernen.
- Erfahrungsbasierte Lernumgebungen: Gestaltung interaktiver Umgebungen, in denen Nutzer:innen praktisch erkunden können, wie KI funktioniert.
- Datenschutz & Kontrolle: Nutzer:innen Kontrolle über die Verwendung ihrer persönlichen Daten in KI-Systemen geben.
Methodik
- Transdisziplinäre Stakeholder-Engagement: Expert:inneninterviews mit Forscher:innen und Praktiker:innen aus KI-Ethik, Mensch-Computer-Interaktion, öffentlicher Politik und Medienwissenschaften, ergänzt durch kollaborative Workshops.
- Umfassende Forschungsanalyse: Literaturübersicht und Fallstudien zu Fehlinformationen in sozialen Netzwerken und Empfehlungssystemen.
Forschungs- & Stakeholder-Engagement
14+
Expert-Interviews
4
Partner-Institutionen
3
Interventionsebenen
7
Disziplinen
Zentrale Erkenntnisse
Der transdisziplinäre Ansatz des Projekts, der Forscher:innen und gesellschaftliche Akteure aus verschiedenen Bereichen einbezog, zeigte, dass es schwieriger als bisher angenommen ist, Menschen zu befähigen, KI und die Folgen ihres Einsatzes zu verstehen. KI muss entmystifiziert werden, um die Erfahrungslücke zu überwinden und KI-Kompetenz für einen produktiven und verantwortungsvollen Einsatz zu erreichen.
Durchgeführte Expert:inneninterviews
Identifizierte Interventionsebenen
Ergebnisse & Richtungen
Das Projekt erstellte einen umfassenden Bericht mit fünf zentralen Beobachtungen für weitere Forschung und Praxis auf dem Weg zur Vision von Reflective AI:
Menschen zu befähigen, KI und die Folgen ihres Einsatzes und Designs zu verstehen, ist schwieriger als bisher angenommen.
KI muss entmystifiziert werden, um die Erfahrungslücke zu überwinden und KI-Kompetenz für einen produktiven und verantwortungsvollen Einsatz zu erreichen.
KI-Modelle müssen von Grund auf interpretierbar sein. Interpretierbarkeit ist eine Voraussetzung für zuverlässige Erklärungen und reflektierte Nutzung durch Endnutzer:innen, Entwickler:innen und Designer:innen gleichermaßen.
Die Gestaltung von Reflective-AI-Erfahrungen erfordert Veränderungen in den Arbeitspraktiken von KI-Entwickler:innen und Designer:innen. Zukünftige KI-Entwicklung sollte per Definition interdisziplinärer sein.
Die reflektierte Übernahme von KI-Innovationen in Organisationen erfordert Veränderungen in organisationalen Werten, Wertschöpfungsketten und Prozessen, um sie an die Bedürfnisse verschiedener Akteure anzupassen.
Wirkungsbereiche
- Gesellschaftlich: Die Wirkung von KI-Technologien in Richtung mehr Offenheit und Toleranz in der digitalen Gesellschaft lenken und die Herausforderungen gesellschaftlicher Polarisierung mildern.
- Forschung: Etablierung einer neuen interdisziplinären Forschungsagenda, die Computerwissenschaften, Sozialwissenschaften und Design verbindet, um die soziotechnischen Herausforderungen von KI zu adressieren.
- Politik: Beitrag zu politischen Ansätzen der KI-Governance, indem die Notwendigkeit erfahrungsbasierten Verständnisses neben Regulierung hervorgehoben wird.
Rolle von EIPCM
EIPCM initiierte und koordinierte das Reflective-AI-Projekt und brachte vier Forschungseinrichtungen aus drei Ländern zusammen. EIPCM leitete die Entwicklung des Reflective-AI-Frameworks, das Interventionen auf drei Ebenen vorschlägt: Endnutzer:innen, KI-Entwickler:innen und Designer:innen sowie Regulierer:innen und politische Entscheidungsträger:innen.
Durch über 14 Experteninterviews in 7 Disziplinen und eine transdisziplinäre, partizipative Forschungsmethodik fasste EIPCM die Ergebnisse in einer umfassenden Forschungsagenda zusammen. Der daraus entstandene Bericht — „Towards Reflective AI: Needs, Challenges and Directions for Future Research“ — identifiziert zentrale Forschungsbereiche wie KI-Transparenz, Verständlichkeit und erfahrungsbasierte Lernansätze.
Erkenntnisse
- Jenseits von Technologie & Regulierung: Ein sicherer und verantwortungsvoller KI-Einsatz kann nicht allein durch technologische Innovation und Regulierung gewährleistet werden. Ein ganzheitlicher Ansatz, der die menschliche Erfahrungslücke adressiert, ist unerlässlich.
- Erfahrungswissen ist entscheidend: Menschen benötigen Erfahrungswissen über KI — nicht nur theoretisches Verständnis — um KI sicher und verantwortungsvoll nutzen zu können.
- Organisationale Laboratorien: Die Einrichtung organisationaler Laboratorien für Reflective-AI-Erfahrungen kann organisationales Lernen über KI und ihre Potenziale fördern.
- Partizipative Prozesse: Die Lösung von Zielkonflikten zwischen kommerziellen Zielen, Nutzerwerten und Prinzipien der Transparenz und Fairness erfordert partizipative Prozesse, die den Dialog zwischen verschiedenen Akteuren ermöglichen.
Publikation
Novak, J. et al. (2021). Towards Reflective AI: Needs, Challenges and Directions for Further Research. European Institute for Participatory Media, Berlin, Germany.
Veröffentlicht unter Creative Commons Attribution License (CC BY-NC-SA 4.0). DOI verfügbar über Zenodo.
Bericht herunterladen (PDF)Konsortium
Partner
- EIPCM (Deutschland) — Koordinator
- Radboud University (Niederlande)
- TU Dortmund (Deutschland)
- University of Oslo (Norwegen)
- Hochschule Stralsund (Deutschland)