User-Testing in KI-Projekten | Civic Coding-Forum - Civic Coding – Innovationsnetz KI für das Gemeinwohl

Zum Abschluss der Reihe „Von der Idee bis zum User-Testing“ gaben Expertinnen aus der Praxis am 21.05.2024 Einblicke und konkrete Tipps zum User-Testing, die dabei helfen, das eigene Produkt möglichst nah an den Anforderungen der Nutzer*innen zu entwickeln.

Nora Zupan von der Civic Coding-Geschäftsstelle moderierte den virtuellen Austausch mit den folgenden Expertinnen:

• Vanessa Espinosa, Senior Service- und UX-Designerin bei der ifok GmbH
• PD Dr. Habil. Dimitra Tsovaltzi, Principal Investigator am Deutschen Forschungszentrum für Künstliche Intelligenz (DFKI), Co-Projektleiterin MITHOS

User-Testing ist ein Ansatz, um ein Produkt oder eine Idee an „echten“ Nutzer*innen zu testen und zu sehen, wie sie mit der Lösung interagieren, erläuterte Espinosa.

Drei Aspekte seien dabei wichtig:

• Über User-Experience lernen: Durch User-Testing lässt sich herausfinden, wie Nutzer*innen mit dem Produkt interagieren, ob es Missverständnisse gibt und an welchen Stellen das Produkt nicht intuitiv ist.
• Verbesserungsmöglichkeiten entdecken: Nutzer*innen sollten das Produkt nicht nur in einer passiven Rolle betrachten sondern wertvolle eigene Ideen einbringen.
• Probleme finden: Im Prozess des User-Testings lassen sich Probleme bei der Nutzung erkennen, die man als Herausforderungen verstehen sollte. Dazu können Fragen zur Nutzbarkeit gestellt werden – beispielsweise, ob das Produkt den Bedürfnissen der User*innen entspricht, ob Menschen das Produkt ohne Erklärung benutzen können, der Inhalt verständlich und  Barrierefreiheit gegeben ist.

Espinosa betonte, dass User-Testing zu jedem Zeitpunkt im Projekt eingesetzt werden könne – sowohl am Anfang als auch am Ende des Prozesses sei es sinnvoll. Am Anfang gehe es vor allem darum, ob das Produkt von den User*innen überhaupt gebraucht werde.

Ist das Produkt oder die Idee bereits weiter fortgeschritten, geht es darum, sie zu verbessern und nutzer*innenfreundlicher zu machen. Durch User-Testing können 85 Prozent der Usability-Probleme mit nur fünf User*innen gefunden werden, erklärte Espinosa. Außerdem spare es Zeit und Geld, denn nach dem Launch eines Produkts sei es sechsmal teurer, die Probleme zu lösen als in der Design- oder Testphase. User-Testing erhöhe darüber hinaus die Chancen auf den Markterfolg. Aus diesen Gründen sei User-Testing insbesondere während des Designprozesses  sehr geeignet. Hier können den Nutzer*innen Aufgaben gestellt werden, um die Verständlichkeit zu prüfen und mögliche Missverständnisse oder Probleme zu finden. Aber auch bei einem bereits „fertigen“ Produkt sei es noch nicht zu spät für User-Testing und man könne es als Ausgangspunkt für mögliche Verbesserungen sehen oder sogar das ganze Konzept noch einmal in Frage stellen.

Abhängig davon, was man herausfinden möchte, gibt es unterschiedliche Methoden, von denen Vanessa Espinosa einige vorstellte:

• Guerilla-Testing: Menschen auf der Straße werden zufällig zu einem in kurzer Zeit entwickelten Prototypen befragt und die Reaktionen beobachtet.
• Shadowing und ethnographic research: Bei dieser Methode wird das Produkt direkt vor Ort bei den Nutzer*innen getestet. Dabei geht es auch um äußere Umstände, die die Nutzung beeinflussen können.
• Online User-Testing und Interviews: Der Ansatz verbindet qualitative und quantitative Methodik. Mit mindestens 5 Nutzer*innen und einer Moderation findet ein Videocall zu einem Prototyp oder Produkt statt. Die Nutzer*innen bekommen Aufgaben wie beispielsweise die Registrierung auf einer Website.
• Card Sorting &Tree Testing: Mit dieser Methode lassen sich die Hierarchien und Inhalte einer Website definieren. Sie funktioniert nach einem ähnlichen Prinzip wie das Online User-Testing: Die Nutzer*innen erhalten eine Aufgabe und es werden ihnen nur die oberen Bereiche des Seitenmenüs gezeigt, sodass man ihrer Logik folgt.
• Heatmaps: Bei dieser quantitativen Untersuchungsmethode wird überprüft, wo User*innen auf einer Website am meisten geklickt haben, um bestimmte Information zu finden.

Als Tester*innen empfehlen sich laut Espinosa „extreme“ User*innen, das heißt sowohl Personen, die die Lösung bereits nutzen, aber auch solche, die sie noch nicht verwenden, aber ebenfalls nutzen sollten. Dabei sollte die Frage sein, an wen bei der Entwicklung der Lösung nicht gedacht wurde.

Bei der Analyse der Ergebnisse sei es wichtig, Muster zu erkennen. „Das Wichtigste: Man sollte nicht alle Probleme auf einmal lösen. Am Ende des User-Testings hat man eine Liste von Herausforderungen, die man zusammen mit der Kundin priorisieren sollte“, so Espinosa. An dieser Stelle kommen neben der Nutzer*innenerfahrung auch Aspekte wie Umsetzbarkeit ins Spiel. Je nachdem wie viel Zeit und Geld im Projekt zur Verfügung stehen, sind entsprechend viele Iterationen möglich, bis die wichtigsten Probleme der Nutzer*innen gelöst sind.

Fünf Tipps von Vanessa Espinosa für deine erfolgreichen User-Testings

• Keine Angst vor den Rückmeldungen der User*innen: Das Feedback wird immer helfen, das Produkt zu verbessern.
• Früh scheitern, schnell scheitern, billig scheitern: Dieses Prinzip des nutzer*innenzentrierten Designs baut auf einer iterativen Verbesserung auf.
• Design mit User*innen und nicht nur für User*innen: Durch ko-kreative Arbeit kann das Produkt auf die nächste Entwicklungsebene gelangen.
• Empathisch, beobachtend, zuhörend sein. „Und vergiss nicht: Du selbst bist in der Regel nicht der/die User*in.“

Wie User-Testing in der Praxis aussehen kann, stellte Dimitra Tsovaltzi vom Projekt MITHOS vor. Ausgangslage des Projekts ist, dass Lehrpersonen sich oft überfordert und unvorbereitet fühlen, in einer komplexen Situation in der Klasse richtig zu reagieren. Ziel von MITHOS ist es daher, sie durch immersive Erlebnisse dabei zu unterstützen, ihre Kommunikationskompetenzen zu verbessern und den Umgang mit Konflikten zu üben. Dazu wird eine mixed-reality KI für ein wechelseitiges Trainingssystem mit Echtzeitinteraktion eingesetzt. In personalisierten Konfliktszenarien können sich die Lehrpersonen in einem geschützten Rahmen in vier Trainingsphasen mit herausfordernden Situationen auseinandersetzen.

Da Wirksamkeit und Praxisrelevanz für MITHOS eine große Rolle spiele, sei die richtige Umsetzung des User-Testing sehr wichtig, betonte Tsovaltzi. Jede der Trainingsphasen werde deshalb nach dem Co-Design-Prinzip entwickelt.

Wie das aussieht, erläuterte sie am Beispiel der ersten Trainingsphase, bei der die Nutzer*innen in der VR-Umgebung mit den Schüler*innen interagieren: Für das systematisch aufgebaute User-Testing arbeiten interdisziplinäre Teams im Sinne von Responsible AI zusammen. Das Training findet in zwei Räumen statt. In einem Raum interagiert die Person mit einem VR-Agenten. Die Daten werden aufgenommen und übertragen. Im zweiten Raum sitzt der sogenannte Wizard, eine trainierte Person, die die Interaktionen der Lehrpersonen synchron evaluiert. Nach Anpassung und Evaluierung wird der Wizard durch ein komplexes hybrides KI-System ersetzt, sodass die Evaluation des Verhaltens der Lehrpersonen automatisch erfolgt. Die Emotionserkennung basiert auf multimodalem maschinellem Lernen und Emotionsmodellierungen. Wenn das finale System (be)steht, findet eine Evaluation des Gesamtkonzepts statt.

Tsolvatzi stellte heraus, dass das Konzept der affektiven Modellierung in der Affective Computing Group des DFKI ein breites Konzept umfasst, das über Gesichtsausdrücke hinausgehe und auch den Kontext sowie die personenbezogene Erfahrung betrachte. Diese Modelle werden durch User-Testing in unterschiedlichen Projekten weiterentwickelt.

User*innen lassen sich durch Communities finden, die es zu jedem beliebigen Thema gebe, berichtete Espinosa. So kam sie in einem Projekt zum Thema Wohnungslosigkeit über Sozialarbeiter*innen in Kontakt zu wohnungslosen Personen. Auch durch Kund*innen und deren Wissen über die Nutzer*innen können entsprechende Communities gefunden werden.

Im Projekt MITHOS konnten User*innen über Praxispartner wie die Universität des Saarlandes, die jährlich hunderte Lehrpersonen ausbilden, gewonnen werden.

Espinosa hob hervor, dass User-Testing bei digitalen Produkten nicht ohne Prototypen möglich sei. Dafür seien z. B. Tools wie Figma gut geeignet.

Für das Online User-Testing empfahl sie Maze oder UXtweak. KI-gestützte Tools wie Dovetale oder NEXT helfen außerdem dabei, genauere Einblicke in die User-Testings zu erhalten.

Als weiterer Aspekt wurde die Nutzung von Incentives (Anreize zur Teilnahme, beispielsweise in Form von Geld) diskutiert. Vanessa Espinosa hat bisher keine Incentives eingesetzt: „Nutzer*innen wollen ihre Gedanken und auch ihre Frustration mit einem Produkt weitergeben, damit es sich verbessert.“ Dimitra Tsovaltzi fügte hinzu, dass Incentives auch Ergebnisse verfälschen können.

Um eine authentische Reaktion bei den User*innen hervorzurufen, sei laut Espinosa vor allem das Initialgespräch wichtig. Hier sollte eine angenehme Atmosphäre kreiert werden, in der Nutzer*innen sich wohl dabei fühlen, ihre Gedanken zu teilen. Manchmal könne es auch hilfreich sein, Auftraggeber*innen zu den User-Testings miteinzuladen, damit sie das Feedback direkt hören.

Am Ende betonten beide Expert*innen noch einmal, dass es sich lohne, Zeit für das User-Testing zu investieren und sich schon mit wenig Aufwand viel über mögliche Probleme eines Produkts lernen lasse. Wichtig sei, dass man früh anfange zu testen, um nachschärfen zu können, bevor ein Abbruch notwendig ist, wenn bereits zu viel investiert wurde.