Das Projekt- und Medienarchiv der HdM

Erklärbares Visual Question Answering

In diesem Projekt entstand ein barrierefreies, modellunabhängiges Visual-Question-Answering-Tool, das textuelle Antworten generiert und diese durch visuelle sowie textuelle Erklärungen verständlich erläutert.
Zum Projekt wurden keine Video-Dateien gefunden

Beschreibung

Herkömmliche Künstliche Intelligenz (KI) in der Bildverarbeitung gleicht oft einer "Black Box": Man stellt eine Frage an ein Bild – etwa "Ist die Ampel rot?" – und erhält zwar eine Antwort, doch die Hintergründe der Entscheidung bleiben im Dunkeln. Für den Nutzer ist nicht ersichtlich, ob die KI die Ampel tatsächlich erkannt oder lediglich geraten hat. Um dieses Transparenzproblem zu lösen, wurde ein innovativer, zweistufiger Prozess entwickelt, der KI-Entscheidungen nachvollziehbar machen soll.

Im ersten Schritt analysiert das System das Bild und erstellt parallel zur Antwort mithilfe von Methoden der "Explainable AI" (XAI) eine sogenannte Saliency Map. Diese visuelle Karte funktioniert ähnlich wie ein Wärmebild und markiert jene Bereiche rot, die für die Entscheidung der KI ausschlaggebend waren. So lässt sich auf einen Blick erkennen, ob der Algorithmus den richtigen Fokus gewählt hat – beispielsweise die Ampel selbst und nicht etwa ein rotes Auto im Hintergrund. Da jedoch eine rein visuelle Markierung oft nicht ausreicht, um komplexe Zusammenhänge zu verstehen, und insbesondere für Menschen mit Sehbeeinträchtigungen wenig hilfreich ist, geht das Tool im zweiten Schritt weiter. Moderne Sprachmodelle übersetzen die visuelle Karte in eine kohärente textuelle Erklärung. Das System nennt somit nicht nur das Ergebnis, sondern liefert eine Begründung wie: "Ich antworte 'Rot', weil ich im oberen Bildbereich ein rot leuchtendes Signallicht erkannt habe, das typisch für eine Ampel ist."




Projektart

Projektarbeit

Semester

WS2025/2026

Beteiligte Studiengänge

Computer Science and Media (Master)

Team
Julia Lapp, Paula Schlötermann
Betreuer
Johannes Maucher
Ansprechpartner

Julia Lapp