Situativität, Funktionalität und Vertrauen: Ergebnisse einer szenariobasierten Interviewstudie zur Erklärbarkeit von KI in der Medizin

Abstract

Eine zentrale Anforderung an den Einsatz von künstlicher Intelligenz (KI) in der Medizin ist ihre Erklärbarkeit, also die Bereitstellung von adressat*innengerechten Informationen über ihre Funktionsweise. Dies führt zu der Frage, wie eine sozial adäquate Erklärbarkeit gestaltet werden kann. Um Bewertungsfaktoren zu identifizieren, befragten wir Akteur*innen des Gesundheitswesens zu zwei Szenarien: Diagnostik und Dokumentation. Die Szenarien variieren den Einfluss, den ein KI‑System durch das Interaktionsdesign und die Menge der verarbeiteten Daten auf die Entscheidung hat. Wir stellen zentrale Bewertungsfaktoren für Erklärbarkeit auf interaktionaler und prozessualer Ebene dar. Erklärbarkeit darf im Behandlungsgespräch situativ nicht interferieren und die professionelle Rolle infrage stellen. Zugleich legitimiert Erklärbarkeit ein KI‑System funktional als Zweitmeinung und ist zentral für den Aufbau von Vertrauen. Eine virtuelle Verkörperung des KI‑Systems ist vorteilhaft für sprachbasierte Erklärungen.

A central requirement for the use of artificial intelligence (AI) in medicine is its explainability, i. e., the provision of addressee-oriented information about its functioning. This leads to the question of how socially adequate explainability can be designed. To identify evaluation factors, we interviewed healthcare stakeholders about two scenarios: diagnostics and documentation. The scenarios vary the influence that an AI system has on decision-making through the interaction design and the amount of data processed. We present key evaluation factors for explainability at the interactional and procedural levels. Explainability must not interfere situationally in the doctor-patient conversation and question the professional role. At the same time, explainability functionally legitimizes an AI system as a second opinion and is central to building trust. A virtual embodiment of the AI system is advantageous for language-based explanations.