Ein Hauptproblem ist das Misstrauen gegenüber „Blackbox“-Modellen. „Als Kliniker werde ich niemals etwas anwenden, das ich dem Patienten nicht erklären kann“, sagte Carlo Tacchetti, Professor am San Raffaele Scientific Institute in Mailand. Er forderte standardisierte Protokolle für erklärbare, zertifizierte Modelle – idealerweise eine Kombination aus leistungsstarken Blackbox-Ansätzen (deren innere Entscheidungslogik für den Nutzer nicht einsehbar ist) und transparenten Whitebox-Verfahren, die die Schlüsselfaktoren sichtbar machen.

Der US-Jurist Mark Geistfeld (New York University) verwies darauf, dass moderne KI-Systeme zunehmend dialogfähig sind. Ärztinnen und Ärzte könnten sie wie Kolleginnen und Kollegen befragen und ihre Begründungen prüfen. KI werde so vom Automat zum kollaborativen Werkzeug – ein Assistenzsystem, kein Ersatz.

‍

Daten als Engpass

Ohne hochwertige, interoperable Daten bleibe KI Stückwerk, warnte Fulvia Raffaelli, Leiterin der Einheit „Digital Health“ bei der EU-Kommission. Der Europäische Gesundheitsdatenraum (EHDS) solle als „katalysierendes Projekt“ die sichere Nutzung von Gesundheitsdaten ermöglichen – auch grenzüberschreitend und unter klaren Regeln für Datenschutz und Sekundärnutzung. Bis 2029 soll das System in der EU flächendeckend funktionieren. Zusammen mit EU-KI-Verordnung (AI Act) und Produkthaftungsrichtlinie bildet der EHDS das Rückgrat für vertrauenswürdige KI in der Medizin.

‍

Mehr Praxis, weniger Konzept

Yiannos Tolias (DG SANTE) präsentierte eine EU-Studie zum „Deployment of AI in Healthcare“. Ihr Ergebnis: Es mangelt nicht an Produkten – über 900 KI-Systeme sind CE- oder FDA-zertifiziert –, sondern an Infrastruktur, rechtlicher Klarheit und Finanzierung. „Viele Häuser wissen schlicht nicht, in welches System sie investieren sollen“, so Tolias.

Abhilfe schaffen soll das EU-Projekt „Compass AI“, das Radiologin Regina Beets-Tan (EIBIR) vorstellte. Es wird Best-Practice-Leitlinien für den sicheren KI-Einsatz entwickeln und in Pilotkliniken testen. „Der Mehrwert von KI misst sich nicht an der AUC (‚Area Under the Curve‘ - einem statistischen Genauigkeitsmaß), sondern daran, ob sie den Workflow entlastet und in der eigenen Umgebung funktioniert“, sagte sie.

‍

Recht und Verantwortung

Auch Haftungsfragen gelten vielen als Hürde – zu Unrecht, meinte Geistfeld. Medizinische Verantwortung bleibe beim „verantwortungsvollen Arzt“, unabhängig davon, ob er sich von Mensch oder Maschine beraten lasse. Entscheidend sei, dass die Entscheidung begründet werden könne. Damit werde Haftung zur Leitplanke, nicht zum Bremsklotz der Innovation.