Wenn KI sich selbst überschätzt: Warum der Radiologe in der Verantwortung bleibt

Eine aktuelle Studie der Initiative Women in AI zeigt, dass moderne KI-Modelle ihre eigene Fehlerquote systematisch unterschätzen – und dass ohne menschliche Kontrolle Fehler entstehen, die man an der Oberfläche nicht sieht. Für die medizinische Bildgebung ist das keine akademische Randnotiz, sondern der Kern dessen, wofür Prostate.Carcinoma.ai entwickelt wurde.

Die im Sommer 2026 veröffentlichte Studie „Lost in Translation“ untersuchte, wie zuverlässig große Sprachmodelle Fachinhalte zwischen Sprachen übertragen. Auf den ersten Blick hat Übersetzung wenig mit Prostata-MRT zu tun. Auf den zweiten Blick liefert die Studie drei Erkenntnisse, die für jede regulierte KI in der Medizin gelten.

Erstens: Kein Modell erkannte die eigene Leistung realistisch. Die Modelle sollten ihre eigenen Ergebnisse einschätzen und ihre eigene Ausgabe unter mehreren wiedererkennen. Jedes überschätzte sich, und keines identifizierte seine eigene Arbeit korrekt. Ein System, das seine eigenen Grenzen nicht kennt, kann nicht der letzte Entscheider sein.

Zweitens: Fehler bleiben unsichtbar, wenn niemand mit Fachwissen hinschaut. Die Studie beschreibt ein Phänomen, das die Autorinnen „Bias Laundering“ nennen: Ein Modell führt in einem Zwischenschritt einen Fehler ein und stellt an der Oberfläche wieder einen plausiblen Eindruck her. Wer nur das Endergebnis sieht, bemerkt nichts. Übertragen auf die Radiologie heißt das: Eine KI-Ausgabe, die überzeugend aussieht, ist nicht automatisch korrekt – und die Plausibilität der Darstellung sagt nichts über die Richtigkeit der zugrunde liegenden Analyse aus.

Drittens: Generalisierbarkeit ist die eigentliche Härteprobe. Die Ergebnisse brachen ein, sobald die Datengrundlage dünner wurde. Genau dieses Muster kennt die medizinische Bildgebung: Modelle, die an einem Zentrum, auf einem Scanner-Typ oder einer Feldstärke trainiert wurden, verlieren an Leistung, sobald sich die Bedingungen ändern.

Was das für Prostate.Carcinoma.ai bedeutet

Für uns ist die Studie keine Warnung von außen, sondern eine Bestätigung unserer Entwicklungsprinzipien. Je mehr eine KI leistet, desto wichtiger wird ihre Nachvollziehbarkeit. Prostate.Carcinoma.ai unterstützt bei Segmentierung, Volumetrie und PI-RADS-konformer Befundung – und legt Wert darauf, dass jedes Ergebnis für den befundenden Arzt einsehbar und prüfbar bleibt, von der Segmentierung über die Volumetrie bis zur zonalen Zuordnung. Die Gefahr des „Bias Laundering“ ist dort am größten, wo eine KI-Ausgabe nur als fertiges Resultat präsentiert wird, das man abnickt. Unser Ansatz ist deshalb konsequent auf strukturierte, prüfbare Ergebnisse ausgerichtet. Und weil Modelle bei veränderten Bedingungen an Leistung verlieren können, ist breite, mehrzentrische Validierung für uns kein Nebenschauplatz, sondern ein zentrales Qualitätsziel im Rahmen der MDR.

„Die Fehlermodi moderner KI sind ohne fachkundige menschliche Prüfung nicht erkennbar. Genau deshalb bauen wir Systeme, die den ärztlichen Blick schärfen, statt ihn zu ersetzen“, sagt Matthias Steffen, Geschäftsführer von FUSE-AI.

Der Mensch bleibt entscheidend – mit höherem Einsatz als anderswo. Unser Anspruch ist deshalb nicht, den Radiologen aus der Schleife zu nehmen, sondern ihn in ihr stark zu halten: schneller, reproduzierbarer und mit mehr Kapazität für die Fälle, die wirklich Aufmerksamkeit brauchen.

Die Studie „Lost in Translation: An Autonomous AI and Language Translation Study“ ist über Women in AI verfügbar. FUSE-AI engagiert sich aktiv in der Women-in-AI-Community.