Gefährliche Fehldeutungen in der medizinischen Statistik. Das beachten wir bei der Entwicklung von ProstateCarcinoma.ai
Die Studie „Medicine’s Uncomfortable Relationship With Math – Calculating Positive Predictive Value” von Arjun Manrai und Kollegen zeigte, dass die überwiegende Mehrheit der teilnehmenden Mediziner den positiven Vorhersagewert, eine wichtige Kennzahl im Rahmen diagnostischer Tests, nicht berechnen konnte. Dies bedeutet nicht nur, dass im Medizinstudium mehr Wert auf statistische Grundkenntnisse gelegt werden sollte.
Mit dem zunehmenden Einsatz von KI-basierter Software ist das Erkennen von Mehrwerten und der Grenzen solcher Systeme mittlerweile nicht mehr nur für Mediziner, sondern auch für Entwickler, Produktmanager oder Investoren eine wichtige Fähigkeit geworden.
Daher möchten wir Ihnen im Folgenden einen kurzen Einblick in die Welt der medizinischen Statistik geben. In der oben genannten Studie von Manari et. al. wird folgende Leitfrage gestellt: „Wenn ein Test zum Nachweis einer Krankheit mit einer Prävalenz von 1/1000 eine Falsch-Positiv-Rate von 5% aufweist, wie hoch ist dann die Wahrscheinlichkeit, dass eine Person, die ein positives Ergebnis aufweist, tatsächlich die Krankheit hat?“. Zur Beantwortung der Frage hilft es, die Informationen zunächst übersichtlich darzustellen.
Der Prävalenzwert zeigt, wie viele Menschen aus einer Gruppe tatsächlich gesund bzw. krank sind.
Bei einer Prävelenz bei 1000 Personen von 1/1.000 sind 999 Personen „gesund“ und eine ist „krank“.
Von 1.000 Personen ist zwar nur einer wirklich krank, aber insgesamt bekommen 51 das Testergebnis „krank“. Die Wahrscheinlichkeit, dass jemand mit positivem Testergebnis also krank ist, heißt „Positiver Vorhersagewert“ und liegt bei 1/51 oder 1,96%. In 98,04% der Fälle ist das positive Testergebnis falsch.
Diese Ergebnisse sind einigermaßen erschreckend. Etwa ¾ der Mediziner kam nicht auf das korrekte Ergebnis „unter 2%“. Die häufigste Antwort war 95%.
Mediziner überschätzen bei einer Patientenkohorte mit überwiegend Gesunden also die Bedeutung eines positiven Testergebnisses deutlich.
Das Wissen, dass bei einer niedrigen Prävalenz trotz niedriger Falsch-Positiv-Rate ein positives Testergebnis nur in sehr wenigen Fällen auch tatsächlich das Vorliegen der Krankheit anzeigt, ist im Umgang mit Patienten sehr wichtig, um sie nicht unnötig zu verunsichern und weitere abklärende Untersuchungen zu veranlassen.
Bei der Entwicklung unseres Produkts ProstateCarcinoma.ai achten wir auf überzeugende Falsch-Positiv und Falsch-Negativ Raten.
Die Prostata MRT wird in Deutschland jedoch nicht in einem Screening Setting eingesetzt. Daher ist die Prävalenz für Prostatakrebs bei den MRT Patienten deutlich höher als in unserem ersten Rechenbeispiel. Liegt die Prävalenz bei 1/10, sind von 1.000 untersuchten Menschen 900 gesund und 100 krank.
Aufgrund der Falsch-Positiv-Rate von 5% werden von den 900 Gesunden 855 auch als „gesund“ erkannt, 45 werden fälschlicherweise als „krank“ eingestuft. Der Positive Vorhersagewert ergibt sich aus 100/145 = 69%. Bei einer höheren Auftrittswahrscheinlichkeit der Krankheit steigt also bei gleichem Falsch-Positiv Wert der Positive Vorhersagewert deutlich an.