Deus ex MaKIna

Wer mit Parkinson lebt, hat häufig Fragen, für die beim Arzttermin nicht immer genug Zeit bleibt. Ein spezieller Chatbot aus Würzburg soll verständliche Antworten liefern. Nun zeigt eine Untersuchung: Das funktioniert oft gut – doch selbst bei einem gezielt auf Medizinwissen zugeschnittenen System sind Fehler möglich.

Quellen:
https://www.ukw.de/neurologie/aktuelle-meldungen/detail/news/parkinson-chatbot-jaimes-im-sicherheitstest-1-1/

https://doi.org/10.1016/j.lanepe.2026.101866

🔎 Was ist passiert?

Neurologen des Universitätsklinikums Würzburg untersuchten 2.035 echte Gespräche mit dem Parkinson-Chatbot jAImes aus dessen ersten 129 Betriebstagen. Statt frei im Internet zu suchen, greift das System bevorzugt auf eine ausgewählte Wissensbasis zurück. Das soll Antworten verlässlicher machen.

Eine automatisierte Qualitätsprüfung bewertete 88,6 Prozent der Gespräche als gut, 11 Prozent als teilweise angemessen und 0,4 Prozent als unzureichend. Diese Zahlen sind allerdings zunächst Bewertungen eines automatischen Prüfsystems, keine umfassende ärztliche Bestätigung aller Antworten.

Ärzte überprüften auffällige Fälle genauer und bestätigten dabei fünf klinisch kritische Ereignisse. Zusätzlich nahmen sie 100 zufällig ausgewählte Gespräche unter die Lupe, die zuvor als gut eingestuft worden waren. Darin entdeckten sie vier weitere klinisch kritische Fehler.

Zu den beschriebenen Problemen gehörten eine unangemessene Medikamentenempfehlung und eine Situation mit Suizidgedanken, in der der vorgesehene Notfallhinweis ausblieb.

⚖️ Der Realitätscheck

Die vier kritischen Fehler unter den 100 nachgeprüften, automatisch als gut bewerteten Gesprächen bedeuten nicht, dass vier Prozent aller jAImes-Gespräche gefährlich waren. Diese Stichprobe wurde gezielt aus einer bestimmten Bewertungsgruppe gezogen. Eine allgemeine Fehlerquote lässt sich daraus nicht einfach berechnen.

Ebenso wenig belegt die Studie, dass der Chatbot insgesamt unsicher oder nutzlos wäre. Sie zeigt vielmehr, dass ein spezialisiertes, kontrolliertes KI-Angebot hilfreich sein kann, ohne deshalb fehlerfrei zu sein. Bei Medikamenten, akuten Beschwerden oder Krisen bleibt eine medizinische Fachperson unverzichtbar.

💡 Warum ist das interessant?

Die wichtigste Erkenntnis steckt vielleicht nicht in den guten Bewertungen, sondern in der Lücke zwischen automatischer Kontrolle und ärztlicher Beurteilung. Manche Probleme fielen erst Menschen mit Fachkenntnis auf.

Für medizinische KI heißt das: Es reicht nicht, vor der Veröffentlichung ein paar überzeugende Testfragen zu beantworten. Systeme müssen auch während des tatsächlichen Einsatzes überwacht werden – und es muss klar sein, wann die KI nicht mehr zuständig ist.