Machbarkeitsstudie zu LLMs für präoperative Aufklärung
PatientEd und die Fachhochschule Nordwestschweiz (FHNW) haben das von Innosuisse finanzierte Innocheque-Projekt erfolgreich abgeschlossen. Die Studie untersuchte die Einsatzmöglichkeiten großer Sprachmodelle für die präoperative Patientenaufklärung in der Ophthalmologie. Für Fachkreise ist das Projekt relevant, da es zentrale Fragen zur Qualitätssicherung und Skalierbarkeit KI-gestützter Dialogsysteme adressiert.
Evaluation automationsgestützter Testpipelines
Im Projekt wurde eine automatisierte Testpipeline mit dazugehörigem Annotation-Tool entwickelt. Diese erlaubt die Konfiguration und Bewertung unterschiedlicher Modelle, Prompting-Strategien und Parameter. Ergänzende Module für Retrieval, Übersetzung und Qualitätsbewertung unterstützen eine systematische Analyse von mehreren hundert Modellantworten auf zahlreiche ophthalmologische Q&A-Paare. Evaluierte Kriterien umfassten faktische Korrektheit, Sicherheit und empathische Kommunikation. RAG-Strategien zeigten Schwächen aufgrund von Indexierungsgrenzen, was die Bedeutung strukturierter Referenzdaten hervorhob.
Einordnung in die aktuelle KI-Forschung im Gesundheitswesen
Die Ergebnisse verdeutlichen, dass LLM-basierte Systeme in der klinischen Patienteninformation Potenzial bieten, jedoch klare Grenzen aufweisen. Die moderate Übereinstimmung zwischen menschlicher Bewertung und automatisiertem LLM-Judge zeigt, dass reine Modellbewertungen keine ausreichende Grundlage für sicherheitsrelevante Anwendungen darstellen. Fachliche Expertise bleibt zentral, insbesondere in sensiblen Bereichen wie präoperativen Gesprächen, in denen Fehlkommunikation direkte Auswirkungen auf den Behandlungserfolg haben kann.
Beitrag von PatientEd und Bedeutung für zukünftige Anwendungen
Dr. med. Amr Saad verantwortete die ophthalmologische Ausrichtung der Evaluation und die Ableitung fachlicher Anforderungen für digitale Aufklärungsdialoge. Die Projektergebnisse bilden eine Grundlage für PatientEds weitere Entwicklung eines virtuellen Arzt-Avatars, der standardisierte klinische Informationsprozesse unterstützen soll. Die enge Kooperation mit der FHNW ermöglichte eine praxisnahe Bewertung der technischen und medizinischen Herausforderungen.
Weiterentwicklung und nächste Projektphasen
Aufbauend auf den Ergebnissen plant PatientEd die Erweiterung der Pipeline auf mehrstufige Dialoge sowie eine verbesserte Integration von Retrieval-Mechanismen für klinische Anwendungsfälle. Zudem sollen künftige Arbeiten Schwerpunkte auf Bias-Reduktion und die Validierung durch Fachexpertinnen und Fachexperten legen, um Patientensicherheit und Zuverlässigkeit weiter zu stärken.
