Der grüne Haken, der eine Physiotherapiepraxis zerstörte
Der Verdacht auf Abrechnungsbetrug
Auslöser der Ermittlungen sind Auffälligkeiten in den Abrechnungen der vergangenen Monate. Mehrere Krankenkassen hatten Verordnungen beanstandet. Es ging um fehlerhafte Änderungen, unzulässige Behandlungskonstellationen, falsch bewertete Fristen und Leistungen, die nach Auffassung der Kostenträger in dieser Form nicht hätten abgerechnet werden dürfen. Zunächst sah alles nach gewöhnlichen Abrechnungsfehlern aus. Doch bei einer genaueren Auswertung fiel auf, dass sich bestimmte Fehler in nahezu identischer Form wiederholten. Sie betrafen unterschiedliche Patienten, verschiedene Therapeuten und zahlreiche Verordnungen. Trotzdem tauchten immer wieder dieselben Begründungen auf. Die internen Hinweise der Praxis klangen auffallend sicher:
- „Verordnung ist abrechnungsfähig.“
- „Eine Änderung durch die Arztpraxis ist nicht erforderlich.“
- „Die Abweichung ist durch eine Ausnahmeregelung gedeckt.“
- „Die Leistung kann ohne Rücksprache durchgeführt werden.“
Einige dieser Aussagen waren falsch. Andere waren nur unter bestimmten Voraussetzungen richtig, die in den konkreten Fällen nicht vorlagen. Manche angeblich maßgeblichen Ausnahmen existierten überhaupt nicht. Der Verdacht stand im Raum, dass die Praxis systematisch fehlerhafte Verordnungen angenommen, behandelt und gegenüber den Krankenkassen abgerechnet hatte. Doch während der Durchsuchung entdeckten die Ermittler, dass hinter den Formulierungen kein besonders kreativer Abrechnungsmitarbeiter steckte. Die Texte stammten von einem Chatbot.
Ein Chatbot sollte die Rezeption entlasten
Noch ein Jahr zuvor hatte die Praxis als ordentlich organisiert gegolten. Die Mitarbeiterinnen an der Rezeption waren geschult, problematische Verordnungen wurden mit den Arztpraxen geklärt und bei Zweifeln wurden die offiziellen Regelwerke herangezogen. Doch die Prüfung kostete Zeit. Das Team war knapp besetzt, die Zahl der Verordnungen stieg und Rückfragen führten regelmäßig zu Verzögerungen. Deshalb entstand die Idee, künstliche Intelligenz einzusetzen. Ein Mitarbeiter richtete auf Grundlage eines allgemein verfügbaren KI-Chatbots einen eigenen Assistenten ein. In das System wurden die Heilmittel-Richtlinie, Teile des Heilmittelkatalogs, Informationsschreiben von Krankenkassen und verschiedene interne Unterlagen der Praxis geladen. Intern hieß es, man habe die KI mit den Regelwerken „trainiert“. Der Chatbot erhielt einen professionell klingenden Namen: RezeptCheck KI. Seine Aufgabe war scheinbar eindeutig. Er sollte Verordnungen prüfen, Fehler erkennen und der Rezeption mitteilen, ob eine Behandlung begonnen beziehungsweise später abgerechnet werden konnte. Anfangs wurden nur einzelne Fragen eingegeben:
- „Darf bei dieser Diagnose ein ergänzendes Heilmittel verordnet werden?“
- „Welche Frist gilt in dieser Konstellation?“
- „Muss diese Änderung durch den Arzt bestätigt werden?“
Doch schon bald erschien es den Beschäftigten umständlich, sämtliche Angaben einer Verordnung abzutippen. Also begannen sie, die Verordnungen mit ihren Mobiltelefonen zu fotografieren und direkt in den Chatbot hochzuladen. Der Arbeitsauftrag lautete meistens: „Prüfe diese Verordnung vollständig auf Richtigkeit und Abrechnungsfähigkeit. Nenne alle Fehler und teile mir mit, ob wir behandeln dürfen.“ Innerhalb weniger Sekunden erschien eine ausführliche Antwort. Der Chatbot ordnete die Diagnose ein, bewertete das Heilmittel, kommentierte die Frequenz und gab am Ende eine klare Empfehlung. Oft stand dort ein grüner Haken.
Die Antworten klangen besser, als sie waren
Der Chatbot schrieb nicht vorsichtig. Er formulierte mit der Sicherheit eines Mitarbeiters, der die Abrechnungsregeln seit Jahren beherrschte. Selbst dann, wenn die Antwort falsch war, klang sie plausibel. Das System vermischte unterschiedliche Regelungsstände, übertrug Ausnahmen auf Fälle, für die sie nicht galten, und interpretierte schlecht erkennbare Angaben auf den Fotos. Es verwies auf angebliche Vorgaben, die bei einer Überprüfung nicht auffindbar waren. Teilweise übernahm es Formulierungen aus alten Dokumenten und stellte sie als aktuelle Rechtslage dar. Aus Wahrscheinlichkeiten wurden Gewissheiten. Aus sprachlich überzeugenden Antworten wurden vermeintliche Abrechnungsregeln. Und aus einem Hilfsmittel wurde eine Entscheidungsinstanz. Die Beschäftigten kontrollierten die Antworten zunächst noch stichprobenartig. Weil viele einfache Fälle richtig beurteilt wurden, wuchs das Vertrauen. Nach einigen Wochen galt in der Rezeption eine neue, niemals offiziell dokumentierte Regel: Wenn RezeptCheck KI grünes Licht gibt, wird die Verordnung angenommen. Genau hier begann der sogenannte AI-Slop in die betrieblichen Abläufe einzudringen. Er bestand nicht aus offensichtlich schlechtem KI-Material oder absurden Texten. Er bestand aus massenhaft erzeugten, professionell klingenden Antworten, deren Herkunft und Richtigkeit kaum noch jemand überprüfte. Eine erfundene Ausnahmeregel wurde in eine interne Notiz übernommen. Von dort wanderte sie in eine Arbeitsanweisung. Später nutzten andere Beschäftigte diese Arbeitsanweisung als Grundlage für weitere Entscheidungen. Die ursprüngliche Halluzination der KI war irgendwann nicht mehr als solche erkennbar. Sie war Teil des Praxiswissens geworden.
Erste Warnzeichen wurden ignoriert
Nach einigen Monaten trafen die ersten Absetzungen der Krankenkassen ein. Die Praxisleitung führte die Probleme jedoch nicht auf den Chatbot zurück. Stattdessen entstand die Überzeugung, die Krankenkassen würden die Vorschriften unterschiedlich auslegen. Die KI hatte schließlich ausdrücklich erklärt, dass die Abrechnung zulässig sei. Als ein Mitarbeiter darauf hinwies, dass eine vom Chatbot genannte Ausnahme in den offiziellen Unterlagen nicht zu finden war, erhielt er die Antwort, die KI greife vermutlich auf zusätzliche Informationen zurück. Später wurde der Chatbot sogar gefragt, wie die Praxis gegenüber der Krankenkasse argumentieren sollte. Das System formulierte Widersprüche und lieferte erneut vermeintliche Begründungen. Einige Texte enthielten Aussagen, für die es keine belastbare Grundlage gab. Aus einer unzuverlässigen Verordnungsprüfung wurde damit ein Kreislauf. Die KI erzeugte zunächst die falsche Bewertung und anschließend die Argumentation, mit der die Praxis diese Bewertung verteidigte. Spätestens nach den wiederholten Beanstandungen hätte die Praxisleitung sämtliche Ergebnisse unabhängig überprüfen und den Einsatz stoppen müssen. Stattdessen wurde weiterbehandelt und weiterabgerechnet. Damit rückte neben den ursprünglichen Fehlern eine weitere Frage in den Mittelpunkt: Hatte die Praxisleitung trotz konkreter Warnzeichen billigend in Kauf genommen, dass unberechtigte Forderungen eingereicht wurden? Der Chatbot hatte keine Rechnung unterschrieben. Er hatte keine Abrechnung versendet. Verantwortlich blieb die Praxis. Doch seine Antworten hatten die Grundlage für hunderte Entscheidungen geschaffen.
Der Fund auf dem Praxiscomputer
Bei der forensischen Untersuchung eines Rechners entdeckten die Ermittler einen Browserordner mit dem Namen „Rezeptprüfung“. Darin befanden sich gespeicherte Chatverläufe, Bildschirmfotos und Links zu mehreren KI-Unterhaltungen. Was zunächst wie ein Nebenaspekt der Abrechnungsermittlungen wirkte, entwickelte sich schnell zu einem zweiten, noch größeren Verfahren. Die Ermittler fanden fast 800 hochgeladene Verordnungsbilder. Mehr als 500 Patientinnen und Patienten waren betroffen. Auf den Aufnahmen waren nicht nur die verordneten Heilmittel zu erkennen. Die Dokumente enthielten unter anderem Namen, Geburtsdaten, Angaben zur Krankenversicherung, Diagnosen, ICD-Codes, Informationen über behandelnde Ärzte und konkrete Hinweise auf den Gesundheitszustand der jeweiligen Personen. Teilweise waren Vorder- und Rückseite der Verordnungen fotografiert worden. Auf einigen Bildern waren zusätzlich Unterschriften, Behandlungsdaten und handschriftliche Vermerke zu sehen. Die Patienten wussten nichts davon. Die Praxis hatte nicht dokumentiert, auf welcher Grundlage die vollständigen Verordnungen an einen externen KI-Dienst übertragen wurden. Es gab keine nachvollziehbare Datenschutzprüfung, kein verbindliches Löschkonzept und keine interne Regelung, welche Daten eingegeben werden durften. Mehrere Beschäftigte hatten ihre privaten Benutzerkonten verwendet. Einige Chats waren über Monate gespeichert geblieben. Wer innerhalb des Teams Zugriff auf welche Verläufe hatte, ließ sich nicht mehr vollständig rekonstruieren. Die Praxis hatte geglaubt, eine moderne digitale Rezeptprüfung aufgebaut zu haben. Tatsächlich hatte sie eine unkontrollierte Sammlung hochsensibler Patientendaten außerhalb ihrer eigenen Systeme geschaffen.
„Wir haben die Namen doch abgeschnitten“
Im späteren Verfahren erklärte die Praxisleitung, man habe zumindest bei einem Teil der Bilder den oberen Bereich der Verordnungen entfernt. Damit seien die Dokumente nach eigener Auffassung anonymisiert gewesen. Die Auswertung zeigte jedoch ein anderes Bild. Teilweise waren die Namen noch vollständig vorhanden. Bei anderen Aufnahmen blieben Diagnosen, Verordnungsdaten, Angaben zur Arztpraxis, Versicherungsinformationen oder andere Merkmale sichtbar. Gerade bei seltenen Diagnosen, bestimmten Ärzten, auffälligen Behandlungskombinationen und einem eng begrenzten Zeitraum konnte eine Zuordnung weiterhin möglich sein. Das bloße Abschneiden des Namens machte aus einer Verordnung nicht automatisch ein anonymes Dokument. Hinzu kam ein weiteres Problem: Selbst eine tatsächlich anonymisierte Verordnung hätte den Chatbot nicht zu einem zuverlässigen Abrechnungsprogramm gemacht. Der Chatbot konnte das Bild auswerten und eine sprachlich überzeugende Einschätzung erzeugen. Er konnte jedoch nicht garantieren, dass alle Angaben richtig erkannt, sämtliche aktuellen Regelungen berücksichtigt und alle Besonderheiten der jeweiligen Versorgung korrekt eingeordnet wurden. Das System war kein zugelassenes Prüfverfahren und kein verbindliches Regelwerk. Es war ein Sprachmodell, das eine wahrscheinliche Antwort formulierte. Genau dieser Unterschied war in der Praxis vollständig verloren gegangen.
Das zweite Verfahren wurde zum wirtschaftlichen Todesstoß
Die Staatsanwaltschaft informierte die zuständige Datenschutzaufsicht. Zusätzlich zum Strafverfahren wegen des Verdachts auf Abrechnungsbetrug begann eine umfangreiche datenschutzrechtliche Untersuchung. Die Behörde prüfte nicht nur einzelne Uploads. Sie bewertete den gesamten organisatorischen Umgang mit den Patientendaten. Im Mittelpunkt standen die große Zahl der Betroffenen, die besondere Schutzbedürftigkeit der Gesundheitsinformationen, die lange Dauer der Verarbeitung und das Fehlen wirksamer Kontrollen. Im fiktiven Verfahren wurde gegen die Praxis schließlich ein Bußgeld im hohen sechsstelligen Bereich verhängt. Ein Gericht bestätigte später den wesentlichen Teil der Entscheidung. Gleichzeitig verlangten Krankenkassen erhebliche Beträge zurück. Hinzu kamen Kosten für Rechtsanwälte, Sachverständige, die Wiederherstellung der IT, die Aufarbeitung des Datenschutzvorfalls und die Information der betroffenen Patienten. Einige Patienten machten zusätzlich eigene Ansprüche geltend. Kooperationspartner distanzierten sich, Beschäftigte kündigten und die Bank lehnte eine weitere Finanzierung ab. Die Gesamtkosten erreichten einen siebenstelligen Betrag. Die Praxis konnte ihre Löhne und laufenden Verpflichtungen nicht mehr zuverlässig bezahlen. Wenige Monate nach der Durchsuchung wurde das Insolvenzverfahren eröffnet. Der Betrieb wurde endgültig eingestellt. Die Praxis existierte nicht mehr.
Hat die KI die Praxis zerstört?
Die einfache Antwort wäre: Der Chatbot war schuld. Doch ganz so einfach ist es nicht. Die KI hatte falsche Antworten erzeugt. Sie hatte Ausnahmen erfunden, Regelungen verwechselt und Unsicherheit hinter professionellen Formulierungen verborgen. Damit hatte sie die Fehlerkette ausgelöst und über Monate verstärkt. Aber der Chatbot hatte keine Verantwortung übernommen. Er hatte nicht entschieden, vollständige Verordnungen hochzuladen. Er hatte nicht festgelegt, dass seine Antworten ungeprüft übernommen werden sollten. Er hatte keine Datenschutzprüfung unterlassen und keine Abrechnung an eine Krankenkasse geschickt. Diese Entscheidungen trafen Menschen. Die Praxis scheiterte nicht allein daran, dass eine KI halluzinierte. Sie scheiterte daran, dass niemand mehr damit rechnete, dass sie halluzinieren könnte. Aus Unterstützung wurde Autorität. Aus Effizienz wurde Abhängigkeit. Aus Bequemlichkeit wurde ein unkontrollierter Prozess. Und aus dem grünen Haken eines Chatbots wurde am Ende die Grundlage für die Schließung einer gesamten Praxis.
Die Lehre aus diesem Fall
Vollständige Heilmittelverordnungen gehören nicht in einen allgemein verwendeten KI-Chatbot. Auch das Abschneiden des Namens oder des oberen und unteren Dokumentenbereichs reicht nicht automatisch aus. Ein Personenbezug kann sich weiterhin aus Diagnosen, Daten, Arztangaben und der Kombination verschiedener Informationen ergeben. Die deutschen Datenschutzaufsichtsbehörden weisen ausdrücklich darauf hin, dass das Entfernen von Namen und Anschriften regelmäßig nicht genügt, wenn sich eine Person aus dem Zusammenhang identifizieren lässt. Bei Gesundheitsdaten ist besondere Vorsicht erforderlich. Außerdem müssen die Ergebnisse von Sprachmodellen kritisch überprüft werden. Ebenso wichtig ist die fachliche Grenze: Ein Chatbot kann Texte erklären, abstrakte Fragen bearbeiten, Checklisten entwerfen und bei der Strukturierung von Informationen helfen. Er darf aber nicht als vollumfängliche und verbindliche Prüfstelle für Heilmittelverordnungen behandelt werden. Selbst ein System, das mit Richtlinien, Katalogen und Referenzdokumenten ausgestattet wurde, kann relevante Quellen falsch gewichten, veraltete Inhalte verwenden oder trotz vorhandener Dokumente eine unrichtige Antwort erzeugen. Die Datenschutzkonferenz weist auch für sogenannte RAG-Systeme darauf hin, dass ein Sprachmodell bei widersprüchlichen Informationen auf sein allgemeines Trainingswissen zurückgreifen und bereitgestellte Referenzinhalte verwerfen kann. Bei ChatGPT werden hochgeladene Dateien und Bilder als vom Nutzer bereitgestellte Inhalte verarbeitet. Ob Inhalte eines individuellen Kontos zur Modellverbesserung verwendet werden können, hängt von den Einstellungen und der konkreten Produktvariante ab. Für temporäre Chats und geschäftliche Angebote gelten andere Vorgaben. Das ändert jedoch nichts daran, dass eine Praxis vor jeder Verarbeitung eigener Patientendaten unter anderem Rechtsgrundlage, Verantwortlichkeiten, Verträge, Transparenz, Zugriffsschutz und Löschung klären muss. OpenAI selbst weist darauf hin, dass die Antworten seiner Modelle nicht in jedem Fall faktisch richtig sind und nicht ungeprüft als verlässlich behandelt werden sollten.
Die gefährlichste Antwort einer KI ist nicht die offensichtlich falsche. Es ist die falsche Antwort, die so professionell klingt, dass niemand mehr nachprüft.
Hinweis: Dieser Beitrag ist vollständig fiktiv. Die Praxis, sämtliche Personen, Ermittlungen, Entscheidungen, Geldbeträge und Gerichtsverfahren sind frei erfunden. Der Artikel beschreibt keinen realen Fall. Er soll auf die Risiken aufmerksam machen, die entstehen können, wenn Patientendaten unkontrolliert in KI-Systeme eingegeben und deren Antworten ungeprüft übernommen werden.
Deutschlands einzige Fortbildung speziell für Heilmittelerbringer
Disclaimer: Die Inhalte wurden mit größter Sorgfalt erstellt, erheben jedoch keinen Anspruch auf Vollständigkeit und Richtigkeit. Der Urheber schließt jegliche Haftung und Gewährleistung aus.
This site is not a part of the Facebook TM website or Facebook TM Inc. Additionally, this site is NOT endorsed by FacebookTM in any way. FACEBOOK TM is a trademark of FACEBOOK TM, Inc.
• • •
Impressum und Datenschutzerklärung
Stefan Konietzko | Kölner Str. 105 | 42651 Solingen