Human-in-the-loop ist kein Häkchen: Wie Fachverantwortung wirklich erhalten bleibt

Ein Freigabeklick ist noch keine Kontrolle. Gerade in medizinischen Berichten, Gutachten oder Verwaltungsdossiers liegt der kritische Punkt häufig nicht am Ende des Prozesses, sondern deutlich früher: bei der Auswahl dessen, was überhaupt in den Entwurf gelangt, bei der Gewichtung einzelner Informationen, bei der Verknüpfung von Befund, Begründung und Schlussfolgerung. Wenn eine KI einen fertigen Text vorlegt, hat sie nicht nur formuliert. Sie hat bereits sortiert, verdichtet, ausgelassen und geglättet. Wer danach nur noch prüft, prüft nicht mehr den Rohstoff der fachlichen Arbeit, sondern eine bereits vorgeprägte Sicht auf diesen Rohstoff.

Das ist der blinde Fleck vieler Human-in-the-loop-Konzepte. Sie setzen voraus, dass menschliche Verantwortung erhalten bleibt, solange ein Arzt, Gutachter oder Sachbearbeiter am Ende zustimmt. Diese Vorstellung ist bequem, weil sie technisch wenig verlangt: ein Button, ein Name unter dem Bericht, vielleicht ein Hinweis im Protokoll. Fachlich ist sie schwach. Denn Verantwortung lässt sich nicht dadurch sichern, dass man den Menschen an die letzte Stelle eines automatisierten Ablaufs setzt.

Wer kontrollieren soll, muss sehen, worüber er entscheidet. Er muss erkennen können, welche Daten verwendet wurden, welche Annahmen in den Entwurf eingeflossen sind, welche Unsicherheiten bestehen und wo die KI nicht nur Sprache erzeugt, sondern fachliche Struktur vorgibt. Andernfalls entsteht eine merkwürdige Verschiebung: Die Maschine prägt den Bericht, der Mensch legitimiert ihn.

Der fertige Text ist oft schon zu spät

Viele KI-Anwendungen beginnen mit einem scheinbar harmlosen Ziel: Aus vorhandenen Informationen soll ein lesbarer Bericht entstehen. Das ist in der Praxis nützlich, weil Fachprozesse in Medizin, Verwaltung und Gutachtenwesen tatsächlich unter Dokumentationslast leiden. Niemand gewinnt dadurch, dass Ärzte oder Sachbearbeiter routinemässig dieselben Textteile neu schreiben, Tabellen abschreiben oder verstreute Angaben manuell zusammenführen.

Das Problem entsteht dort, wo aus Unterstützung stillschweigend eine Vorentscheidung wird. Ein Berichtsentwurf ist nicht nur eine sprachliche Oberfläche, sondern er ordnet die Welt. Er entscheidet, was zuerst genannt wird, was als relevant erscheint, was als Nebenaspekt verschwindet, welche Kausalkette plausibel wirkt und welche Alternative gar nicht mehr auftaucht. Je besser der Text geschrieben ist, desto weniger sichtbar wird diese Vorstrukturierung.

Deshalb genügt ein nachgelagerter Freigabeschritt nicht. Wer einen sprachlich sauberen, kohärenten Bericht erhält, prüft in der Regel nicht mehr jede einzelne Ableitung so, als hätte er den Bericht selbst aus den Primärdaten aufgebaut. Das ist kein moralisches Versagen, sondern eine realistische Beschreibung fachlicher Arbeit unter Zeitdruck. Der fertige Text erzeugt eine eigene Plausibilität. Er macht es schwerer, die vorgängigen Selektionen noch einmal wirklich aufzubrechen.

Human-in-the-loop darf deshalb nicht erst beim fertigen Output beginnen. Es muss dort ansetzen, wo aus Daten fachliche Bedeutung entsteht.

Rechtliche Verantwortung folgt nicht der Oberfläche

Auch rechtlich ist der Unterschied zwischen formaler Freigabe und echter Kontrolle zentral. Wenn ein KI-System in einem sensiblen Prozess eingesetzt wird, reicht es nicht, nachträglich darauf zu verweisen, dass ein Mensch den Output bestätigt habe. Entscheidend ist, ob diese Bestätigung unter Bedingungen erfolgte, die eine qualifizierte Prüfung überhaupt ermöglichten.

War erkennbar, welche Informationen verwendet wurden? Gab es eine Möglichkeit, Systemvorschläge zu korrigieren oder zu verwerfen? Wurden Änderungen protokolliert? Waren die Grenzen des Systems klar definiert? Wurde verhindert, dass eine generative Formulierung als fachlich geprüfte Tatsache erscheint? Solche Fragen sind nicht kosmetisch. Sie entscheiden darüber, ob Verantwortung sinnvoll zugeordnet werden kann.

Ohne saubere Prozessarchitektur entsteht die bekannte Verantwortungsdiffusion: Der Betreiber verweist auf die Software, der Anbieter auf den Nutzer, der Nutzer auf den Vorschlag der KI. Am Ende bleibt zwar formal jemand zuständig, aber der tatsächliche Entscheidungsweg ist kaum noch rekonstruierbar. Gerade deshalb sind Logging, Rollen, Freigaben und technische Zweckgrenzen keine bürokratischen Nebenfragen, sondern Bestandteile verantwortlicher Systemgestaltung.

Kontrolle braucht Zugriff auf die Bausteine

Echte menschliche Kontrolle setzt voraus, dass der Prozess nicht als Black Box gestaltet ist. Der Fachverantwortliche muss nicht nur den finalen Bericht sehen können, sondern auch die Bausteine, aus denen er entstanden ist: strukturierte Eingaben, übernommene Freitextangaben, Scores, ausgewählte Diagnosen, Quellen, Systemhinweise, Unsicherheiten und manuelle Änderungen. Erst dann lässt sich beurteilen, ob der Bericht fachlich trägt.

Das ist ein anderer Anspruch als „KI schreibt, Mensch prüft“. Besser wäre: Das System bereitet Informationen so auf, dass der Mensch an den entscheidenden Stellen tatsächlich entscheiden kann. Manche Inhalte dürfen generativ formuliert werden. Andere sollten nur aus geprüften Feldern übernommen werden. Wieder andere müssen aktiv bestätigt, verworfen oder korrigiert werden, bevor sie in einen Bericht gelangen. Die zentrale Frage lautet nicht, ob KI verwendet wird, sondern an welcher Stelle sie welchen Freiheitsgrad erhält.

Gerade in medizinischen und gutachterlichen Prozessen ist diese Differenzierung entscheidend. Eine sprachliche Glättung ist etwas anderes als eine Diagnose, und eine Zusammenfassung vorhandener Angaben ist etwas anderes als eine fachliche Bewertung. Ein belastbares System muss solche Unterschiede nicht erst in der Mitarbeiterschulung erklären, sondern im Workflow selbst abbilden.

Das Beispiel ReportWriter

Im ReportWriter von DeepMed beginnt der Prozess nicht mit einem leeren Chatfenster und auch nicht mit der Aufforderung, aus unstrukturierten Notizen einen möglichst überzeugenden Bericht zu erzeugen. Der Ausgangspunkt ist eine strukturierte Eingabemaske, die mit dem Kunden fachlich entwickelt wird. Sie bildet den jeweiligen Anamnese-, Abklärungs- oder Konsultationsprozess ab: mit Fragebogenelementen, ärztlichen Eingaben, Auswahlfeldern, Scores, Verlaufsangaben und, wo sinnvoll, zusätzlichen Freitextfeldern für Notizen.

Diese Struktur ist nicht nur Benutzeroberfläche, sondern auch ein fachliches Modell des Arbeitsprozesses. Gemeinsam mit dem Kunden wird festgelegt, welche Informationen erhoben werden müssen, welche Angaben optional sind, welche Felder voneinander abhängen und welche Inhalte später in den Bericht einfliessen dürfen. Damit wird ein Teil der Qualitätssicherung aus dem nachgelagerten Lesen des fertigen Textes in die Erhebung und Strukturierung der Informationen vorverlagert.

Die KI erhält anschliessend nicht einfach den Auftrag, „einen Bericht zu schreiben“. Sie erhält strukturierte Eingaben und eine präzise Regel, wie aus diesen Eingaben ein bestimmter Berichtsteil entstehen soll. Sie kann etwa eine Anamnese sprachlich verdichten, Angaben aus verschiedenen Feldern zusammenführen oder einen Abschnitt in den gewünschten fachlichen Ton bringen. Der Spielraum der KI wird dadurch eingegrenzt: Sie arbeitet nicht frei über ein Dossier hinweg, sondern innerhalb eines definierten Berichtsschritts, mit definierten Eingaben und einer klar beschriebenen Schreibaufgabe.

Gerade bei fachlich besonders sensiblen Inhalten wird dieser Spielraum weiter begrenzt oder ganz ausgeschlossen. Diagnosen, Medikamente oder andere zentrale medizinische Angaben werden nicht von der KI erfunden, entschieden oder frei interpretiert. Sie werden vom Arzt ausgewählt oder eingegeben und anschliessend deterministisch, also regelbasiert und vorhersehbar, in den Bericht übernommen. Wo ein Inhalt nicht variabel interpretiert werden soll, wird er auch nicht generativ erzeugt.

Dieser Unterschied ist wesentlich. Ein System, das eine Diagnose aus Notizen ableitet und in einen fertigen Bericht schreibt, erzeugt eine andere Verantwortungsstruktur als ein System, in dem der Arzt die Diagnose auswählt und die Software sie korrekt an der vorgesehenen Stelle übernimmt. Im ersten Fall laufen fachliche Entscheidung und sprachliche Formulierung ineinander. Im zweiten Fall bleibt sichtbar, welcher Teil ärztlich entschieden, welcher Teil strukturiert erfasst und welcher Teil sprachlich unterstützt wurde.

Auch Freitextfelder ändern daran nichts, solange sie richtig eingeordnet werden. Notizen können wichtig sein, weil Facharbeit nicht vollständig in Auswahlfelder passt. Sie dürfen aber nicht dazu führen, dass der gesamte Prozess wieder in eine unkontrollierte Textgenerierung zurückfällt. Entscheidend ist, ob klar bleibt, welche Angaben aus strukturierten Feldern stammen, welche aus Notizen zusammengefasst wurden und welche Elemente zwingend aktiv bestätigt werden müssen.

Genau an solchen Stellen zeigt sich, ob Human-in-the-loop ernst gemeint ist. Nicht in der Behauptung, dass der Mensch am Ende „die Kontrolle“ habe, sondern in der konkreten Architektur des Workflows: Welche Informationen werden strukturiert erhoben? Welche Entscheidungen müssen vom Arzt getroffen werden? Welche Inhalte darf die KI formulieren? Welche Inhalte werden deterministisch übernommen? Welche Schritte sind nachvollziehbar? Und wo endet der zulässige Spielraum des Systems?

Der ReportWriter nutzt KI damit nicht als Ersatz für fachliche Abklärung, sondern als Werkzeug innerhalb eines fachlich gestalteten Prozesses. Die KI schreibt nicht aus dem Nichts. Sie verarbeitet geprüfte oder bewusst eingegebene Informationen nach definierten Regeln. Das ist weniger spektakulär als ein Chatbot, der auf Knopfdruck einen vollständigen Bericht erzeugt. Für sensible Fachprozesse ist es aber der belastbarere Ansatz.

Fachverantwortung ist eine Prozessfrage

Fachverantwortung ist keine abstrakte Eigenschaft einer Person, die am Ende ihren Namen unter ein Dokument setzt. Sie entsteht im Zusammenspiel von Rolle, Information, Eingriffsmöglichkeit und Dokumentation. Wer verantwortlich sein soll, braucht eine Arbeitsumgebung, in der er die entscheidenden Weichenstellungen erkennen und beeinflussen kann.

Das betrifft zunächst die Rollen. Es muss klar sein, wer Daten erfasst, wer fachliche Angaben bestätigt, wer systemgenerierte Vorschläge übernimmt und wer den Bericht freigibt. Es betrifft aber auch die Grenzen des Systems. Eine KI, die Hinweise zur Vollständigkeit gibt, hat eine andere Funktion als eine KI, die fachliche Schlussfolgerungen nahelegt. Eine Software, die Textbausteine aus geprüften Eingaben erzeugt, ist anders zu bewerten als ein Chatbot, der aus einem Dossier eine Empfehlung formuliert.

Noch wichtiger ist die Dokumentation. In sensiblen Fachprozessen muss später nachvollziehbar sein, welche Angaben aus strukturierten Daten stammen, welche aus Freitext extrahiert wurden, welche Passage generativ erstellt wurde und welche Änderung der Mensch vorgenommen hat. Ohne diese Trennung verwischt die Verantwortung gerade dort, wo sie später relevant wird: bei Rückfragen, Beschwerden, Haftungsfällen, Audits oder fachlichen Korrekturen.

Ein guter Human-in-the-loop-Prozess schützt deshalb nicht nur vor Fehlern, sondern auch vor der nachträglichen Unklarheit, wie ein Fehler entstanden ist.

Warum Chatbots dafür nicht reichen

Ein Chatfenster kann hilfreich sein. Es kann erklären, zusammenfassen, umformulieren, Ideen ordnen. Für viele Aufgaben ist das ausreichend. Für regulierte oder fachlich sensible Prozesse ist es jedoch oft zu wenig, weil der Chat die Struktur des Arbeitsprozesses nicht zuverlässig kontrolliert.

Im Chat verschwimmen Eingabe, Analyse, Entwurf und Entscheidung. Der Nutzer fragt, das System antwortet, der Nutzer kopiert, korrigiert, kürzt. Das kann im Einzelfall gut funktionieren, ist aber schwer zu auditieren. Welche Grundlage wurde tatsächlich verwendet? Welche Information wurde übersehen? Welche Passage ist Systeminterpretation, welche ist gesicherter Befund? Warum wurde ein Vorschlag übernommen und ein anderer nicht? Solche Fragen lassen sich in einem freien Dialogverlauf nur mühsam rekonstruieren.

Fachworkflows brauchen deshalb mehr als gute Modellqualität. Sie brauchen strukturierte Eingaben, definierte Zwischenschritte, getrennte Verantwortungsbereiche, technische Grenzen und nachvollziehbare Ausgaben. Der Wert liegt nicht nur im Sprachmodell, sondern in der Architektur um das Sprachmodell herum.

Das ist auch der Grund, weshalb eine Plattform wie DeepMed nicht bei der Textgenerierung stehen bleibt. Dokumentenanalyse, Plausibilitätsprüfung, strukturierte Masken, deterministische Berichtsteile, KI-gestützte Zusammenfassungen und Protokollierung sind keine Zusatzfunktionen am Rand. Sie sind die Voraussetzung dafür, dass KI in Fachprozessen nicht nur beeindruckt, sondern auch belastbare Ergebnisse liefert.

Gute KI begrenzt sich selbst

In vielen Debatten wird KI noch immer daran gemessen, wie weit sie den Menschen ersetzen kann. Für sensible Fachprozesse ist das der falsche Massstab. Dort ist ein System nicht deshalb gut, weil es möglichst autonom wirkt, sondern weil es die richtige Arbeitsteilung erzwingt.

Eine KI darf entlasten. Sie darf Informationen vorstrukturieren, Widersprüche markieren, Textentwürfe vorbereiten und auf Lücken hinweisen. Sie darf aber nicht unbemerkt die fachliche Verantwortung verschieben. Wo ein System den Eindruck erzeugt, es habe nur formuliert, obwohl es in Wahrheit gewichtet und entschieden hat, wird es gefährlich.

Die besseren Systeme werden deshalb nicht unbedingt diejenigen sein, die am spektakulärsten schreiben. Es werden diejenigen sein, die ihre eigenen Grenzen sauber abbilden: durch strukturierte Felder, deterministische Übernahmen, aktive Bestätigungen, Protokolle, Eskalationsregeln und eine klare Trennung zwischen Hinweis, Entwurf und Entscheid.

Human-in-the-loop ist damit keine Benutzerinteraktion am Ende eines automatisierten Prozesses. Es ist eine Architekturentscheidung. Wer Fachverantwortung erhalten will, muss den Workflow so bauen, dass der Mensch nicht nur unterschreibt, sondern tatsächlich entscheiden kann.

Für Medizin, Verwaltung, Gutachtenwesen und Compliance ist das die entscheidende Linie. KI wird dort nicht daran zu messen sein, ob sie möglichst menschenähnlich schreibt. Sie wird daran zu messen sein, ob sie Facharbeit erleichtert, ohne die Verantwortung zu verwischen. Genau an dieser Grenze entscheidet sich, ob KI ein Werkzeug bleibt – oder ob sie zur unsichtbaren Instanz im Fachentscheid wird.

Möchten Sie sehen, wie Human-in-the-loop in der Praxis aussieht? Demo buchen und wir zeigen Ihnen den ReportWriter-Workflow.

Hinweis zur Erstellung: Dieser Beitrag wurde unter Einbezug aktueller Quellen zu KI-Governance, Haftung und Human Oversight erstellt, darunter der EU AI Act, das NIST AI Risk Management Framework sowie internationale Standards wie ISO/IEC 42001 und ISO/IEC 23894. Zusätzlich flossen praktische Erfahrungen aus DeepMed-Projekten zu kontrollierter Berichtserstellung, Plausibilitätsprüfung und Human-in-the-loop-Workflows ein.