So prüft ScribeIndex medizinische Spracherkennung

Medizinische Spracherkennung überträgt gesprochene medizinische Inhalte in Text. Für einen belastbaren Vergleich müssen Worterkennung und klinisch relevante Details getrennt bewertet werden, denn ein fehlendes „nicht“ kann folgenreicher sein als mehrere falsche Füllwörter.

Testprotokoll 1.0. Korpusversion, Konfiguration und Stichprobengröße gehören zu jeder Ergebnisveröffentlichung.

Was genau wird verglichen?

Bewertet wird das tatsächlich gelieferte Ergebnis des medizinischen Diktats. Ein zugängliches Rohtranskript ist keine Teilnahmevoraussetzung. Wortnahe und KI-überarbeitete Ausgaben erhalten dieselbe klinische Faktenprüfung. Die Ausgabeform steht am Ergebnis, damit Wortabweichungen richtig eingeordnet werden. Ein System darf Sätze glätten, Fachbegriffe ausschreiben und gesprochene Anweisungen umsetzen. Es darf dabei keine Dosis ändern, keine Verneinung verlieren und keine nicht belegte Information ergänzen.

Der ScribeIndex-Score verwendet deshalb klinisches Fakten-F1. In dieser Testreihe stehen wortnahe und KI-überarbeitete Ausgaben in einer Rangliste. Bei KI-überarbeiteter Ausgabe glättet ein Sprachmodell den erkannten Text sprachlich. Die Rangliste kennzeichnet jede Ausgabe als „Wortnah“ oder „KI-überarbeitet“.

Die WER würde gewollte Glättungen als Fehler zählen, das Fakten-F1 prüft bei beiden Ausgabearten dieselben klinischen Fakten. Juristische Diktate bewertet ScribeIndex dagegen nach der WER, weil diese Testreihe nur wortnahe Ausgabe prüft und dort jedes Wort des gemeinten Texts zählt. WER und CER bleiben als ergänzende Messwerte erhalten. Bei wortnahen Ausgaben beschreiben sie die Textabweichung zur Transkriptreferenz. Bei KI-überarbeiteter Ausgabe zeigen sie nur, wie weit der Text vom Wortlaut abweicht. Gewollte Korrekturen zählen dort mit, die Werte sind deshalb keine Erkennungsgenauigkeit.

Für alle Ausgabeformen weist ScribeIndex zusätzlich Erkennungsfehler aus. Sie zählen falsch erkannte oder inhaltlich veränderte Wörter, bezogen auf dieselben Referenzwörter. Bei wortnaher Ausgabe zählt jede Abweichung vom Wortlaut, die Erkennungsfehler entsprechen dort der WER. Bei KI-überarbeiteter Ausgabe bleiben zulässige Umformulierungen außen vor. Für wortnahe Dienste ist die Zählung damit strenger. Vergleichstabellen zeigen WER, CER und Erkennungsfehler deshalb nur innerhalb derselben Ausgabeart.

Welche Änderungen zulässig sind, legen die Ausgaberegeln vor dem ersten Lauf fest. Der Wortabgleich wendet sie regelbasiert an. Grenzfälle entscheidet eine fachliche Prüfung an der Aufnahme, ohne Sprachmodell. Die Rangfolge bestimmen WER, CER und Erkennungsfehler bei keiner Ausgabeform. Ein zusätzlich verfügbares Rohtranskript verbessert den ScribeIndex-Score nicht.

Das Ergebnis bleibt der zuvor festgelegten Aufgabe zugeordnet. Ein aus einem Diktat formulierter Text wird hier an den diktierten Inhalten geprüft. Eine aus einem Behandlungsgespräch erstellte ärztliche Gesprächsdokumentation gehört zur Medical-Scribe-Prüfung.

Getestet wird die dokumentierte Einstellung mit dem Fachvokabular, das ohne individuelle Anbieterberatung verfügbar ist. Modellbezeichnung, Sprache, Wörterbuch und die übrigen Einstellungen stehen in der Testkonfiguration des Ergebnisses. Eine nachträgliche Optimierung für einzelne Testdateien ist ausgeschlossen.

Gleiche Audiodateien, nachvollziehbare Referenzen

Der medizinische Diktatkorpus folgt den gemeinsamen Korpus- und Versionierungsregeln. Er umfasst mehrere Fachrichtungen, spontane Korrekturen und kurze sowie längere Aufnahmen. Standardsprache, regionale Aussprache aus Deutschland und Österreich, schweizerisch gefärbtes Deutsch sowie nicht muttersprachliche Aussprache werden getrennt dokumentiert.

Zu den Audiobedingungen gehören ein ruhiger Raum, typische Hintergrundgeräusche, unterschiedliche Mikrofonabstände und komprimierte Aufnahmen. Abtastrate, Codec, Kanäle und Dateidauer werden festgehalten. Diese Bedingungen stecken in den Korpusaufnahmen selbst. Jedes kompatible System erhält dieselbe Korpusdatei digital, als Datei oder als Einspielung in den Live-Workflow. Notwendige Konvertierungen werden protokolliert, damit Unterschiede in der Vorverarbeitung sichtbar bleiben.

Bietet ein Dienst das Diktat auch per Dateiupload an, erhält er die Korpusdatei als Upload. Nur Dienste ohne Upload erhalten dieselben Aufnahmen in Echtzeit über einen virtuellen Mikrofoneingang im dokumentierten Live-Workflow. Browser- und Desktop-Anwendungen nutzen diesen Eingang direkt, mobile Apps laufen dafür in einer emulierten Geräteumgebung. Pegel und Abspielgeschwindigkeit bleiben dabei gleich. Der Signalweg steht am Ergebnis.

Live-Lauf und Dateiupload sind getrennte Messstrecken für die Verarbeitungszeit. Zeiten werden nur innerhalb derselben Messstrecke verglichen. Die Qualität vergleicht ScribeIndex dagegen gemeinsam, weil alle Dienste dieselbe Korpusdatei erhalten.

Die Referenz entsteht nach dem gemeinsamen Referenzstandard. Medizinische Fachbegriffe, Wirkstoffe, Dosen und Einheiten erhalten zusätzliche Markierungen für die semantische Prüfung. Bei einer Selbstkorrektur werden verworfene und endgültige Angabe getrennt erfasst. Jede gesprochene Anweisung steht mit ihrer Art und ihrer erwarteten Wirkung in der Referenz. Nutzungsrechte und Schutzmaßnahmen für die medizinischen Aufnahmen waren vor dem ersten Lauf geklärt.

Wortfehler und medizinische Fehler

Die Word Error Rate und CER folgen den gemeinsamen Wortfehler- und Aggregationsregeln. Sie werden weiterhin mit Rohzählern, Nennern und Intervallen veröffentlicht. Ausgabeform und Normalisierungsprofil bestimmen ihre Interpretation. Die klinische Faktenprüfung bewertet zusätzlich und unabhängig davon, ob dieselbe Information korrekt erhalten bleibt. Für die normalisierte Textansicht werden Großschreibung und Satzzeichen vereinheitlicht. Der unveränderte Text bleibt erhalten.

Wortfehler und medizinische Fehler

Prüfbereich	Auswertung
Textabweichung	WER und CER, bei KI-überarbeiteter Ausgabe als Abweichung vom Wortlaut gekennzeichnet
Erkennung	Erkennungsfehler im gelieferten Text je Referenzwort, ohne zulässige Umformulierungen, bei wortnaher Ausgabe gleich der WER
Inhaltserhalt	Faktenpräzision, Faktenrecall und Fakten-F1 mit TP, FP und FN
Fachbegriffe	Falsche oder fehlende Begriffe / markierte Referenzbegriffe
Medikamente	Wirkstoff, Dosis, Einheit, Häufigkeit und Applikation
Bedeutung	Fehlerquoten für Negation, Zeitbezug und Zuordnung, Faktenabgleich für Seite und Unsicherheit
Gesprochene Anweisungen	Anteile umgesetzter Diktatbefehle, Selbstkorrekturen und Bearbeitungsanweisungen je annotierter Anweisung
Nacharbeit	Geschätzte Arbeit bis zur festgelegten Zielfassung

„fünf Milligramm“ und „5 mg“ gelten im Faktenabgleich und im Normalisierungsprofil de-med-wer als gleich. „5 mg“ und „50 mg“ fallen durch die Normalisierung nie zusammen. Klinische Fehler werden nach Typ veröffentlicht. Eine vorab festgelegte Rubrik unterscheidet redaktionelle, inhaltlich relevante und potenziell schwerwiegende Fehler. Neben den Fehlerzahlen steht die Zahl der Diktate mit potenziell schwerwiegendem Fehler, bezogen auf alle ausgewerteten Diktate. Mehrere Fehler in einer Datei sind keine zusätzlichen unabhängigen Fälle.

Klinische Fakten statt identischer Formulierungen

Die versionierte Rubrik clinical-facts-v1 zerlegt den Referenzinhalt in atomare Aussagen mit Quellenstelle. Jede Aussage speichert Person, medizinischen Begriff oder Beziehung, Wert und Einheit, Polarität, Zeitbezug und gegebenenfalls Unsicherheit. Eine Aussage gilt erst als korrekt wiedergegeben, wenn neben dem medizinischen Begriff auch Person, Wert, Einheit und Zeitbezug stimmen. Bei spontanen Selbstkorrekturen sind verworfene und endgültige Angabe ausdrücklich markiert. Als Referenzfakt zählt die endgültige Angabe.

Präzision = TP / (TP + FP), Recall = TP / (TP + FN), F1 = 2 × TP / (2 × TP + FP + FN). Die Anzeige verwendet Prozentwerte. TP sind korrekt zugeordnete Referenzfakten, FP ausgegebene Fakten, die falsch, nicht durch die Quelle gedeckt oder nicht dokumentationsrelevant sind, und FN fehlende oder verfälschte erforderliche Referenzfakten. Nach Deduplizierung wird jeder Fakt höchstens einmal zugeordnet. Eine falsche Dosis erzeugt einen FP für die ausgegebene und einen FN für die nicht korrekt erfasste Referenzangabe. Bei einem Nenner von null bleibt die entsprechende Quote undefiniert.

Bei Diktaten umfasst die Relevanzmenge alle medizinischen Aussagen des vorgegebenen Arbeitsauftrags. Füllwörter sind keine Fakten. Wie Diktatbefehle, Selbstkorrekturen und Bearbeitungsanweisungen zählen, beschreibt der Abschnitt Gesprochene Anweisungen. Bei einer Berichtsausgabe ist eine andere Reihenfolge zulässig. Eine veränderte Aussage oder verlorene klinische Information ist es nicht.

Der Faktenabgleich ordnet Angaben regelbasiert zu und prüft Zahlen, Einheiten und Bedeutungsmerkmale einzeln. Bei KI-überarbeiteter Ausgabe unterscheidet er zulässige Umformulierungen von veränderten Inhalten. Unklare Zuordnungen werden anhand der Aufnahme fachlich geprüft. Ähnlicher Wortlaut allein macht keinen Treffer, „5 mg“ und „50 mg“ bleiben verschiedene Angaben.

Die ergänzenden Fehlerquoten verwenden markierte Referenznenner. Das sind medizinische Konzepte für Fachbegriffe, erforderliche Medikamentenangaben für Dosierungen, markierte verneinte oder bestätigte Befunde für Polarität sowie annotierte Zeitbezüge und Personenzuordnungen. Falsche und fehlende erforderliche Angaben zählen als Fehler. Die detaillierten Zählregeln gelten für beide medizinischen Kategorien. Niedrigere Fehlerquoten sind besser.

Gesprochene Anweisungen

Ein ärztliches Diktat enthält neben dem Inhalt Anweisungen an das Dokument. Bewertet wird der Abstand zur Zielfassung. Das ist das Dokument, wie die diktierende Person es gemeint hat. Alle gesprochenen Anweisungen sind darin umgesetzt. ScribeIndex unterscheidet drei Arten.

• Diktatbefehle sind festes Vokabular für Gliederung, Satzzeichen und Korrektur, etwa für Absätze, Zeilen oder das Löschen des zuletzt Gesprochenen. Regelbasierte Diktiersysteme setzen sie über ihre Befehlsliste um.
• Selbstkorrekturen verwerfen eine gerade gesprochene Angabe und nennen die endgültige. Sie umzusetzen verlangt, die Absicht der sprechenden Person zu erkennen.
• Bearbeitungsanweisungen sind frei formulierte Anweisungen an das Dokument. Sie ändern eine früher genannte Angabe, ergänzen Inhalt an einer früheren Stelle oder verschieben einen Abschnitt. Ein Befehlssystem erkennt nur seine festen Befehle und schreibt frei formulierte Anweisungen deshalb wörtlich in den Text.

Die Referenz hält jede Anweisung mit ihrer Art und ihrer erwarteten Wirkung fest. Bei einer Selbstkorrektur sind das verworfene und endgültige Angabe, bei einer Änderung alter und neuer Wert, bei einer Ergänzung die ergänzte Angabe und ihre Stelle, beim Verschieben der Abschnitt und sein Ziel. Eine Anweisung ist umgesetzt, wenn das gelieferte Dokument ihre Wirkung zeigt und die Anweisung selbst nicht im Text steht. Ob eine feste Befehlsliste oder ein Sprachmodell sie ausführt, spielt keine Rolle. Dieselbe Regel gilt im allgemeinen und juristischen Diktat, dort gemessen an der WER mit dem gemeinten Text als Maßstab, und in den selbst gesprochenen Pflegeeinträgen.

Die Messwerttabellen zeigen die Anteile „Umgesetzte Diktatbefehle“, „Umgesetzte Selbstkorrekturen“ und „Umgesetzte Bearbeitungsanweisungen“ mit Zählern, Nennern und Wilson-Intervall mit Designeffekt. Diese Anteile dienen Ihrer Information und gehen nicht noch einmal in den ScribeIndex-Score ein. Jede nicht umgesetzte Anweisung zählt genau einmal, nach ihrer Folge im Dokument und ohne eigenes Gewicht.

Gesprochene Anweisungen

Nicht umgesetzt	Folge im Dokument	Zählung
Diktatbefehl	Befehlswort im Text oder fehlende Gliederung	Nacharbeit, ein stehen gebliebenes Befehlswort zusätzlich als Einfügung in WER und CER
Selbstkorrektur	Verworfene Angabe steht im Text	FP und Nacharbeit, ersetzt sie die endgültige Angabe, fehlt diese als FN
Änderung, stillschweigend ausgeblieben	Alter Wert steht, neuer Wert fehlt	FP und FN, Nacharbeit
Änderung, Anweisung wörtlich im Text	Alter Wert steht, der neue steht in der Anweisung	FP für den alten Wert, Nacharbeit
Ergänzung, stillschweigend ausgeblieben	Ergänzte Angabe fehlt	FN, Nacharbeit
Ergänzung, Anweisung wörtlich im Text	Ergänzte Angabe steht in der Anweisung	Nacharbeit
Verschieben	Abschnitt an der alten Stelle	Nacharbeit

Die Anweisungswörter selbst sind keine Aussage über den Fall. Sie zählen nur in der Nacharbeit, also beim Löschen der Wörter und beim Ausführen der Anweisung von Hand. Fehlt eine betroffene Angabe schon wegen eines Fehlers aus Erkennung oder Textbildung, zählt sie nicht ein zweites Mal. Bleibt eine Änderung oder Ergänzung stillschweigend aus und betrifft sie eine potenziell schwerwiegende Angabe, zählt sie nach der Rubrik als Fehlerereignis ihrer Klasse. Jede stillschweigend ausgebliebene Änderung oder Ergänzung zählt außerdem in der Fehlerquote jeder Fehlerart, deren Merkmal die betroffene Angabe trägt, also Medikation, Verneinung, Zeitbezug oder Personenzuordnung. Fachbegriffe zählen im Diktat auf Wortebene und bleiben davon unberührt. Eine Anweisung, die wörtlich oder mit beiden Angaben im Text steht, ist bei der Durchsicht sichtbar und zählt weder als schwerwiegender Fehler noch in den Fehlerquoten je Fehlerart. Ein stehen gebliebenes Befehlswort zählt bei wortnaher und KI-überarbeiteter Ausgabe als Einfügung. Die WER geht im medizinischen Diktat aber nicht in den ScribeIndex-Score ein.

Die Sprechvorlage ist ein klassisches Arztdiktat, wie es an eine Schreibkraft ginge. Sie enthält im Mittel rund 3,5 Diktatbefehle je 150 Sekunden. Ihre Zahl wächst langsamer als die Dauer, kurze Diktate haben je Minute mehr Befehle als lange. Dazu kommen Selbstkorrekturen bei 4 % der Angaben und gelegentliche Bearbeitungsanweisungen, im Mittel eine je 12,5 Minuten Diktat. Im ausgewerteten Korpus sind das 442 Diktatbefehle, 84 Selbstkorrekturen und 30 Bearbeitungsanweisungen in 21 der 62 Diktate. Von den Bearbeitungsanweisungen ändern 12 eine Angabe, 11 ergänzen Inhalt und 7 verschieben einen Abschnitt. Die Häufigkeiten sind eine eigene Festlegung vor dem ersten Lauf und keine Messung des Diktierverhaltens.

ScribeIndex-Score und getrennte Fehlerprofile

Das Bewertungsmodell 2.2 berechnet die Inhaltsqualität aus klinischem Fakten-F1. Sie erreicht bei einem Fakten-F1 von 70 % null Punkte. Gesprochene Anweisungen gehen nur über ihre Folgen in Fakten-F1, Nacharbeit und schwerwiegende Fehler ein. Korrekturaufwand, Abschlussquote und der Anteil von Ausgaben mit schwerwiegenden Fehlern bleiben eigene Teilwerte. Der Fehlerteilwert erreicht bei 15 % betroffener Ausgaben null Punkte. Der Korrekturteilwert erreicht null Punkte, wenn die Nacharbeit so lange dauert wie das Schreiben des Diktats ohne KI. Den Wert je Audiostunde nennt die Tabelle der Bezugsgrößen.

WER, CER, Erkennungsfehler, Fachbegriffe, Dosierungen, Negationen, Zeitbezug und Personenzuordnung bleiben daneben sichtbar. Ohne erforderliche Faktenzähler wird kein ScribeIndex-Score berechnet.

Klinische Prüfung und Fehlerklassen

Die gemeinsamen Regeln zu Wiederholung und Unsicherheit gelten auch für Diktate.

Die Schwereklasse jeder Referenzangabe steht mit der Referenz fest und stützt sich auf klinische Fallinformationen. Eine niedrigere Gesamt-WER kann mit einer höheren Zahl schwerwiegender Dosis- oder Negationsfehler einhergehen. Deshalb stehen Fehlerquoten je Fehlerklasse und die Zahl betroffener Diktate neben der WER.

Geschwindigkeit, Nacharbeit und Veröffentlichung

Für Live-Diktat misst ScribeIndex die Zeit vom Ende des letzten zugespielten Wortes bis zur stabilen, nutzbaren Textausgabe. Stabil ist der Text ab seiner letzten Änderung im Zieltextfeld, einschließlich nachträglicher Korrekturen und Formatierungen durch den Dienst. Im Uploadpfad beginnt die Ende-zu-Ende-Zeit mit dem Uploadstart und endet beim vollständig verfügbaren, exportierbaren Ergebnis. Testweg und Startpunkt stehen am Messwert. Live- und Upload-Latenzen werden getrennt ausgewiesen.

Die gemeinsamen Laufzeit- und Ausfallregeln liefern Perzentile und Nenner. Zusätzlich werden die Diktatdauer und die geschätzte Nacharbeit ausgewiesen. Alle Zähler und Nenner werden über die abgeschlossenen Läufe gepoolt. Ein abgebrochener Lauf wird einzeln mit Szenario ausgewiesen und entfernt genau die Referenzzähler dieses Szenarios aus den Nennern.

Der Korrekturauftrag endet bei der vorab festgelegten Zielfassung. Sie ist für alle Dienste gleich, ein Dokument mit richtigem Inhalt einschließlich Dosen, Verneinungen und endgültiger Selbstkorrekturen, in dem alle gesprochenen Anweisungen umgesetzt sind. Bei wortnaher Ausgabe wird dafür jedes falsch erkannte Wort korrigiert. Bei KI-überarbeiteter Ausgabe bleiben zulässige Umformulierungen stehen, korrigiert werden verbliebene Erkennungsfehler und inhaltlich veränderte Angaben.

Die Nacharbeit wird für jede abgeschlossene Ausgabe aus den automatisch gezählten Fehlern geschätzt, mit denselben Zeiten für alle Dienste, und als Minuten je Audiostunde über alle Szenarien zusammengefasst.

Fehler mit höchstens zwei richtigen Wörtern dazwischen bilden eine Korrekturstelle. Ein falsch erkanntes Medikament ist eine Stelle, auch wenn es zugleich als Wortfehler, fehlender Fakt und Medikationsfehler zählt.

Ein stehen gebliebenes Befehlswort wird gelöscht und die Gliederung gesetzt, ein verschluckter Befehl nachgetragen. Steht nach einer Selbstkorrektur auch die verworfene Angabe im Text, wird sie gelöscht. Eine wörtlich stehende Bearbeitungsanweisung wird gelöscht und von Hand ausgeführt. Bleibt sie ohne Spur, suchen Sie die Anweisung in der ganzen Aufnahme, bei Werten an zwei von fünf Stellen, bei Ergänzungen an jeder fünften. Wer selbst diktiert hat, braucht die Aufnahme an jeder fünften Stelle, bei Zahlen, Dosierungen und inhaltlich veränderten Angaben an zwei von fünf.

Nicht enthalten ist das einmalige Durchlesen, das auch ein vom Schreibdienst getipptes Diktat braucht. Dieses Durchlesen fällt bei allen Diensten gleich an. Bei der Nachbearbeitung von Reden im isländischen Parlament ergibt die Regression der Bearbeitungszeit auf die Editierdistanz bei null Fehlern einen Sockel in Höhe des 2,56-Fachen der Audiodauer (Fong et al. 2018). Die Nacharbeit zeigt deshalb nur den Aufwand, den die Fehler eines Dienstes verursachen.

Bei KI-überarbeiteter Ausgabe zählen Korrekturen an Inhalt und vorgegebener Struktur. Stilkorrekturen und Arbeiten außerhalb des festgelegten Arbeitsauftrags zählen nicht zur Nacharbeit. Schwerwiegende medizinische Fehler bleiben als Rohzahlen sichtbar und werden durch einen Gesamtwert nicht verdeckt.