Word Error Rate erklärt: WER, CER und echte Aussagekraft

Die Word Error Rate (WER) ist die Summe aus Wortersetzungen, Wortauslassungen und Worteinfügungen, geteilt durch die Zahl der Wörter im Referenztranskript. Sie misst, wie stark die Ausgabe einer Spracherkennung von einer festgelegten Textreferenz abweicht. Je niedriger der Wert, desto näher liegt das Transkript an der Referenz. Aussagekräftig ist die WER nur, wenn mehrere Systeme dieselben Audiodateien mit derselben Referenz, Tokenisierung und Normalisierung verarbeiten. Für generierte Dokumente wie Arztbriefe oder Meetingnotizen ist sie kein Qualitätsmaß, weil sie erwünschte Umformulierungen als Fehler zählt.

Wie wird die WER berechnet?

WER = (S + D + I) / N × 100 %

S steht für Ersetzungen (Substitutions), also falsch erkannte Wörter, D für Auslassungen (Deletions), also fehlende Wörter, und I für Einfügungen (Insertions), also zusätzliche Wörter. N ist die Wortzahl der Referenz. Gezählt wird nach einer Ausrichtung beider Wortfolgen. Der NIST-Scorer sclite dokumentiert dieses Verfahren. Das Glossar erklärt die drei Fehlerarten unter Ersetzung, Auslassung und Einfügung.

Angenommen, die Referenz enthält 20 Wörter. Das System ersetzt zwei Wörter, lässt eines aus und fügt eines hinzu. Daraus ergibt sich (2 + 1 + 1) / 20 × 100 = 20 % WER.

Einfügungen sind nicht durch die Referenzlänge begrenzt. Erzeugt ein System zu einer kurzen Referenz viele zusätzliche Wörter, übersteigt die Fehlerzahl die Referenzwortzahl, und die WER liegt über 100 %. „100 minus WER“ ist deshalb keine Genauigkeit und erst recht keine Faktenkorrektheit eines generierten Berichts. Der ScribeIndex-Score nutzt max(0, 100 − WER) nur als Indexwert, der auf 0 bis 100 begrenzt ist, nicht als Genauigkeitsangabe.

Welche WER ist gut?

Einen allgemeingültigen Grenzwert für eine gute WER gibt es nicht. Der Wert hängt von Sprache, Aufnahmequalität, Sprecherzahl, Fachvokabular, Referenzerstellung und Normalisierung ab. Belastbar ist nur der Vergleich mehrerer Systeme auf demselben Korpus unter identischen Regeln.

Für die Praxis zählt zudem, welche Wörter falsch sind. Ein fehlendes Füllwort und eine falsche Dosierung erhöhen die WER gleich stark. Die gemessenen Werte der getesteten Anbieter stehen auf den Testseiten, etwa im Vergleich medizinischer Spracherkennung und in der Rangliste Audiotranskription.

Wie verändert Normalisierung die WER?

Ein Transkript kann „fünf Milligramm“ oder „5 mg“ enthalten. Beide Schreibweisen bilden denselben gesprochenen Inhalt ab, ergeben aber unterschiedliche Wortfolgen. Bindestriche, Abkürzungen, Apostrophe und Komposita beeinflussen den Wortvergleich ebenso. Die Regeln dafür heißen Textnormalisierung.

Wie verändert Normalisierung die WER?

Regel	Möglicher Einfluss	Was dokumentiert werden sollte
Großschreibung	„Heute“ und „heute“ unterschiedlich	Vereinheitlichung vor dem Scoring
Satzzeichen	Zusätzliche Tokens oder Zeichenfehler	Behandlung der Interpunktion
Zahlen	Wortform und Ziffernform	Numerische Normalisierung
Füllwörter	„äh“ fehlt in bereinigter Ausgabe	Ziel: wortgetreu oder bereinigt
Komposita	Ein Wort versus mehrere Wörter	Tokenisierung und erlaubte Varianten

Ein fairer Vergleich legt diese Regeln vor dem Test fest. Wer sie nachträglich an den bevorzugten Anbieter anpasst, verschiebt die Messlatte. Normalisierung gleicht zulässige Schreibweisen an. Sie darf aus „50 mg“ nicht „5 mg“ machen und eine falsche Negation nicht entfernen.

Die unveränderte Ausgabe bleibt deshalb wichtig. Ein normalisierter WER-Wert zeigt die Worterkennung nach Regeln. Ein Rohtextvergleich und eine eigene Bedeutungsprüfung zeigen, welche Fehler die Normalisierung verdecken kann.

Was misst die CER anders?

Die Character Error Rate (CER) wendet dieselbe Formel auf Zeichen an. Zeichenersetzungen, Zeichenauslassungen und Zeicheneinfügungen werden durch die Zahl der Referenzzeichen geteilt. Bei langen Fachwörtern oder Schreibfehlern liefert sie ergänzende Informationen.

Der Begriff „Zeichen“ muss definiert sein. Unicode-Codepoints, Bytes und wahrgenommene Schriftzeichen sind unterschiedliche Einheiten. Leerzeichen, Satzzeichen und Unicode-Normalisierung verändern die CER ebenfalls. Zwei CER-Angaben sind nur bei gleichen Regeln vergleichbar.

Für die normalisierte CER zählt ScribeIndex Unicode-Codepoints nach NFC-Normalisierung und vereinheitlicht die Großschreibung. Satzzeichen entfallen. Aufeinanderfolgende Unicode-Leerraumzeichen werden zu einem ASCII-Leerzeichen zusammengefasst. Führende und abschließende Leerzeichen entfallen. Die übrigen Leerzeichen zählen als Zeichen.

Warum reicht die WER für Arztbriefe nicht?

Die WER gewichtet jedes Wort gleich. Ein falsches Füllwort und ein fehlendes „keine“ zählen jeweils als ein Wortfehler, obwohl ihre klinische Bedeutung völlig verschieden ist. Dosierung, Einheit, Körperseite, Zeitpunkt und Zuordnung zu einer Person brauchen daher eine eigene Faktenprüfung.

Ein Medical Scribe soll je nach Aufgabe verdichten oder ausführlich ausarbeiten. Ein korrekt zusammengefasster Absatz hat gegenüber dem Gespräch trotzdem eine hohe WER. Für Notizen und Berichte berechnet ScribeIndex deshalb keine WER. Bei sprachlich bearbeiteten medizinischen Diktaten ist sie nur ein diagnostischer Textabstand, der erwünschte Änderungen mitzählt. Die klinische Fehleranalyse von Biro et al. unterscheidet Fehlertypen, die ein Wortabgleich nicht erfasst.

ScribeIndex bewertet medizinische Dokumente daher mit einer quellengebundenen Faktenrubrik. Ein Rohtranskript ist dafür nicht nötig. Die Präzision zählt korrekte ausgegebene Aussagen, der Recall die korrekt erhaltenen erforderlichen Referenzangaben. Das Fakten-F1 verbindet beide Werte. Dosierung, Negation, Person und zeitlicher Bezug werden ausdrücklich geprüft. Zwischen wortnahen Transkripten und umformulierten Dokumenten bildet ScribeIndex keine gemeinsame WER-Rangfolge.

Semantische Ähnlichkeit ersetzt die Faktenprüfung nicht. „Keine Schmerzen“ und „Schmerzen“ sind sprachlich sehr ähnlich. Das klinische Prüfverfahren kombiniert Kandidatensuche mit Regeln für Negationen, Zahlen und Zuordnung sowie fachlicher Bewertung. Im Bewertungsmodell 2.2 setzt sich die Inhaltsqualität je Aufgabe so zusammen.

Warum reicht die WER für Arztbriefe nicht?

Aufgabe	Inhaltsqualität im ScribeIndex-Score
Medizinische Aufgaben	Fakten-F1
Meetingnotizen	Fakten-F1 70 %, Sprecherzuordnung 30 %
Allgemeine und juristische Diktate	100 minus WER 80 %, korrekte Namen und Zahlen beziehungsweise Parteien, Beträge und Fristen zusammen 20 %
Audiotranskription	100 minus WER 70 %, Sprecherzuordnung 30 %
Untertitel für Videodateien	Erkennung 50 %, Timing 30 %, Lesbarkeit 20 %
Live-Untertitel	Erkennung 50 %, rechtzeitige Anzeige 30 %, stabile Anzeige 20 %
Sprachgestützte Textausarbeitung	Fakten-F1 80 %, Anweisungstreue 20 %, keine WER

Was gehört zu einem nachvollziehbaren WER-Vergleich?

Ein nachvollziehbarer Bericht nennt Audioanzahl und Dauer, Sprache, Aufnahmebedingungen, Referenzerstellung, Normalisierung und Scorer-Version. Er zeigt zusätzlich die Rohzahlen S, D, I und N. Bei mehreren Dateien muss erkennbar sein, ob die Zähler zusammengefasst oder Dateiwerte gemittelt wurden.

Zur Einordnung gehören außerdem Konfidenzintervalle, Wiederholungen und Ausfälle. Eine gute WER auf wenigen gelungenen Uploads ist etwas anderes als ein zuverlässig verarbeiteter Korpus. Fehler bei der Zuordnung von Sprechern misst die WER nicht. Dafür gibt es die Sprechererkennung und ihre eigene Kennzahl DER. Für eine Auswahl sagen Wortfehler, Bedeutungsprüfung und Nacharbeit zusammen mehr aus als die WER allein. Die vollständigen Messregeln beschreibt die Methodik.