So prüft ScribeIndex Diktiersoftware

Diktiersoftware überträgt bewusst gesprochene Inhalte in eine Zielanwendung. Manche Produkte setzen zusätzlich einen Schreibauftrag um. Aus ungeordneten Gedanken entsteht beispielsweise eine E-Mail mit einer vorgegebenen Struktur. Diese Leistungen erhalten getrennte Testreihen und eigene Ranglisten.

Testprotokoll 1.0. Jede Aufgabe verwendet 40 deutschsprachige Aufnahmen und drei Durchläufe. Allgemeines Diktat, juristisches Diktat und sprachgestützte Textausarbeitung haben jeweils eine eigene Referenz und Konfiguration. Ein Ergebnis aus einer Aufgabe wird nicht als Nachweis für eine andere Aufgabe behandelt.

Allgemeines Diktat

Der Korpus umfasst E-Mails, Geschäftsnotizen, Zahlen und Namen sowie spontane Selbstkorrekturen. Standardsprache, regionale Aussprache aus Deutschland und Österreich und schweizerisch gefärbtes Deutsch sind getrennt erfasst. Die Aufnahmen dauern von unter einer Minute bis zehn Minuten, im Mittel dreieinhalb Minuten.

Die Aufgabe ist ein wortnaher Text mit Satzzeichen. Ein Produktmodus, der Inhalte frei zusammenfasst, wird für diesen Vergleich ausgeschaltet. Glättet ein Dienst den Text mit einem Sprachmodell, etwa indem er Füllwörter entfernt oder Selbstkorrekturen auflöst, bleibt die Ausgabe wortnah, solange er nicht umformuliert. Vorgesehene Sprachbefehle werden vorab festgelegt. Die Referenz ist der gemeinte Text, also die gewünschte Endfassung, in der alle gesprochenen Anweisungen umgesetzt sind. Ein normalisierter Wortvergleich entfernt keine inhaltlich falschen Zahlen oder Namen.

Die Hauptkennzahl ist die Wortfehlerrate, also die Zahl der Ersetzungen, Auslassungen und Einfügungen geteilt durch die Zahl der Referenzwörter des gemeinten Texts. CER ergänzt den Zeichenvergleich. Getrennt ausgewiesen werden die Anteile korrekt übernommener Namen und Zahlen sowie umgesetzter Diktatbefehle, Selbstkorrekturen und Bearbeitungsanweisungen. Bietet ein Dienst keine Diktatbefehle an, steht dort „Nicht unterstützt“ statt eines Werts. Gesprochene Anweisungen, die nur markierten Text überarbeiten, zählen nicht als Diktatbefehle. Ein nicht umgesetzter Befehl kostet bei allen Diensten Nacharbeit. Bleibt er als Wort im Text stehen, zählt er zusätzlich als Einfügung in der WER. Der Anteil umgesetzter Befehle selbst geht nicht in den ScribeIndex-Score ein.

Die Inhaltsqualität im ScribeIndex-Score besteht zu 80 % aus der Erkennung als 100 minus WER und zu je 10 % aus den Anteilen korrekt übernommener Namen und Zahlen. Ein falscher Name oder eine falsche Zahl zählt damit zweimal, als Wortfehler und in ihrem eigenen Anteil. Gerade diese Angaben lassen sich ohne Nachprüfung nicht verwenden.

Juristisches Diktat

Schriftsatzausschnitte und Aktenvermerke bilden eine eigene Reihe. Die Referenz markiert Normzitate, Aktenzeichen, Fristen, Beträge sowie Parteien und Rollen. Das Testmaterial verwendet fiktive Sachverhalte. Der Auftrag bleibt die schriftliche Wiedergabe des Diktats, gemessen am gemeinten Text wie im allgemeinen Diktat.

„§ 823 Abs. 1 BGB“ muss als vollständige Angabe erhalten bleiben. Vereinbarte Schreibvarianten zählen gleich. Ein falscher Absatz, ein anderes Gesetz oder ein vertauschtes Aktenzeichen zählen als Fehler. Fristangaben werden zusammen mit ihrem Bezugspunkt geprüft. Bei Parteien muss auch die Rolle stimmen.

Zusätzlich zur WER veröffentlicht ScribeIndex Fehlerquoten je Referenzangabe und den Anteil der Ausgaben mit mindestens einem schwerwiegenden Fehler. Die Schweregradrubrik arbeitet wie in den medizinischen Testreihen, mit juristischen statt medizinischen Kriterien. Die Schwereklasse jeder markierten Angabe steht mit der Referenz fest. Fast alle Angaben zu Parteien, Beträgen und Fristen sind als potenziell schwerwiegend eingestuft, weil ein Fehler dort die Rechtswirkung des Schriftstücks ändern kann, etwa eine vertauschte Partei, eine geänderte Zahlungsforderung oder eine falsche Frist. Bei Normzitaten sind es wenige. Schwerwiegend kann nur ein Fehler an einer so eingestuften Angabe sein. Ob er es ist, entscheidet die Rubrik danach, was sich an der Angabe ändert.

Die Inhaltsqualität im ScribeIndex-Score besteht beim juristischen Diktat zu 80 % aus 100 minus WER, zu 10 % aus 100 minus der Fehlerquote bei Parteien und zu 10 % aus 100 minus der gemeinsamen Fehlerquote bei Beträgen und Fristen. Für die gemeinsame Quote werden Fehler und Referenzangaben beider Arten zusammengezählt. Normzitate gehen über WER und Schweregradrubrik ein. Ein Fehler bei Partei, Betrag oder Frist kann an drei Stellen wirken. Als falsch erkanntes Wort zählt er in der WER, als falsche Angabe in seiner Fehlerquote und, wenn die Rubrik ihn als schwerwiegend einstuft, mit seiner Ausgabe im Teilwert für schwerwiegende Fehler. Die Fehlerquote zählt jede falsche Angabe, der Teilwert für schwerwiegende Fehler nur betroffene Ausgaben. Fristen zählen wie Beträge als Zahlen- und Datumsangaben mit unmittelbarer Rechtsfolge. Normzitate und Aktenzeichen stehen mit einer eigenen Fehlerquote auf der Testseite. Bei medizinischen Aufgaben stehen Fakten-F1 und schwerwiegende Fehler genauso nebeneinander.

Gesprochene Anweisungen

Ein Diktat enthält neben dem Text Anweisungen an das Dokument. Bewertet wird im allgemeinen und im juristischen Diktat der Abstand zur Zielfassung. Das ist der Text, wie die diktierende Person ihn gemeint hat. Alle gesprochenen Anweisungen sind darin umgesetzt. ScribeIndex unterscheidet dieselben drei Arten wie im medizinischen Diktat.

• Diktatbefehle sind festes Vokabular für Satzzeichen, Absätze, Zeilen und Korrekturen. Diktiersysteme setzen sie über ihre Befehlsliste um.
• Selbstkorrekturen verwerfen eine gerade gesprochene Angabe und nennen die endgültige, ohne Befehl. Sie umzusetzen verlangt, die Absicht der sprechenden Person zu erkennen.
• Bearbeitungsanweisungen sind frei formuliert und beziehen sich auf eine frühere Stelle. Sie ändern eine früher genannte Angabe, ergänzen Inhalt oder verschieben einen Abschnitt. Ein Befehlssystem erkennt nur seine festen Befehle und schreibt frei formulierte Anweisungen wörtlich in den Text.

Maßstab der WER ist in diesen beiden Testreihen der gemeinte Text, nicht der gesprochene Wortlaut. Verworfene Angaben und die Wörter einer Anweisung sind keine Referenzwörter. Die WER entspricht deshalb nicht der WER, die Hersteller für ihre Spracherkennung angeben. Sie enthält neben den Erkennungsfehlern die Folgen nicht umgesetzter Anweisungen. Vor dem Wortabgleich werden die Abschnitte der Ausgabe den Abschnitten der Zielfassung zugeordnet. Ein Abschnitt an anderer Stelle zählt deshalb nicht als Wortfehler, die Reihenfolge stellen Sie in der Nacharbeit her. Ergänzter Inhalt, der wörtlich in einer Anweisung steht, wird genauso seiner Zielstelle zugeordnet. Als Einfügungen zählen dann nur die Wörter der Anweisung.

Die Referenz hält jede Anweisung mit Art, betroffener Angabe und erwarteter Wirkung fest. Eine Anweisung ist umgesetzt, wenn der gelieferte Text ihre Wirkung zeigt und die Anweisung selbst nicht im Text steht. Ob eine feste Befehlsliste oder ein Sprachmodell sie ausführt, spielt keine Rolle.

Die Messwerttabellen zeigen die Anteile „Umgesetzte Diktatbefehle“, „Umgesetzte Selbstkorrekturen“ und „Umgesetzte Bearbeitungsanweisungen“ mit Zählern, Nennern und Wilson-Intervall mit Designeffekt. Diese Anteile dienen Ihrer Information und gehen nicht noch einmal in den ScribeIndex-Score ein. Jede nicht umgesetzte Anweisung zählt genau einmal, nach ihrer Folge im Text und ohne eigenes Gewicht.

Gesprochene Anweisungen

Nicht umgesetzt	Folge im Text	Zählung in der WER
Diktatbefehl	Befehlswort im Text oder fehlende Gliederung	Stehen gebliebenes Befehlswort als Einfügung
Selbstkorrektur mit beiden Angaben	Verworfene Angabe steht vor der endgültigen	Verworfene Wörter als Einfügungen
Selbstkorrektur, verworfene Angabe übernommen	Verworfener Wert statt des endgültigen	Ersetzung
Änderung, stillschweigend ausgeblieben	Alter Wert steht	Ersetzung
Änderung, Anweisung wörtlich im Text	Alter Wert steht, der neue steht in der Anweisung	Anweisungswörter als Einfügungen, alter Wert als Ersetzung
Ergänzung, stillschweigend ausgeblieben	Ergänzter Inhalt fehlt	Auslassungen
Ergänzung, Anweisung wörtlich im Text	Inhalt steht in der Anweisung	Anweisungswörter als Einfügungen
Verschieben, stillschweigend ausgeblieben	Abschnitt an der alten Stelle	Keine, nur Nacharbeit
Verschieben, Anweisung wörtlich im Text	Abschnitt an der alten Stelle, die Anweisung steht im Text	Anweisungswörter als Einfügungen

Betrifft die Folge einen Namen oder eine Zahl, im juristischen Diktat eine Partei, einen Betrag oder eine Frist, zählt sie außerdem im Anteil korrekter Namen und Zahlen oder in der Fehlerquote dieser Angaben, so wie ein Erkennungsfehler an derselben Angabe. Das gilt für eine übernommene verworfene Angabe und für eine stillschweigend ausgebliebene Änderung oder Ergänzung. Im juristischen Diktat zählen diese Fälle nach der Rubrik auch als Fehlerereignis ihrer Angabe. Eine Anweisung, die wörtlich oder mit beiden Angaben im Text steht, ist bei der Durchsicht sichtbar und zählt weder in diesen Kennzahlen noch als schwerwiegender Fehler. War die betroffene Angabe schon falsch erkannt, zählt die Anweisung dort nicht noch einmal.

In der Nacharbeit kostet jede nicht umgesetzte Anweisung genau einen Posten. Eine wörtlich stehende Selbstkorrektur oder Anweisung wird gelöscht und von Hand ausgeführt, ohne Blick in die Aufnahme. Hat eine Anweisung keine Spur im Text, wird sie in der Aufnahme gesucht, weil sie nicht neben der betroffenen Stelle liegt. Diese Wörter sind keine zusätzlichen Wortstellen. Eine übernommene verworfene Angabe wird wie ein falsch erkannter Wert korrigiert.

Die Sprechvorlagen enthalten im Mittel eine Selbstkorrektur je vier Minuten Diktat, die Vorlagen der Textart Selbstkorrekturen mehr als eine je Minute. Bearbeitungsanweisungen sind im allgemeinen Diktat selten, im Mittel eine je 17 Minuten. Juristische Diktate entstehen wie ein Arztbrief für eine Schreibkraft und enthalten mehr Nachträge und Änderungen, im Mittel eine Bearbeitungsanweisung je 6,7 Minuten und rund 3,4 Diktatbefehle je 150 Sekunden. Im ausgewerteten Korpus sind das im allgemeinen Diktat 147 Diktatbefehle, 69 Selbstkorrekturen und 12 Bearbeitungsanweisungen in 11 der 40 Diktate, im juristischen Diktat 333 Diktatbefehle, 85 Selbstkorrekturen und 36 Bearbeitungsanweisungen in 21 der 40 Diktate. Die Häufigkeiten sind eine eigene Festlegung vor dem ersten Lauf und keine Messung des Diktierverhaltens.

Sprachgestützte Textausarbeitung

Hier werden E-Mails, strukturierte Notizen und Aufgabenbeschreibungen erstellt. Jede Aufnahme enthält bekannte Fakten und explizite Anweisungen zu Format, Ton, Reihenfolge oder einer Änderung. Derselbe Auftrag wird je nach Produkt als eigener Modus, als Vorlage oder über die vorgesehene Produktfunktion eingestellt.

Fakten-F1 prüft, ob relevante Angaben erhalten bleiben und ob falsche oder unbelegte Inhalte dazukommen. Eine eigenständig umformulierte Aussage zählt bei gleicher Bedeutung als Treffer. Die Anweisungstreue zählt korrekt ausgeführte Einzelanweisungen pro Referenzanweisung. Ein flüssig formulierter Text erfüllt nicht automatisch eine verlangte Reihenfolge oder eine konkrete Änderung.

WER wird für diese Aufgabe nicht berechnet. Die gewünschte Ausarbeitung darf Wörter und Sätze umstellen. Für die Inhaltsqualität zählen 80 % Fakten-F1 und 20 % Anweisungstreue.

Testweg und Konfiguration

Alle Diktate laufen in Echtzeit über einen virtuellen Mikrofoneingang mit derselben Korpusdatei. Desktop- und Browser-Anwendungen erhalten diesen Eingang direkt, Smartphone-Anwendungen laufen dafür in einer emulierten Geräteumgebung. Die Aufnahmesituation steckt in den Korpusaufnahmen selbst. Der konkrete Signalweg steht am Ergebnis. Zielanwendung, Sprache, Produktmodus, individuelles Wörterbuch und zusätzliche Kontextfunktionen stehen in der Testkonfiguration. Sprecherprofile beginnen ohne vorheriges individuelles Training. Bei lokalen Modellen gehört die verwendete Hardware zur Konfiguration.

Beim Diktat zählt der Text, der im zuvor leeren Zieltextfeld entsteht. Bei einem Textbearbeitungsmodus wird der Rohentwurf zunächst diktiert und anschließend für die Änderungsanweisung markiert. Bei einer Vorlage zählt der erzeugte Text vor manuellen Änderungen. Bei einem Dateiauftrag sind Bereitstellung und nötige Formatumwandlung dokumentiert. Alle Anbieter erhalten denselben Sprachinhalt.

Zeit, Nacharbeit und ScribeIndex-Score

Beim Live-Diktat beginnt die Latenz am Ende des letzten zugespielten Wortes und endet mit stabil nutzbarem Text. Stabil ist der Text ab seiner letzten Änderung im Zieltextfeld, einschließlich nachträglicher Korrekturen und Formatierungen durch den Dienst. Bei der Textausarbeitung beginnt sie am Ende des gesprochenen Auftrags und endet, sobald der fertige Text vorliegt. Bedienschritte dazwischen, etwa das Starten einer vorab eingerichteten Vorlage, zählen mit. Bei hochgeladenen Aufnahmen beginnt die Messung mit dem Upload. Ausgegeben werden Median und 95. Perzentil.

Die Nacharbeit schätzt ScribeIndex für jede abgeschlossene Ausgabe aus den automatisch gezählten Fehlern, mit denselben Zeiten für alle Dienste. Sie umfasst Wort-, Zahlen-, Befehls- und Formatkorrekturen und das Ausführen nicht umgesetzter Anweisungen bis zur vorab festgelegten Zielfassung.

Fehler mit höchstens zwei richtigen Wörtern dazwischen bilden eine Korrekturstelle. Wer selbst diktiert hat, braucht die Aufnahme an jeder fünften Stelle, bei Namen, Zahlen, Parteien, Beträgen, Fristen und Normzitaten an zwei von fünf. Fehlt durch einen verschluckten Diktatbefehl ein Satzzeichen oder Absatz, setzen Sie ihn mit einem Tastendruck. Ein stehen gebliebenes Befehlswort löschen Sie im allgemeinen Diktat wie jede Einfügung, im juristischen Diktat wie im medizinischen Diktat zusammen mit dem Setzen der Gliederung. Bei der Textausarbeitung ergänzen Sie fehlende Angaben, korrigieren verfälschte und löschen hinzugefügte oder nicht relevante Aussagen. Eine nicht umgesetzte Schreibanweisung kostet das Neufassen einer Angabe, im Mittel rund 20 Wörter. Das einmalige Durchlesen zählt nicht dazu, weil auch ein von Hand getippter Text es braucht.

Der ScribeIndex-Score gewichtet beim allgemeinen Diktat und der Textausarbeitung Qualität mit 75 %, Nacharbeit mit 20 % und Abschlussquote mit 5 %. Im juristischen Diktat zählen 60 % Qualität, 20 % schwerwiegende Fehler, 15 % Nacharbeit und 5 % Abschlussquote.

Der Nacharbeitsteil erreicht null Punkte, wenn die geschätzte Korrektur so lange dauert wie das Schreiben des Texts ohne KI. Die Werte je Audiostunde für allgemeine und juristische Diktate und für Textausarbeitung nennt die Tabelle der Bezugsgrößen. Im juristischen Test liegt der entsprechende Nullpunkt für schwerwiegende Fehler bei 15 % der abgeschlossenen Ausgaben. Alle Gewichte und Bezugsgrößen stehen beim ScribeIndex-Score.

Die Intervalle von Score, Wortfehlerrate und Zeichenfehlerrate sowie die Paarunterschiede entstehen aus 2.000 gemeinsam gezogenen Bootstrap-Stichproben über die ursprünglichen Aufnahmen. Wiederholte Durchläufe derselben Aufnahme bleiben in einem Cluster. Anteile wie umgesetzte Anweisungen oder juristische Fehlerarten erhalten ein Wilson-Intervall mit Designeffekt. Beim Score-Intervall des juristischen Diktats gilt eine Ausnahme für Dienste mit seltenen schwerwiegenden Fehlern. Ihren Anteil zieht jede Stichprobe je Dienst unabhängig aus einer Beta-Verteilung, wie beim Score-Intervall beschrieben. Im Übrigen gelten die gemeinsamen Zählregeln und Unsicherheitsregeln. Ranglisten werden ausschließlich innerhalb derselben Aufgabe, Referenz und Ausgabeart gebildet.