So prüft ScribeIndex Audiotranskription

Audiotranskription macht aus gesprochener Sprache einen schriftlichen Text. Ein fairer Vergleich braucht dieselben Aufnahmen, eine überprüfte Referenz und klare Regeln dafür, welche Textabweichungen als Fehler zählen.

Testprotokoll 1.0. Jede Ergebnisseite nennt Audioumfang, Referenzversion sowie Auswertungs- und Normalisierungsversion.

Zielausgabe und Anbieterbedingungen

Der Kernvergleich gilt einem wortgetreuen Transkript. Bereinigte Texte ohne Füllwörter und redaktionell umgeschriebene Fassungen werden getrennt gekennzeichnet. Für einen Artikelentwurf oder ein Sitzungsprotokoll ist WER keine sinnvolle Gesamtbewertung, denn gewünschte Umformulierungen verändern Wörter, ohne die Bedeutung zu verschlechtern.

Getestet werden die dokumentierten Standardeinstellungen mit fest eingestellter Eingabesprache. Produktversion, Modell, Spracheinstellung und eigener Wortschatz stehen in der Testkonfiguration.

Ein versionierter deutschsprachiger Korpus

Der Audiokorpus bildet Interviews, Vorträge mit Fragerunde, Gruppengespräche sowie Telefon- und Remoteaufnahmen mit zwei bis vier Personen ab. Korpusgröße und Versionierung folgen den gemeinsamen Grundlagen.

Aufnahmen werden nach Dauer, Sprecherzahl, Sprechgeschwindigkeit, regionaler Aussprache und Aufnahmequalität gruppiert. Das Design umfasst Standardsprache, regionale Varianten aus Deutschland und Österreich, schweizerisch gefärbtes Deutsch sowie Deutsch als weitere Sprache. Aussagen zu einzelnen Dialekten trifft ScribeIndex nur, wenn genügend zugehörige Dateien vorliegen. Alter, Geschlecht oder Herkunft werden nicht aus Stimmeigenschaften abgeleitet.

Ruhige Nahmikrofonaufnahmen, Raumhall, Hintergrundlärm, mobile Mikrofone und komprimierte Telefonqualität erhalten getrennte Kennzeichnungen. Abtastrate, Codec und Kanäle gehören zu jedem Fall. Alle Anbieter erhalten dieselben Dateien, soweit ihr Import das Format unterstützt. Konvertierungen und nicht unterstützte Dateien werden sichtbar dokumentiert. Eine sauberere Datei für einen einzelnen Anbieter wäre eine andere Testbedingung.

Die Referenz entsteht am Audio

Die nach dem gemeinsamen Referenzstandard erstellte Audioreferenz enthält zusätzlich Sprecherkennungen, unverständliche Stellen und zulässige Schreibvarianten. Zeitliche Grenzen sind für die Sprecherprüfung separat annotiert.

Die Rohreferenz bleibt unverändert erhalten. Daneben entsteht eine normalisierte Version für den Wortvergleich. Die Regeln für Großschreibung, Satzzeichen, Zahlen, Abkürzungen, Bindestriche und Füllwörter sind vor dem ersten Anbieterlauf eingefroren und stehen unter Normalisierung. Eine Normalisierung darf die gewünschte Ausgabeart vereinheitlichen, aber keine tatsächlichen Bedeutungsfehler entfernen.

Kennzahlen und ihre Grenzen

Kennzahl	Aussage	Voraussetzung
WER	Wortersetzungen, Auslassungen und Einfügungen	Gleiche Referenz und Tokenisierung
CER	Zeichenabweichungen	Definierte Unicode- und Leerzeichenregeln
DER	Fehler bei Sprachaktivität und Sprecherzeit, mit 250 ms Toleranz und ohne Toleranz	Zeitlich annotierte Sprecherreferenz und Sprecherkennungen in der Ausgabe
Nacharbeit	Geschätzte Arbeit bis zum Zieltranskript aus Wort- und Sprecherfehlern	Gleiche Zeiten für alle Dienste

WER wird nach den gemeinsamen Zähl- und Aggregationsregeln berechnet. Strata und Fallzahlen stehen beim Korpus. Häsitationen wie „äh“ und „ähm“ zählen nach dem Profil de-allg-wer weder als Auslassung noch als Einfügung.

CER verwendet Zeichen als Einheit. Das definierte Profil zählt Unicode-Codepoints nach NFC-Normalisierung. Für die normalisierte CER werden Groß- und Kleinschreibung vereinheitlicht, Satzzeichen entfernt und sämtliche aufeinanderfolgenden Unicode-Leerraumzeichen durch ein ASCII-Leerzeichen ersetzt. Führende und abschließende Leerzeichen entfallen. Die verbleibenden Leerzeichen gehen als Zeichen in Alignment und Referenznenner ein.

Sprechersegmente mit Zeitmarken gehen direkt in die DER ein. Liefert ein Dienst Sprecherkennungen ohne eigene Zeitmarken, bestimmt ScribeIndex die Zeitmarken durch erzwungene Ausrichtung (Forced Alignment) des gelieferten Texts an der Aufnahme. Die DER berechnet ScribeIndex daraus wie bei allen anderen Diensten, mit verpasster und fälschlich erkannter Sprache und Fehlern an Segmentgrenzen. Enthält eine Ausgabe keine Sprecherkennungen, wertet ScribeIndex sie wie eine Ausgabe mit einem einzigen Sprecher. Die DER ist dann der Anteil der Sprechzeit aller Personen außer der am längsten sprechenden, dazu verpasste und fälschlich erkannte Sprache. Neben dem Wert steht „ohne Sprecherkennungen“. In der Nacharbeit kostet jeder Sprecherwechsel das Erkennen der Stimme, das Teilen des Absatzes und das Setzen einer Kennung. Untertitel prüft ScribeIndex in einer eigenen Kategorie.

Vergleichbare Dateien und Teilgruppen

Für den direkten Wortvergleich werden nur Dateien mit derselben Zielausgabe und kompatiblen Importbedingungen gepaart. Bei mehreren Ausschnitten aus einem Interview oder Vortrag bleibt die ursprüngliche Aufnahme die statistische Einheit. Die gemeinsamen Regeln zu Wiederholungen und Unsicherheit gelten auch für diese Teilgruppen.

Vom Upload bis zum nutzbaren Ergebnis

Die Ende-zu-Ende-Zeit reicht vom Uploadstart bis zum vollständigen Export. Bei lokaler Verarbeitung beginnt sie mit dem Start der Verarbeitung auf dem Testrechner. Ein vorläufiger Text markiert das Ende nicht.

Die Nacharbeit wird für jede abgeschlossene Ausgabe aus den automatisch gezählten Fehlern geschätzt, mit denselben Zeiten für alle Dienste. Fehler mit höchstens zwei richtigen Wörtern dazwischen bilden eine Korrekturstelle. Für jede Stelle rechnet die Schätzung Anhalten, Zurückspringen, Nachhören mit zwei Sekunden Vorlauf und Korrigieren. Ist eine Passage so fehlerhaft, dass Neuschreiben schneller geht, setzt die Schätzung dafür das Abtipptempo an. Falsch zugeordnete Sprechzeit wird abschnittsweise richtiggestellt, denn das Zieltranskript nennt zu jedem Beitrag die richtige Person. Jeder Abschnitt kostet das Erkennen der Stimme und das Umbenennen der Kennung, eine falsche Grenze zusätzlich das Teilen des Absatzes. Verpasste und fälschlich erkannte Sprache zählt schon über die Wortfehler.

Nicht enthalten ist das einmalige Abhören der Aufnahme parallel zum Text, das auch ein von Hand getipptes Transkript braucht. Diese Durchsicht dauert so lange wie die Aufnahme selbst (Wollin-Giering et al. 2024).

Im Bewertungsmodell 2.2 besteht die Inhaltsqualität im ScribeIndex-Score zu 70 % aus 100 minus WER und zu 30 % aus der Sprecherzuordnung, gemessen als 100 minus DER mit 250 ms Toleranz. Ein Transkript zeigt erst mit richtigen Sprecherangaben, wer was gesagt hat (Sprechererkennung). Falsch zugeordnete Sprechzeit wirkt deshalb an zwei Stellen, in der Inhaltsqualität und in der Nacharbeit, die das Richtigstellen der Sprecherabschnitte mitzählt. Die DER ohne Toleranz bleibt Zusatzkennzahl. Der Korrekturteilwert erreicht null Punkte, wenn die geschätzte Nacharbeit so lange dauert wie ein wortgetreues Transkript von Hand. Den Wert je Audiostunde nennt die Tabelle der Bezugsgrößen. Laufzeiten und Ausfälle folgen den gemeinsamen Regeln.

Veröffentlicht werden die Fehlerzähler nach Ersetzungen, Auslassungen und Einfügungen sowie die Testkonfiguration jedes Dienstes. Die Ergebnisse gelten für diesen Korpus, die getesteten Produktversionen und die dokumentierten Bedingungen.