So prüft ScribeIndex automatische Untertitel

Ein korrekter Untertitel muss den gesprochenen Inhalt wiedergeben, zum richtigen Zeitpunkt erscheinen und in seiner Standzeit lesbar sein. Auch ein gutes Transkript kann deshalb schlechte Untertitel ergeben. ScribeIndex prüft Untertitel für Videodateien und Live-Untertitel als zwei Aufgaben mit eigenen Korpora und Ranglisten.

Untertitel für Videodateien

Testprotokoll 1.0. Die Reihe umfasst 40 deutschsprachige Videos aus Interview, Tutorial, Vortrag und Reportage mit drei Durchläufen je Anbieter. Die Dateien sind 3 bis 59 Minuten lang, im Mittel 20 Minuten. Standardsprache, regionale Aussprache aus Deutschland und Österreich sowie schweizerisch gefärbtes Deutsch sind im Korpus ausgewiesen.

Die Zielausgabe

Geprüft wird die erste vollständig verfügbare deutsche SRT- oder WebVTT-Datei vor manuellen Korrekturen. Ausgangs- und Untertitelsprache bleiben Deutsch. Übersetzung, Synchronisation und eingebrannte Gestaltungseffekte gehören zu anderen Aufgaben und gehen nicht in diese Rangliste ein.

Videobild und Audiospur stammen aus derselben Referenzdatei. Container, Audioformat, Abtastrate, Bildformat und Bildrate werden dokumentiert. Die Testkonfiguration enthält Sprache, Exportformat sowie Übersetzungs- und Korrektureinstellungen. Ein kostenpflichtiger Export wird im dafür vorgesehenen Tarif geprüft.

Referenz und Segmentzuordnung

Die Referenz enthält den Sprachtext, zeitliche Wortgrenzen und lesbare Untertitelsegmente. Wie in allen Testreihen entsteht die Sprechvorlage vor der Aufnahme. Danach wird die Referenz am Video geprüft und an das tatsächlich Gesagte angepasst. Dabei werden Namen, Zahlen, Sprecherwechsel und unverständliche Stellen aufgelöst. Die Referenz wird vor dem ersten Anbieterlauf eingefroren.

Anbieter müssen nicht dieselbe Zahl von Segmenten erzeugen. Geteilte oder zusammengeführte Untertitel werden über den gemeinsamen Sprachinhalt der Referenz zugeordnet. Ein Ausgabesegment gehört zu jedem Referenzsegment, von dem es mehr als die Hälfte der Wörter enthält, sonst zu dem Referenzsegment, aus dem die meisten seiner Wörter stammen. Ein Referenzsegment ohne eigenes Ausgabesegment gehört zu dem Ausgabesegment mit den meisten seiner Wörter. Timing und Layout werden für die so gebildeten Segmentgruppen geprüft. Fehlt Inhalt eines Referenzsegments, erhält nur dieses Segment keinen Timing- oder Layouttreffer.

Die Auswertung liest SRT und WebVTT und erzeugt Wortfehlerzähler, Timing- und Layoutzähler sowie die Zeit- und Zeichenmittelwerte. Die Wortzuordnung verwendet Unicode-Normalisierung, Kleinschreibung und eine globale Levenshtein-Ausrichtung. Zusammenhängende Segmentgruppen fangen Teilungen und Zusammenführungen ab.

Sprachinhalt und Timing

Die WER berechnet Ersetzungen, Auslassungen und Einfügungen im zusammengeführten Untertiteltext pro Referenzwort. Zeitmarken und Formatbefehle sind keine gesprochenen Wörter. Das Profil de-subtitle-wer vereinheitlicht nur Groß- und Kleinschreibung, Unicode-Form, ß und ss sowie Satzzeichen außerhalb von Dezimalzahlen und Uhrzeiten. Zahlen, Abkürzungen und Komposita bleiben in ihrer sichtbaren Schreibweise, denn die Referenz legt die Schreibweise der fertigen Untertitel fest. Eine ausgeschriebene Zahl zählt deshalb als Fehler, wenn die Referenz Ziffern verwendet.

Der Anteil zeitlich passender Untertitel zählt Referenzsegmente mit vollständiger Textabdeckung, bei denen der früheste Beginn und das späteste Ende der zugeordneten Untertitel jeweils höchstens 200 Millisekunden von der Referenz abweichen. Die 200 Millisekunden hat ScribeIndex selbst festgelegt, sie sind keine Branchenvorgabe.

Daneben veröffentlicht ScribeIndex die mittlere absolute Zeitabweichung in Millisekunden. Intervalle und Stichprobengröße beziehen sich auf die verglichenen Segmente.

Lesbarkeit und Zeilenaufteilung

Der Layoutvergleich verwendet höchstens zwei Zeilen, maximal 42 Zeichen je Zeile und maximal 17 Zeichen je Sekunde. Die Zeichen- und Geschwindigkeitsgrenzen orientieren sich an Netflix’ deutschem Profil für Erwachseneninhalte. Andere Zielgruppen und Auftraggeber verwenden eigene Vorgaben. Das Testprofil benennt daher ausdrücklich die gewählte Bedingung.

Sichtbare Unicode-Zeichen einschließlich Leerzeichen werden gezählt. Die Lesegeschwindigkeit ergibt sich aus Textlänge geteilt durch Standzeit. Ausgegeben werden die Quote vollständig abgedeckter, regelkonformer Referenzsegmente sowie mittlere Zeichen pro Sekunde und mittlere Zeichen pro Zeile. Ein hoher Mittelwert allein zeigt nicht, wie viele einzelne Segmente einen Grenzwert überschreiten.

Die SubER-Arbeit von Wilken et al. 2022 zeigt, warum Text, Segmentierung und Timing gemeinsam betrachtet werden sollten. Die veröffentlichten Wort-, Timing- und Layoutkennzahlen von ScribeIndex bleiben einzeln nachvollziehbar. Der ScribeIndex-Score ist eine eigene Gewichtung dieser Komponenten.

Export, Laufzeit und Nacharbeit

Die Verarbeitung beginnt mit dem Uploadstart und endet erst mit einem vollständigen herunterladbaren Export. Median und 95. Perzentil zeigen die Ende-zu-Ende-Zeit. SRT und WebVTT werden auf gültige Zeitmarken, Standzeiten größer null, chronologische Reihenfolge und vollständigen Inhalt geprüft.

Die geschätzte Nacharbeit umfasst Textkorrektur, das Teilen nicht lesbarer Untertitel und Timingkorrektur bis zum Zielprofil. ScribeIndex schätzt sie für jede abgeschlossene Ausgabe aus den automatisch gezählten Fehlern, mit denselben Zeiten für alle Dienste.

Jeder Untertitel mit Wortfehlern ist eine Korrekturstelle. Liegen zwischen Fehlern über eine Untertitelgrenze hinweg höchstens zwei richtige Wörter, ist es eine Stelle. Für jede Stelle rechnet die Schätzung Anhalten, Zurückspringen, Nachhören und Korrigieren. Weicht ein Untertitel um mehr als 200 Millisekunden ab, werden seine Grenzen neu gezogen. Hat ein Untertitel zu viele oder zu lange Zeilen oder ist er zu schnell zu lesen, wird er geteilt und die neue Grenze gesetzt. Werden diese einzelnen Korrekturen teurer als die Neuanlage aller Zeiten mit 2,4 Sekunden je Untertitel, rechnet die Schätzung mit der Neuanlage der Zeiten für die ganze Datei. Die bis zu dieser Entscheidung verlorene Zeit zählt mit.

Nicht enthalten ist das einmalige Abspielen der Aufnahme mit den Untertiteln, das auch eine von Hand erstellte Untertiteldatei vor der Veröffentlichung braucht. Dieses Abspielen dauert für jeden Dienst gleich lange, unabhängig von den Fehlern der Datei. Fehlgeschlagene Durchläufe werden mit Grund und der nicht ausgewerteten Referenzabdeckung gespeichert.

Live-Untertitel

Testprotokoll 1.0. Die Reihe umfasst 30 deutschsprachige Aufnahmen aus Vortrag, Webinar, Podiumsdiskussion und Pressekonferenz mit zwei Durchläufen je Anbieter. Die Aufnahmen sind 8 bis 89 Minuten lang, im Mittel 35 Minuten. Standardsprache, regionale Aussprache aus Deutschland und Österreich sowie schweizerisch gefärbtes Deutsch sind im Korpus ausgewiesen. Übersetzung gehört nicht zur Testreihe.

Einspielung und Mitschnitt

Jede Aufnahme läuft in Echtzeit über einen virtuellen Audioeingang als Mikrofon oder Audioquelle der Live-Sitzung. Ein Mitschnittwerkzeug protokolliert jede Änderung der angezeigten Untertitel mit Zeitstempel, Segment und angezeigtem Text. Gleichzeitig wird der Ton erfasst, den das Publikum hört. Alle Zeitstempel beziehen sich auf denselben Wiedergabestart. Die Referenz enthält das Ende jedes gesprochenen Wortes im Eingangston, ermittelt aus einem geprüften Forced Alignment an der Aufnahme. Die Wortenden im Ton beim Publikum werden je Lauf am mitgeschnittenen Ton bestimmt. Bei unverzögerter Audioausgabe sind beide Wortzeiten gleich.

Die Auswertung von Referenz und Mitschnitt ergibt Wortfehlerzähler, die beiden Anzeigequoten, den Zeitversatz als Median und 95. Perzentil sowie die mittlere Übertragungsverzögerung. Wortvergleich und Normalisierung folgen dem Profil de-subtitle-wer.

Endgültiger Text, Zeitversatz und Stabilität

Die WER vergleicht den endgültigen Stand jedes Segments mit der Referenz. Zwischenstände gehen nicht in die WER ein, sondern in die Stabilität.

Der Zeitversatz ist der absolute Abstand zwischen dem Ende eines Wortes im Ton beim Publikum und der ersten Anzeige dieses Wortes in endgültiger Form. Vorauseilende und verspätete Wörter werden damit gleich behandelt. Median und 95. Perzentil beziehen sich auf korrekt erkannte Wörter. Als rechtzeitig angezeigt zählt ein Referenzwort, dessen endgültige Form höchstens drei Sekunden vor oder nach diesem Wortende erscheint. Das Zeitfenster ist eine festgelegte ScribeIndex-Testbedingung. Fehlende und falsch erkannte Wörter zählen als nicht rechtzeitig.

Bei einem verzögerten Livestream zählt der im Player hörbare Ton als Bezugspunkt. So wird ein gemeinsam gepuffertes Bild mit synchronen Untertiteln anhand seiner tatsächlichen Darstellung bewertet. Die W3C-Erläuterung zu Live-Untertiteln beschreibt Untertitel als synchronisierte Wiedergabe des Audioinhalts. Die Drei-Sekunden-Grenze von ScribeIndex ist kein W3C-Grenzwert.

Die mittlere Übertragungsverzögerung wird separat in Sekunden angegeben. Sie misst je Referenzwort die Zeit vom Wortende im Eingangston bis zum Wortende im Ton beim Publikum. Sie beschreibt, wie spät das Publikum das Geschehen hört, und geht nicht in den ScribeIndex-Score ein. Maßgeblich ist der gemessene Wortzeitpunkt im Ton beim Publikum, auch wenn der Puffer während der Übertragung schwankt.

Als stabil angezeigt zählt ein Referenzwort, das ab seiner ersten Anzeige unverändert in endgültiger Form stehen bleibt. Ein angefangenes Wort wie „Mor“ vor „Morgen“, eine spätere Korrektur und ein wieder entferntes Wort machen die Anzeige instabil. Jeder Zwischenstand wird dafür am Anfang des endgültigen Segmenttexts ausgerichtet, damit ein angefangenes Wort seinem endgültigen Wort zugeordnet wird. Beide Quoten verwenden alle Referenzwörter als Nenner. Fehlende und falsch erkannte Wörter zählen in beiden Quoten als Fehler.

Das NER-Modell von Romero-Fresco und Martínez Pérez bewertet Live-Untertitel über gewichtete Bearbeitungs- und Erkennungsfehler, die geschulte Prüfer einordnen. ScribeIndex misst automatisch auf Wortebene und bildet keinen NER-Wert. Kürzungen, die das NER-Modell als zulässige Bearbeitung wertet, zählen hier als Auslassung.

Nacharbeit

Die geschätzte Nacharbeit umfasst Textkorrektur, das Teilen nicht lesbarer Untertitel und Timingkorrektur, bis aus dem Live-Ergebnis eine veröffentlichungsfähige Untertiteldatei der Aufzeichnung entsteht. Ausgangspunkt ist der Export des Dienstes. Ohne Export dient eine aus dem Mitschnitt erzeugte SRT-Datei mit den endgültigen Segmenten als Ausgangspunkt. Korrigiert werden die Fehler dieser Datei, also falsche Wörter, unpassende Einblendzeiten und Untertitel, die Zeilenlänge oder Lesegeschwindigkeit überschreiten. Solche Untertitel teilen Sie und setzen die neue Grenze. Ein falsches Wort ist wie bei Videodateien eine Korrekturstelle seines Untertitels.

Die Schätzung nimmt an, dass die ganze Datei einmal um den Median der Verzögerung verschoben wird. Eine gleichmäßige Verzögerung ändert die Nacharbeit deshalb nicht. Weicht ein Untertitel danach um mehr als 200 Millisekunden ab, wird er einzeln korrigiert. Je stärker die Verzögerung eines Dienstes schwankt, desto mehr Untertitel betrifft das. Grundlage sind Median und 95. Perzentil des gemessenen Zeitversatzes. Wird das Korrigieren einzelner Untertitel teurer als die Neuanlage aller Zeiten, rechnet die Schätzung wie bei Videodateien mit der Neuanlage aller Zeiten, mit 2,4 Sekunden je Untertitel. Die bis dahin verlorene Zeit zählt mit. Rechtzeitigkeit und Stabilität der Anzeige während der Übertragung gehen in die Inhaltsqualität ein, nicht in die Nacharbeit.

Das Zielprofil entspricht dem der Videodateien, mit 200 Millisekunden an beiden Segmentgrenzen, höchstens zwei Zeilen zu 42 Zeichen und 17 Zeichen je Sekunde. Für die rechtzeitige Anzeige genügen dagegen drei Sekunden. Ein rechtzeitig angezeigtes Wort kann in der Datei deshalb trotzdem eine Timingkorrektur brauchen. Timing und Lesbarkeit der Exportdatei gehen nur in die Nacharbeit ein und stehen nicht als eigene Kennzahl auf der Testseite. Die Aufnahmen enthalten durchgehend Sprache, je Stunde fallen mehr Wörter und Untertitel an als bei Videodateien. Bei gleicher Fehlerquote liegt die Nacharbeit je Stunde deshalb höher, ebenso die Bezugsgröße im Score. Wie bei Videodateien zählt das einmalige Abspielen der Aufzeichnung mit den Untertiteln nicht zur Nacharbeit.

ScribeIndex-Score und Unsicherheit

Bei Videodateien besteht die Inhaltsqualität im ScribeIndex-Score zu 50 % aus der Erkennung (100 minus WER), zu 30 % aus dem Anteil zeitlich passender und zu 20 % aus dem Anteil lesbarer Untertitel. Bei Live-Untertiteln besteht sie zu 50 % aus der Erkennung, zu 30 % aus rechtzeitig und zu 20 % aus stabil angezeigten Wörtern. In beiden Testreihen gewichtet der ScribeIndex-Score die Qualität mit 75 %, die Nacharbeit mit 20 % und die Abschlussquote mit 5 %. Der Nacharbeitsteil erreicht null Punkte, wenn die Korrektur so lange dauert wie das Erstellen der Untertitel von Hand. Die Werte je Audiostunde für Videodateien und Live-Untertitel nennt die Tabelle der Bezugsgrößen. Medizinische oder juristische Schweregrade werden hier nicht verwendet.

Die ursprünglichen Aufnahmen bilden die statistischen Cluster. Alle Wiederholungen einer Aufnahme werden gemeinsam gezogen. 2.000 gepaarte Bootstrap-Stichproben ergeben die Intervalle von Score, Wortfehlerrate, Zeichenfehlerrate und Skalarwerten sowie die Paarunterschiede. Anteile wie Timing-, Layout- oder Stabilitätsquoten erhalten ein Wilson-Intervall mit Designeffekt. Quotenzähler werden gepoolt, Skalarmittelwerte über ihre ausgewerteten Einheiten gewichtet. Damit behalten Prozentwerte, Millisekunden und Zeichen ihre jeweilige Bedeutung.