SyncWords im Test
Ergebnisse aus einer Testreihe auf einem deutschsprachigen Korpus. Alle Anbieter einer Aufgabe bearbeiten dieselben Fälle nach demselben Protokoll.
Ergebnisse im Überblick
Im ScribeIndex-Test „Live-Untertitel“ (2. Quartal 2026, 30 Veranstaltungen, je 2 Durchläufe) erreicht SyncWords 62,5 von 100 Punkten und liegt auf Platz 3 von 6.
| Aufgabe | ScribeIndex-Score | Platz | Hauptkennzahl | Nacharbeit | Getestet |
|---|---|---|---|---|---|
| Live-Untertitel | Mittelfeld: 62,5 | 3 von 6 | Wortfehlerrate: 8,2 % | 95,3 min je Veranstaltung | 2. Quartal 2026 |
| Untertitel für Videodateien | Nicht getestet, Ergebnis steht noch aus | – | – | – | – |
SyncWords: Live-Untertitel
In der Testreihe „Live-Untertitel“ liegt SyncWords mit 62,5 Punkten auf Platz 3 von 6, 8,5 Punkte hinter AI-Media (71,0) und 1,6 Punkte vor Interprefy (60,9). Hinter AI-Media bleibt SyncWords vor allem beim Anteil stabil angezeigter Wörter (82,0 % gegenüber 92,3 %) zurück. Vor Interprefy liegt SyncWords vor allem beim Anteil stabil angezeigter Wörter (82,0 % gegenüber 79,0 %) und beim Anteil rechtzeitig angezeigter Wörter (91,3 % gegenüber 90,2 %). Interprefy liegt dafür bei der Nacharbeit (89,4 gegenüber 95,3 Minuten je Veranstaltung) vorn. Die Wortfehlerrate liegt bei 8,2 % (95-%-Konfidenzintervall 7,6–8,9 %). Die Nacharbeit ist eine Schätzung von ScribeIndex und kommt zum einmaligen Abspielen mit Untertiteln hinzu, bei einer durchschnittlichen Aufnahmedauer von 35,5 Minuten.
Einordnung: Mittelfeld · ScribeIndex-Score 62,5 / 100 · 95-%-Intervall 60,9–64,2 · Platz 3 von 6
8,5 Punkte hinter dem besten Dienst und 0,8 Punkte über dem Median des Feldes.
Wortfehlerrate (WER) (Geteilter Platz 2 von 6): 8,2 % · 95-%-Intervall 7,6–8,9 % · 24.660 Wortfehler von 299.308 Referenzwörtern
Schwächster Wert: 9,8 % · Median (6 Anbieter): 8,5 % · Bester Wert: 7,4 %
Ersetzungen, Auslassungen und Einfügungen je Referenzwort nach Normalisierung.
Nacharbeit je Veranstaltung (Platz 4 von 6): 95,3 min · 95-%-Intervall 90,8–99,5 min
Schwächster Wert: 98,9 min · Median (6 Anbieter): 92,4 min · Bester Wert: 82,6 min
Geschätzte Nacharbeit bis zur Zielfassung je Veranstaltung, bei durchschnittlich 35,5 Minuten Aufnahme. Nicht enthalten ist das einmalige Abspielen der Aufnahme mit den Untertiteln, das auch von Hand erstellte Untertitel brauchen. Gemeint ist die Nachbearbeitung der Untertiteldatei, die nach der Übertragung für die Aufzeichnung bleibt. Auf eine Stunde Aufnahme gerechnet sind das 161,3 Minuten.
Zeitversatz (Median) (Platz 1 von 6): 1,1 s · Niedriger ist besser
Schwächster Wert: 2,1 s · Median (6 Anbieter): 1,3 s · Bester Wert: 1,1 s
Median des absoluten Abstands zwischen „Wortende im Ton beim Publikum“ und „Erste Anzeige des Wortes in endgültiger Form“. Platz und Vergleichswerte nur unter Diensten derselben Messstrecke.
So setzt sich der ScribeIndex-Score zusammen
| Teilwert | Punkte | Gewicht | Beitrag |
|---|---|---|---|
| Inhaltsqualität | 65,6 | 75 % | 49,2 |
| Korrekturaufwand | 41,6 | 20 % | 8,3 |
| Abschlussquote | 100,0 | 5 % | 5,0 |
| ScribeIndex-Score | 100 % | 62,5 |
Die Qualitätsformel besteht zu 50 % aus der Erkennung (100 minus WER) mit 91,8 Punkten, zu 30 % aus rechtzeitiger Anzeige mit 91,3 Punkten und zu 20 % aus stabiler Anzeige mit 82,0 Punkten. Sie ergibt 89,67 von 100, also 10,33 Punkte weniger als ein fehlerfreies Ergebnis. Bei 30 Punkten Abstand fällt die Inhaltsqualität auf null, hier liegt sie deshalb bei 65,6 von 100 Punkten.
Die Beiträge entstehen aus ungerundeten Teilwerten. Deshalb kann die Summe der angezeigten Werte um 0,1 vom Score abweichen. Bewertungsmodell 2.2. Formel und Skalierung
Testbedingungen
- Korpus: Deutsche Live-Untertitel
- Fälle: 30 Szenarien × 2 Durchläufe
- Abgeschlossen: 60 von 60 Läufen
- Testweg: Live-Übertragung
- Bewertete Ausgabe: Live-Untertitel
- Getestete Version: SyncWords Events, Browser-Widget mit Speechmatics, Stand 2. Quartal 2026
- Protokoll und Zeitraum: Version 1.0, getestet im 2. Quartal 2026
Alle Kennzahlen
SyncWords erreicht im Test „Live-Untertitel“ 62,5 von 100 Punkten. Wortfehlerrate (WER) 8,2 % (95-%-Konfidenzintervall 7,6–8,9 %). Getestet wurden 30 Szenarien mit je 2 Durchläufen, 60 von 60 Läufen wurden abgeschlossen. Korpus de-live-untertitel-v1, Protokoll 1.0, getestet im 2. Quartal 2026.
| Kennzahl | Wert | Zählung und Bedeutung | 95-%-Intervall |
|---|---|---|---|
| ScribeIndex-Score | 62,5 / 100 | Gewichteter Gesamtwert aus Inhaltsqualität, Nacharbeit und Abschlussquote, Bewertungsmodell 2.2. | 60,9–64,2 |
| Wortfehlerrate (WER) | 8,2 % | 24.660 Wortfehler von 299.308 Referenzwörtern. | 7,6–8,9 |
| Nacharbeit je Veranstaltung | 95,3 min | Erläuterung weiter oben. | 90,8–99,5 |
| Zeitversatz (Median) | 1,1 s | Erläuterung weiter oben. | – |
| Zeichenfehlerrate · CER | 3,3 % | 64.268 Zeichenabweichungen von 1.938.614 Referenzzeichen. Zeichenabweichungen pro Referenzzeichen nach NFC-Normalisierung, einheitlicher Groß- und Kleinschreibung, entfernten Satzzeichen und zu einem Leerzeichen zusammengefasstem Leerraum. Leerzeichen zählen als Zeichen. | 3,1–3,6 |
| Rechtzeitig angezeigte Wörter | 91,3 % | 273.224 rechtzeitig angezeigte Wörter von 299.308 Referenzwörtern. Referenzwörter, deren endgültige Form höchstens 3 Sekunden vor oder nach dem Wortende im Ton beim Publikum erstmals angezeigt wird, pro Referenzwort. Fehlende und falsch erkannte Wörter zählen als nicht rechtzeitig. | 90,3–92,2 (Wilson mit Designeffekt) |
| Stabil angezeigte Wörter | 82,0 % | 245.428 stabil angezeigte Wörter von 299.308 Referenzwörtern. Referenzwörter, die ab ihrer ersten Anzeige unverändert in endgültiger Form stehen, pro Referenzwort. Vorher anders angezeigte, später umgeschriebene oder entfernte sowie fehlende und falsch erkannte Wörter zählen als nicht stabil. | 80,5–83,4 (Wilson mit Designeffekt) |
| Mittlere Übertragungsverzögerung | keine | n = 299.308 Wörter, alle ohne Verzögerung. Mittlere Zeit vom Wortende im Eingangston bis zum Wortende im Ton beim Publikum. Gewichtet wird je Referenzwort. Bei unverzögerter Audioausgabe beträgt sie null. | – |
| Zeitversatz (95. Perzentil) | 2,2 s | Bei 95 % der korrekt erkannten Wörter betrug der absolute Zeitversatz höchstens diesen Wert. Verglichen werden „Wortende im Ton beim Publikum“ und „Erste Anzeige des Wortes in endgültiger Form“. | – |
| Abschlussquote | 100,0 % | 60 von 60 gestarteten Läufen abgeschlossen. Anteil der Läufe mit verwertbarem Ergebnis. | – |
Zeitversatz
- Median (p50): 1,1 s
- 95. Perzentil (p95): 2,2 s
- Testweg: Live-Übertragung
- Messstrecke: Absoluter Abstand zwischen „Wortende im Ton beim Publikum“ und „Erste Anzeige des Wortes in endgültiger Form“
Über alle korrekt erkannten Wörter der abgeschlossenen Läufe, Audio in Echtzeit zugespielt. p95 ist der Zeitversatz, den 95 % dieser Wörter nicht überschreiten, gemessen als absoluter Abstand zum Wortende im Ton beim Publikum. Median und p95 beschreiben die Verteilung der Messwerte und sind kein Konfidenzintervall.
Geschätzte Nacharbeit
- Je Veranstaltung: 95,3 min (Ø 35,5 min Aufnahme)
- Je Stunde Aufnahme: 161,29 min
- 95-%-Intervall je Stunde: 153,72–168,46 min
- Geschätzte Nacharbeit gesamt: 5.717,94 min
- Audiodauer aller Ausgaben: 35 h 27 min (35,451 h)
- Ausgaben: 60, alle abgeschlossenen Läufe
Geschätzt aus den gezählten Fehlern aller abgeschlossenen Ausgaben, mit festen Zeiten je Korrekturschritt, die für alle Dienste gleich sind. Die Rate je Stunde ist die Nacharbeit gesamt ÷ Audiostunden und lässt sich aus den angezeigten Minuten und den Stunden in Klammern genau nachrechnen.
Wortvergleich
WER: Vergleichbar- Wortfehlerrate (WER): 8,2 % · 95-%-Intervall 7,6–8,9 %
- Ersetzungen (S): 12.542
- Auslassungen (D): 6.698
- Einfügungen (I): 5.420
- Referenzwörter (N): 299.308
- Zeichenfehlerrate (CER): 3,3 %
WER wird aus dem endgültigen Stand der angezeigten Untertitel gegen die normalisierte Referenz berechnet. Zwischenstände der Anzeige gehen in die Stabilität ein, nicht in die WER. WER = (S + D + I) ÷ N × 100, gezählt über alle abgeschlossenen Läufe.
Fehler nach Typ
| Fehlertyp | Anzahl | Anteil am häufigsten Fehlertyp | Bedeutung |
|---|---|---|---|
| Ersetzungen | 12.542 (4,2 % der Referenzwörter) | 100 % | Ein Referenzwort wird durch ein anderes Wort ersetzt (S), etwa „heute“ statt „morgen“. |
| Auslassungen | 6.698 (2,2 % der Referenzwörter) | 53 % | Ein Referenzwort fehlt in der Ausgabe (D), etwa „seit“ statt „seit gestern“. Gezählt werden Wörter, nicht fehlende Inhalte. |
| Einfügungen | 5.420 (1,8 % der Referenzwörter) | 43 % | Die Ausgabe enthält ein Wort, das in der Referenz nicht vorkommt (I). |
Gezählt werden Wörter nach Normalisierung über alle abgeschlossenen Läufe.
Abgeschlossene Läufe: 60 von 60 (100,0 %)
Alle 60 Läufe lieferten ein auswertbares Ergebnis.
Konfiguration im Test
- Produktversion: SyncWords Events, Browser-Widget mit Speechmatics, Stand 2. Quartal 2026
- Modellversion: Vom Anbieter nicht ausgewiesen
- Sprache: Deutsch (de-DE)
- Vorlage: Keine Dokumentvorlage, nur der Arbeitsauftrag
- Arbeitsauftrag: Live-Untertitel, Version 1.0
- Eigener Wortschatz: Nicht hinterlegt
- Übersetzung: Nein
- Einträge im eigenen Wortschatz: 0
- Menschliche Live-Korrektur: Nein
- Erfassung: Ereignisprotokoll der angezeigten Untertitel
- Audioeingang: Echtzeit-RTMP mit virtuellem Audioeingang
- Anzeige: Deutsche Originaluntertitel im Events-Browser-Widget
- Spracherkennungsdienst: Speechmatics
- Füllwortfilter: Nein
- Schimpfwortfilter: Nein
- Sprechertrennung: Ja
- Empfindlichkeit der Zeichensetzung: 0,5 (mittlere Stufe)
- Zusätzliche Videoverzögerung in Sekunden: 0
- Transkript speichern: Ja
- Exportformat: WebVTT
- Auswertung: Version 1.0
- Textnormalisierung: de-subtitle-wer, Version 1.0
- Bewertungsrubrik: Keine, da kein Faktenabgleich
Korpus, Ausschlüsse und Prüfsummen
Dreißig deutschsprachige Aufnahmen aus Vortrag, Webinar, Podiumsdiskussion und Pressekonferenz, in Echtzeit eingespielt. Bewertet werden der endgültige Untertiteltext, nachträgliche Änderungen der Anzeige und der Zeitversatz je Wort zum Ton beim Publikum. Die Übertragungsverzögerung wird separat erfasst und zählt nicht. Übersetzung gehört nicht dazu.
- Korpus: Deutsche Live-Untertitel (
de-live-untertitel-v1, Version 1.0) - Szenarien: 30 aufgenommen, 30 ausgewertet, je 2 Läufe
- Audio gesamt: 17 h 44 min, je Fall 8 min bis 1 h 29 min (Median 29 min)
- Sprecher je Fall: 1 bis 5
- Format: Vortrag (10), Webinar (8), Podiumsdiskussion (7), Pressekonferenz (5)
- Aussprache: Standarddeutsch (16), Regional (Deutschland) (6), Österreichisch (4), Schweizerisch gefärbt (4)
- Einspielung: Echtzeit über virtuellen Audioeingang (30)
- Audioformate: PCM 24 Bit (WAV), 48 kHz, mono
- Aufbereitung:
- Einspielung der Aufnahme in Echtzeit als Audioquelle der Live-Sitzung über einen virtuellen Audioeingang mit −20 dBFS RMS
- Referenz: Version 1.0: 149.654 Wörter, 969.307 Zeichen
- Annotierte Einheiten: Referenzwörter mit Zeitgrenze 149.654
- Referenzprüfung: Der Wortlaut entsteht als Sprechvorlage vor der Aufnahme, die Zeitgrenzen erst an der Aufnahme. Nach der Aufnahme wird die Vorlage automatisch mit dem Gesprochenen abgeglichen, abweichende Stellen werden an der Aufnahme geprüft und die Referenz vor den Anbieterdurchläufen eingefroren.
- Zeitraum der Testreihe: 2. und 3. Quartal 2026 für alle Dienste, Korpus vor dem ersten Lauf eingefroren
- SHA-256 Manifest:
82acc1a0ff5f8f62ab47815747ab1a96383fb705780eb9597c1d3c51a6b044aa - SHA-256 Referenz:
12f7090789671983e962a05c01cb6abb03849e6536dc9afde6de15f11454f43b
Unsicherheit und Berechnung
- Verfahren: Gepaarter Cluster-Bootstrap, Konfidenzniveau 95 %, Perzentilintervall. Anteile aus Zählern erhalten ein Wilson-Intervall mit Designeffekt
- Cluster: 30 Cluster, Einheit Szenario. Alle Läufe eines Szenarios bleiben im selben Cluster.
- Wiederholungen: 2.000 Bootstrap-Stichproben, Seed 3355895643
- Aggregation: Zähler aller abgeschlossenen Läufe werden gepoolt. Kennzahlen entstehen aus Summen, nicht aus Mittelwerten je Fall.
- Gepaarte Stichprobe: Alle Anbieter dieses Korpus nutzen dieselben Bootstrap-Stichproben. SHA-256 der Ziehungsliste:
0f26e97bd0626cfdf95f5dee7a05315be56e31165714a518399326f79379755a - Wörter: WER = (12.542 + 6.698 + 5.420) ÷ 299.308 × 100 = 8,2 %
- ScribeIndex-Score: 95-%-Intervall 60,9–64,2 Punkte, je Bootstrap-Stichprobe aus dem vollständigen Score neu berechnet. Wie das Score-Intervall entsteht
Rangliste Live-Untertitel
Sortiert nach ScribeIndex-Score.
- Platz 1: AI-Media im Test 71,0
- Platz 2: Clevercast im Test 64,1
- Platz 3: SyncWords 62,5
- Platz 4: Interprefy im Test 60,9
- Platz 5: Wordly im Test 53,4
- Platz 6: Maestra im Test 48,0
Ohne Testergebnis
Untertitel für Videodateien
SyncWords wurde mit Live-Untertiteln getestet. Ein Ergebnis für Untertitel aus Videodateien über VOD Express steht noch aus.
Daten zu dieser Seite
Maschinenlesbar mit Zählern, Nennern und Intervallen. Frei nutzbar mit Quellenangabe. Zitierweise und Lizenz
So testet ScribeIndex
Jede Testreihe nutzt einen festen deutschsprachigen Korpus mit geprüften, vor dem ersten Lauf eingefrorenen Referenzen. Bewertet wird automatisch nach festen Regeln, unklare Zuordnungen werden anhand der Aufnahme fachlich geprüft. Jeder Fall läuft zwei- bis dreimal. Die Konfidenzintervalle von Score, Hauptkennzahl und weiteren Fehlerraten stammen aus einem gepaarten Bootstrap über die Szenarien, sodass alle Anbieter auf denselben Stichproben verglichen werden. Anteile aus Zählern erhalten ein Wilson-Intervall mit Designeffekt. Der ScribeIndex-Score ist ein gewichteter Gesamtwert aus Inhaltsqualität, Nacharbeit und Abschlussquote. Die Rangliste ordnet nach diesem Punktwert.
Für das Score-Intervall wird in jeder Bootstrap-Stichprobe der vollständige Score mit den Gewichten des Bewertungsmodells neu berechnet. Weil alle Dienste einer Testreihe dieselben Stichproben nutzen, lassen sich auch Scoredifferenzen gepaart auswerten.