Maestra im Test
Ergebnisse aus 2 Testreihen auf deutschsprachigen Korpora. Alle Anbieter einer Aufgabe bearbeiten dieselben Fälle nach demselben Protokoll.
Ergebnisse im Überblick
Im 3. Quartal 2026 erreicht Maestra im ScribeIndex-Test „Untertitel für Videodateien“ 55,7 von 100 Punkten (Platz 2 von 8, 40 Videos, je 3 Durchläufe) und im Test „Live-Untertitel“ 48,0 Punkte (Platz 6 von 6, 30 Veranstaltungen, je 2 Durchläufe).
| Aufgabe | ScribeIndex-Score | Platz | Hauptkennzahl | Nacharbeit | Getestet |
|---|---|---|---|---|---|
| Untertitel für Videodateien | Mittelfeld: 55,7 | 2 von 8 | Wortfehlerrate: 7,0 % | 33,0 min je Video | 3. Quartal 2026 |
| Live-Untertitel | Schlussgruppe: 48,0 | 6 von 6 | Wortfehlerrate: 9,5 % | 98,9 min je Veranstaltung | 3. Quartal 2026 |
Maestra: Untertitel für Videodateien
In der Testreihe „Untertitel für Videodateien“ liegt Maestra mit 55,7 Punkten auf Platz 2 von 8, 3,8 Punkte hinter AI-Media (59,5) und 2,9 Punkte vor HappyScribe (52,8). Hinter AI-Media bleibt Maestra vor allem beim Anteil zeitlich passender Untertitel (77,0 % gegenüber 80,0 %) und beim Anteil lesbarer Untertitel (80,4 % gegenüber 81,9 %) zurück. Vor HappyScribe liegt Maestra vor allem beim Anteil lesbarer Untertitel (80,4 % gegenüber 77,5 %) und bei der Wortfehlerrate (7,0 % gegenüber 7,5 %). Zum einmaligen Abspielen mit Untertiteln kommen nach Schätzung von ScribeIndex im Schnitt 33,0 Minuten Nacharbeit je Video hinzu, bei einer durchschnittlichen Aufnahmedauer von 20,2 Minuten.
Einordnung: Mittelfeld · ScribeIndex-Score 55,7 / 100 · 95-%-Intervall 53,2–57,6 · Platz 2 von 8
Im obersten Fünftel der Punktespanne des Feldes, aber 3,8 Punkte hinter dem besten Dienst. Die Spitzengruppe erlaubt höchstens zwei Punkte Abstand.
Wortfehlerrate (WER) (Platz 2 von 8): 7,0 % · 95-%-Intervall 6,6–7,5 % · 20.269 Wortfehler von 287.784 Referenzwörtern
Schwächster Wert: 9,8 % · Median (8 Anbieter): 7,9 % · Bester Wert: 6,9 %
Ersetzungen, Auslassungen und Einfügungen je Referenzwort nach Normalisierung.
Nacharbeit je Video (Platz 2 von 8): 33,0 min · 95-%-Intervall 30,8–35,4 min
Schwächster Wert: 43,7 min · Median (8 Anbieter): 37,3 min · Bester Wert: 30,8 min
Geschätzte Nacharbeit bis zur Zielfassung je Video, bei durchschnittlich 20,2 Minuten Aufnahme. Nicht enthalten ist das einmalige Abspielen der Aufnahme mit den Untertiteln, das auch von Hand erstellte Untertitel brauchen. Auf eine Stunde Aufnahme gerechnet sind das 98,0 Minuten.
Verarbeitungszeit (Median) (Platz 3 von 8): 258 s · Niedriger ist besser
Schwächster Wert: 1.211 s · Median (8 Anbieter): 261 s · Bester Wert: 174 s
Gemessen von „Uploadstart“ bis „Vollständiger Export verfügbar“. Platz und Vergleichswerte nur unter Diensten derselben Messstrecke.
Mittlere Zeitabweichung (Platz 2 von 8): 267 ms · 95-%-Intervall 257–279 ms · n = 29.313, Mittelwert
Schwächster Wert: 320 ms · Median (8 Anbieter): 287 ms · Bester Wert: 238 ms
Mittel der absoluten Abweichung der äußeren Start- und Endgrenzen von den zugeordneten Referenzsegmenten, gewichtet je Referenzsegment.
So setzt sich der ScribeIndex-Score zusammen
| Teilwert | Punkte | Gewicht | Beitrag |
|---|---|---|---|
| Inhaltsqualität | 52,1 | 75 % | 39,1 |
| Korrekturaufwand | 57,9 | 20 % | 11,6 |
| Abschlussquote | 100,0 | 5 % | 5,0 |
| ScribeIndex-Score | 100 % | 55,7 |
Die Qualitätsformel besteht zu 50 % aus der Erkennung (100 minus WER) mit 93,0 Punkten, zu 30 % aus dem Timing mit 77,0 Punkten und zu 20 % aus der Lesbarkeit mit 80,4 Punkten. Sie ergibt 85,64 von 100, also 14,36 Punkte weniger als ein fehlerfreies Ergebnis. Bei 30 Punkten Abstand fällt die Inhaltsqualität auf null, hier liegt sie deshalb bei 52,1 von 100 Punkten.
Die Beiträge entstehen aus ungerundeten Teilwerten. Deshalb kann die Summe der angezeigten Werte um 0,1 vom Score abweichen. Bewertungsmodell 2.2. Formel und Skalierung
Testbedingungen
- Korpus: Deutsche Videountertitel
- Fälle: 40 Szenarien × 3 Durchläufe
- Abgeschlossen: 120 von 120 Läufen
- Testweg: Datei-Upload
- Bewertete Ausgabe: Video-Untertitel
- Getestete Version: Web-App, deutsche Videountertitel, Stand 3. Quartal 2026
- Protokoll und Zeitraum: Version 1.0, getestet im 3. Quartal 2026
Alle Kennzahlen
Maestra erreicht im Test „Untertitel für Videodateien“ 55,7 von 100 Punkten. Wortfehlerrate (WER) 7,0 % (95-%-Konfidenzintervall 6,6–7,5 %). Getestet wurden 40 Szenarien mit je 3 Durchläufen, 120 von 120 Läufen wurden abgeschlossen. Korpus de-untertitel-v1, Protokoll 1.0, getestet im 3. Quartal 2026.
| Kennzahl | Wert | Zählung und Bedeutung | 95-%-Intervall |
|---|---|---|---|
| ScribeIndex-Score | 55,7 / 100 | Gewichteter Gesamtwert aus Inhaltsqualität, Nacharbeit und Abschlussquote, Bewertungsmodell 2.2. | 53,2–57,6 |
| Wortfehlerrate (WER) | 7,0 % | 20.269 Wortfehler von 287.784 Referenzwörtern. | 6,6–7,5 |
| Nacharbeit je Video | 33,0 min | Erläuterung weiter oben. | 30,8–35,4 |
| Verarbeitungszeit (Median) | 258 s | Erläuterung weiter oben. | – |
| Zeichenfehlerrate · CER | 2,8 % | 52.256 Zeichenabweichungen von 1.860.348 Referenzzeichen. Zeichenabweichungen pro Referenzzeichen nach NFC-Normalisierung, einheitlicher Groß- und Kleinschreibung, entfernten Satzzeichen und zu einem Leerzeichen zusammengefasstem Leerraum. Leerzeichen zählen als Zeichen. | 2,6–3,0 |
| Zeitlich passende Untertitel | 77,0 % | 22.666 zeitlich passend untertitelte Referenzsegmente von 29.448 Referenzsegmenten. Vollständig abgedeckte Referenzsegmente, bei denen der früheste Beginn und das späteste Ende der zugeordneten Untertitel jeweils höchstens 200 ms von der Referenz abweichen. Fehlende Segmente zählen als nicht passend. | 74,2–79,5 (Wilson mit Designeffekt) |
| Lesbare Untertitel | 80,4 % | 23.663 lesbar untertitelte Referenzsegmente von 29.448 Referenzsegmenten. Vollständig abgedeckte Referenzsegmente mit höchstens 2 Zeilen, 42 Zeichen je Zeile und 17 Zeichen je Sekunde in allen zugeordneten Ausgabesegmenten. | 78,3–82,3 (Wilson mit Designeffekt) |
| Mittlere Zeitabweichung | 267 ms | n = 29.313, Mittelwert. Erläuterung weiter oben. | 257–279 |
| Mittlere Lesegeschwindigkeit | 14,4 Zeichen/s | n = 29.892, Mittelwert. Sichtbare Zeichen einschließlich Leerzeichen innerhalb der Zeilen, geteilt durch die jeweilige Standzeit, je ausgegebenem Untertitel, gemittelt über alle ausgegebenen Untertitel. | 13,8–15,0 |
| Mittlere Zeilenlänge | 34,3 Zeichen/Zeile | n = 54.936, Mittelwert. Mittlere Zahl sichtbarer Unicode-Zeichen je ausgegebener Untertitelzeile. | 33,9–34,7 |
| Verarbeitungszeit (95. Perzentil) | 616 s | 95 % der erfolgreichen Läufe waren nach dieser Zeit fertig. | – |
| Abschlussquote | 100,0 % | 120 von 120 gestarteten Läufen abgeschlossen. Anteil der Läufe mit verwertbarem Ergebnis. | – |
Verarbeitungszeit
- Median (p50): 258 s
- 95. Perzentil (p95): 616 s
- Testweg: Datei-Upload
- Messstrecke: Von „Uploadstart“ bis „Vollständiger Export verfügbar“
Über alle abgeschlossenen Läufe. p95 zeigt die Dauer, die 95 % der Läufe nicht überschreiten. Median und p95 beschreiben die Verteilung der Messwerte und sind kein Konfidenzintervall.
Geschätzte Nacharbeit
- Je Video: 33,0 min (Ø 20,2 min Aufnahme)
- Je Stunde Aufnahme: 98,05 min
- 95-%-Intervall je Stunde: 91,57–104,98 min
- Geschätzte Nacharbeit gesamt: 3.963,14 min
- Audiodauer aller Ausgaben: 40 h 25 min (40,420 h)
- Ausgaben: 120, alle abgeschlossenen Läufe
Geschätzt aus den gezählten Fehlern aller abgeschlossenen Ausgaben, mit festen Zeiten je Korrekturschritt, die für alle Dienste gleich sind. Die Rate je Stunde ist die Nacharbeit gesamt ÷ Audiostunden und lässt sich aus den angezeigten Minuten und den Stunden in Klammern genau nachrechnen.
Wortvergleich
WER: Vergleichbar- Wortfehlerrate (WER): 7,0 % · 95-%-Intervall 6,6–7,5 %
- Ersetzungen (S): 11.365
- Auslassungen (D): 5.410
- Einfügungen (I): 3.494
- Referenzwörter (N): 287.784
- Zeichenfehlerrate (CER): 2,8 %
WER wird aus dem zusammengeführten Text der exportierten SRT- oder WebVTT-Datei gegen die normalisierte Referenz berechnet. Zeitmarken und Segmentnummern zählen nicht. WER = (S + D + I) ÷ N × 100, gezählt über alle abgeschlossenen Läufe.
Fehler nach Typ
| Fehlertyp | Anzahl | Anteil am häufigsten Fehlertyp | Bedeutung |
|---|---|---|---|
| Ersetzungen | 11.365 (3,9 % der Referenzwörter) | 100 % | Ein Referenzwort wird durch ein anderes Wort ersetzt (S), etwa „heute“ statt „morgen“. |
| Auslassungen | 5.410 (1,9 % der Referenzwörter) | 48 % | Ein Referenzwort fehlt in der Ausgabe (D), etwa „seit“ statt „seit gestern“. Gezählt werden Wörter, nicht fehlende Inhalte. |
| Einfügungen | 3.494 (1,2 % der Referenzwörter) | 31 % | Die Ausgabe enthält ein Wort, das in der Referenz nicht vorkommt (I). |
Gezählt werden Wörter nach Normalisierung über alle abgeschlossenen Läufe.
Abgeschlossene Läufe: 120 von 120 (100,0 %)
Alle 120 Läufe lieferten ein auswertbares Ergebnis.
Konfiguration im Test
- Produktversion: Web-App, deutsche Videountertitel, Stand 3. Quartal 2026
- Modellversion: Vom Anbieter nicht ausgewiesen
- Sprache: Deutsch (de-DE)
- Vorlage: Keine Dokumentvorlage, nur der Arbeitsauftrag
- Arbeitsauftrag: Untertitel für Videodateien, Version 1.0
- Eigener Wortschatz: Nicht hinterlegt
- Audioeingang: MP4-Dateiupload
- Übersetzung: Nein
- Exportformat: SRT
- Manuelle Nachkorrektur: Nein
- Auswertung: Version 1.0
- Textnormalisierung: de-subtitle-wer, Version 1.0
- Bewertungsrubrik: Keine, da kein Faktenabgleich
Korpus, Ausschlüsse und Prüfsummen
Vierzig deutschsprachige Videos aus Interview, Tutorial, Vortrag und Reportage. Bewertet werden die exportierten SRT- oder WebVTT-Dateien nach Sprachinhalt, zeitlicher Abdeckung und Lesbarkeit, ohne Übersetzung.
- Korpus: Deutsche Videountertitel (
de-untertitel-v1, Version 1.0) - Szenarien: 40 aufgenommen, 40 ausgewertet, je 3 Läufe
- Audio gesamt: 13 h 28 min, je Fall 3 min bis 59 min (Median 18 min)
- Sprecher je Fall: 1 bis 2
- Videoart: Interview (12), Tutorial (12), Vortrag (10), Reportage (6)
- Aussprache: Standarddeutsch (20), Regional (Deutschland) (8), Österreichisch (6), Schweizerisch gefärbt (6)
- Bildformat: 1920 × 1080, 25 Bilder/s (40)
- Audioformate: H.264 MP4, AAC-LC, 48 kHz, 2 Kanäle
- Referenz: Version 1.0: 95.928 Wörter, 620.116 Zeichen
- Annotierte Einheiten: Referenz-Untertitelsegmente 9.816
- Referenzprüfung: Der Wortlaut entsteht als Sprechvorlage vor der Aufnahme, die Zeitgrenzen erst an der Aufnahme. Nach der Aufnahme wird die Vorlage automatisch mit dem Gesprochenen abgeglichen, abweichende Stellen werden an der Aufnahme geprüft und die Referenz vor den Anbieterdurchläufen eingefroren.
- Zeitraum der Testreihe: 2. und 3. Quartal 2026 für alle Dienste, Korpus vor dem ersten Lauf eingefroren
- SHA-256 Manifest:
a35c5ee698d61b365b97c82257195aeb72edbd47eab9da548608335d37899941 - SHA-256 Referenz:
6ec7f71b2989eb19791326360ba6649b7c8c020915a316303d8763a8f58b2d45
Unsicherheit und Berechnung
- Verfahren: Gepaarter Cluster-Bootstrap, Konfidenzniveau 95 %, Perzentilintervall. Anteile aus Zählern erhalten ein Wilson-Intervall mit Designeffekt
- Cluster: 40 Cluster, Einheit Szenario. Alle Läufe eines Szenarios bleiben im selben Cluster.
- Wiederholungen: 2.000 Bootstrap-Stichproben, Seed 1605653364
- Aggregation: Zähler aller abgeschlossenen Läufe werden gepoolt. Kennzahlen entstehen aus Summen, nicht aus Mittelwerten je Fall.
- Gepaarte Stichprobe: Alle Anbieter dieses Korpus nutzen dieselben Bootstrap-Stichproben. SHA-256 der Ziehungsliste:
22c41832e7f4054b58c4911e41b1b961649b0482f9f511ad72891e68023bafbc - Wörter: WER = (11.365 + 5.410 + 3.494) ÷ 287.784 × 100 = 7,0 %
- ScribeIndex-Score: 95-%-Intervall 53,2–57,6 Punkte, je Bootstrap-Stichprobe aus dem vollständigen Score neu berechnet. Wie das Score-Intervall entsteht
Rangliste Untertitel für Videodateien
Sortiert nach ScribeIndex-Score.
- Platz 1: AI-Media im Test 59,5
- Platz 2: Maestra 55,7
- Platz 3: HappyScribe im Test 52,8
- Platz 4: Amberscript im Test 48,8
- Platz 5: Sonix im Test 47,4
- Platz 6: Clevercast im Test 45,2
- Platz 7: VEED im Test 43,9
- Platz 8: Kapwing im Test 38,9
Maestra: Live-Untertitel
In der Testreihe „Live-Untertitel“ liegt Maestra mit 48,0 Punkten auf Platz 6 von 6, 23,0 Punkte hinter AI-Media (71,0) und 5,4 Punkte hinter Wordly (53,4). Hinter AI-Media bleibt Maestra vor allem beim Anteil rechtzeitig angezeigter Wörter (77,2 % gegenüber 92,3 %) und beim Anteil stabil angezeigter Wörter (78,2 % gegenüber 92,3 %) zurück. Hinter Wordly bleibt Maestra vor allem beim Anteil rechtzeitig angezeigter Wörter (77,2 % gegenüber 80,5 %) und beim Anteil stabil angezeigter Wörter (78,2 % gegenüber 82,3 %) zurück. Die Wortfehlerrate liegt bei 9,5 % (95-%-Konfidenzintervall 8,9–10,2 %). Zum einmaligen Abspielen mit Untertiteln kommen nach Schätzung von ScribeIndex im Schnitt 98,9 Minuten Nacharbeit je Veranstaltung hinzu, bei einer durchschnittlichen Aufnahmedauer von 35,5 Minuten.
Einordnung: Schlussgruppe · ScribeIndex-Score 48,0 / 100 · 95-%-Intervall 46,3–49,9 · Platz 6 von 6
13,7 Punkte unter dem Median des Feldes und im untersten Fünftel der Punktespanne.
Wortfehlerrate (WER) (Platz 5 von 6): 9,5 % · 95-%-Intervall 8,9–10,2 % · 28.527 Wortfehler von 299.308 Referenzwörtern
Schwächster Wert: 9,8 % · Median (6 Anbieter): 8,5 % · Bester Wert: 7,4 %
Nacharbeit je Veranstaltung (Platz 6 von 6): 98,9 min · 95-%-Intervall 93,7–103,6 min
Schwächster Wert: 98,9 min · Median (6 Anbieter): 92,4 min · Bester Wert: 82,6 min
Geschätzte Nacharbeit bis zur Zielfassung je Veranstaltung, bei durchschnittlich 35,5 Minuten Aufnahme. Gemeint ist die Nachbearbeitung der Untertiteldatei, die nach der Übertragung für die Aufzeichnung bleibt. Auf eine Stunde Aufnahme gerechnet sind das 167,3 Minuten.
Zeitversatz (Median) (Platz 6 von 6): 2,1 s · Niedriger ist besser
Schwächster Wert: 2,1 s · Median (6 Anbieter): 1,3 s · Bester Wert: 1,1 s
Median des absoluten Abstands zwischen „Wortende im Ton beim Publikum“ und „Erste Anzeige des Wortes in endgültiger Form“.
So setzt sich der ScribeIndex-Score zusammen
| Teilwert | Punkte | Gewicht | Beitrag |
|---|---|---|---|
| Inhaltsqualität | 46,8 | 75 % | 35,1 |
| Korrekturaufwand | 39,4 | 20 % | 7,9 |
| Abschlussquote | 100,0 | 5 % | 5,0 |
| ScribeIndex-Score | 100 % | 48,0 |
Die Qualitätsformel besteht zu 50 % aus der Erkennung (100 minus WER) mit 90,5 Punkten, zu 30 % aus rechtzeitiger Anzeige mit 77,2 Punkten und zu 20 % aus stabiler Anzeige mit 78,2 Punkten. Sie ergibt 84,05 von 100, also 15,95 Punkte weniger als ein fehlerfreies Ergebnis. Bei 30 Punkten Abstand fällt die Inhaltsqualität auf null, hier liegt sie deshalb bei 46,8 von 100 Punkten.
Die Beiträge entstehen aus ungerundeten Teilwerten. Deshalb kann die Summe der angezeigten Werte um 0,1 vom Score abweichen. Bewertungsmodell 2.2. Formel und Skalierung
Testbedingungen
- Korpus: Deutsche Live-Untertitel
- Fälle: 30 Szenarien × 2 Durchläufe
- Abgeschlossen: 60 von 60 Läufen
- Testweg: Live-Übertragung
- Bewertete Ausgabe: Live-Untertitel
- Getestete Version: Maestra Live im Browser, Stand 3. Quartal 2026
- Protokoll und Zeitraum: Version 1.0, getestet im 3. Quartal 2026
Alle Kennzahlen
Maestra erreicht im Test „Live-Untertitel“ 48,0 von 100 Punkten. Wortfehlerrate (WER) 9,5 % (95-%-Konfidenzintervall 8,9–10,2 %). Getestet wurden 30 Szenarien mit je 2 Durchläufen, 60 von 60 Läufen wurden abgeschlossen. Korpus de-live-untertitel-v1, Protokoll 1.0, getestet im 3. Quartal 2026.
| Kennzahl | Wert | Zählung und Bedeutung | 95-%-Intervall |
|---|---|---|---|
| ScribeIndex-Score | 48,0 / 100 | Gewichteter Gesamtwert aus Inhaltsqualität, Nacharbeit und Abschlussquote, Bewertungsmodell 2.2. | 46,3–49,9 |
| Wortfehlerrate (WER) | 9,5 % | 28.527 Wortfehler von 299.308 Referenzwörtern. | 8,9–10,2 |
| Nacharbeit je Veranstaltung | 98,9 min | Erläuterung weiter oben. | 93,7–103,6 |
| Zeitversatz (Median) | 2,1 s | Erläuterung weiter oben. | – |
| Zeichenfehlerrate · CER | 3,9 % | 75.728 Zeichenabweichungen von 1.938.614 Referenzzeichen. | 3,6–4,2 |
| Rechtzeitig angezeigte Wörter | 77,2 % | 231.128 rechtzeitig angezeigte Wörter von 299.308 Referenzwörtern. Referenzwörter, deren endgültige Form höchstens 3 Sekunden vor oder nach dem Wortende im Ton beim Publikum erstmals angezeigt wird, pro Referenzwort. Fehlende und falsch erkannte Wörter zählen als nicht rechtzeitig. | 75,8–78,6 (Wilson mit Designeffekt) |
| Stabil angezeigte Wörter | 78,2 % | 234.162 stabil angezeigte Wörter von 299.308 Referenzwörtern. Referenzwörter, die ab ihrer ersten Anzeige unverändert in endgültiger Form stehen, pro Referenzwort. Vorher anders angezeigte, später umgeschriebene oder entfernte sowie fehlende und falsch erkannte Wörter zählen als nicht stabil. | 76,7–79,7 (Wilson mit Designeffekt) |
| Mittlere Übertragungsverzögerung | keine | n = 299.308 Wörter, alle ohne Verzögerung. Mittlere Zeit vom Wortende im Eingangston bis zum Wortende im Ton beim Publikum. Gewichtet wird je Referenzwort. Bei unverzögerter Audioausgabe beträgt sie null. | – |
| Zeitversatz (95. Perzentil) | 3,7 s | Bei 95 % der korrekt erkannten Wörter betrug der absolute Zeitversatz höchstens diesen Wert. Verglichen werden „Wortende im Ton beim Publikum“ und „Erste Anzeige des Wortes in endgültiger Form“. | – |
| Abschlussquote | 100,0 % | 60 von 60 gestarteten Läufen abgeschlossen. | – |
Zeitversatz
- Median (p50): 2,1 s
- 95. Perzentil (p95): 3,7 s
- Testweg: Live-Übertragung
- Messstrecke: Absoluter Abstand zwischen „Wortende im Ton beim Publikum“ und „Erste Anzeige des Wortes in endgültiger Form“
Über alle korrekt erkannten Wörter der abgeschlossenen Läufe, Audio in Echtzeit zugespielt. p95 ist der Zeitversatz, den 95 % dieser Wörter nicht überschreiten, gemessen als absoluter Abstand zum Wortende im Ton beim Publikum. Median und p95 beschreiben die Verteilung der Messwerte und sind kein Konfidenzintervall.
Geschätzte Nacharbeit
- Je Veranstaltung: 98,9 min (Ø 35,5 min Aufnahme)
- Je Stunde Aufnahme: 167,31 min
- 95-%-Intervall je Stunde: 158,55–175,33 min
- Geschätzte Nacharbeit gesamt: 5.931,32 min
- Audiodauer aller Ausgaben: 35 h 27 min (35,451 h)
- Ausgaben: 60, alle abgeschlossenen Läufe
Geschätzt aus den gezählten Fehlern aller abgeschlossenen Ausgaben, mit festen Zeiten je Korrekturschritt, die für alle Dienste gleich sind. Die Rate je Stunde ist die Nacharbeit gesamt ÷ Audiostunden und lässt sich aus den angezeigten Minuten und den Stunden in Klammern genau nachrechnen.
Wortvergleich
WER: Vergleichbar- Wortfehlerrate (WER): 9,5 % · 95-%-Intervall 8,9–10,2 %
- Ersetzungen (S): 15.228
- Auslassungen (D): 8.358
- Einfügungen (I): 4.941
- Referenzwörter (N): 299.308
- Zeichenfehlerrate (CER): 3,9 %
WER wird aus dem endgültigen Stand der angezeigten Untertitel gegen die normalisierte Referenz berechnet. Zwischenstände der Anzeige gehen in die Stabilität ein, nicht in die WER. WER = (S + D + I) ÷ N × 100, gezählt über alle abgeschlossenen Läufe.
Fehler nach Typ
| Fehlertyp | Anzahl | Anteil am häufigsten Fehlertyp | Bedeutung |
|---|---|---|---|
| Ersetzungen | 15.228 (5,1 % der Referenzwörter) | 100 % | Ein Referenzwort wird durch ein anderes Wort ersetzt (S), etwa „heute“ statt „morgen“. |
| Auslassungen | 8.358 (2,8 % der Referenzwörter) | 55 % | Ein Referenzwort fehlt in der Ausgabe (D), etwa „seit“ statt „seit gestern“. Gezählt werden Wörter, nicht fehlende Inhalte. |
| Einfügungen | 4.941 (1,7 % der Referenzwörter) | 32 % | Die Ausgabe enthält ein Wort, das in der Referenz nicht vorkommt (I). |
Gezählt werden Wörter nach Normalisierung über alle abgeschlossenen Läufe.
Abgeschlossene Läufe: 60 von 60 (100,0 %)
Alle 60 Läufe lieferten ein auswertbares Ergebnis.
Konfiguration im Test
- Produktversion: Maestra Live im Browser, Stand 3. Quartal 2026
- Modellversion: Vom Anbieter nicht ausgewiesen
- Sprache: Deutsch (de-DE)
- Vorlage: Keine Dokumentvorlage, nur der Arbeitsauftrag
- Arbeitsauftrag: Live-Untertitel, Version 1.0
- Eigener Wortschatz: Nicht hinterlegt
- Audioeingang: Virtueller Mikrofoneingang als Mikrofon der Live-Sitzung
- Übersetzung: Nein
- Anzeige: Untertitelansicht im Browser
- Spracherkennungsmodell: Erweiterte Erkennung des Anbieters eingeschaltet
- Sitzung speichern: Ja
- Quelle für die Nacharbeit: Gespeichertes Originaltranskript und protokollierte Anzeigeereignisse
- Erfassung: Ereignisprotokoll der angezeigten Untertitel
- Auswertung: Version 1.0
- Textnormalisierung: de-subtitle-wer, Version 1.0
- Bewertungsrubrik: Keine, da kein Faktenabgleich
Korpus, Ausschlüsse und Prüfsummen
Dreißig deutschsprachige Aufnahmen aus Vortrag, Webinar, Podiumsdiskussion und Pressekonferenz, in Echtzeit eingespielt. Bewertet werden der endgültige Untertiteltext, nachträgliche Änderungen der Anzeige und der Zeitversatz je Wort zum Ton beim Publikum. Die Übertragungsverzögerung wird separat erfasst und zählt nicht. Übersetzung gehört nicht dazu.
- Korpus: Deutsche Live-Untertitel (
de-live-untertitel-v1, Version 1.0) - Szenarien: 30 aufgenommen, 30 ausgewertet, je 2 Läufe
- Audio gesamt: 17 h 44 min, je Fall 8 min bis 1 h 29 min (Median 29 min)
- Sprecher je Fall: 1 bis 5
- Format: Vortrag (10), Webinar (8), Podiumsdiskussion (7), Pressekonferenz (5)
- Aussprache: Standarddeutsch (16), Regional (Deutschland) (6), Österreichisch (4), Schweizerisch gefärbt (4)
- Einspielung: Echtzeit über virtuellen Audioeingang (30)
- Audioformate: PCM 24 Bit (WAV), 48 kHz, mono
- Aufbereitung:
- Einspielung der Aufnahme in Echtzeit als Audioquelle der Live-Sitzung über einen virtuellen Audioeingang mit −20 dBFS RMS
- Referenz: Version 1.0: 149.654 Wörter, 969.307 Zeichen
- Annotierte Einheiten: Referenzwörter mit Zeitgrenze 149.654
- Referenzprüfung: Der Wortlaut entsteht als Sprechvorlage vor der Aufnahme, die Zeitgrenzen erst an der Aufnahme. Nach der Aufnahme wird die Vorlage automatisch mit dem Gesprochenen abgeglichen, abweichende Stellen werden an der Aufnahme geprüft und die Referenz vor den Anbieterdurchläufen eingefroren.
- Zeitraum der Testreihe: 2. und 3. Quartal 2026 für alle Dienste, Korpus vor dem ersten Lauf eingefroren
- SHA-256 Manifest:
82acc1a0ff5f8f62ab47815747ab1a96383fb705780eb9597c1d3c51a6b044aa - SHA-256 Referenz:
12f7090789671983e962a05c01cb6abb03849e6536dc9afde6de15f11454f43b
Unsicherheit und Berechnung
- Verfahren: Gepaarter Cluster-Bootstrap, Konfidenzniveau 95 %, Perzentilintervall. Anteile aus Zählern erhalten ein Wilson-Intervall mit Designeffekt
- Cluster: 30 Cluster, Einheit Szenario. Alle Läufe eines Szenarios bleiben im selben Cluster.
- Wiederholungen: 2.000 Bootstrap-Stichproben, Seed 3355895643
- Aggregation: Zähler aller abgeschlossenen Läufe werden gepoolt. Kennzahlen entstehen aus Summen, nicht aus Mittelwerten je Fall.
- Gepaarte Stichprobe: Alle Anbieter dieses Korpus nutzen dieselben Bootstrap-Stichproben. SHA-256 der Ziehungsliste:
0f26e97bd0626cfdf95f5dee7a05315be56e31165714a518399326f79379755a - Wörter: WER = (15.228 + 8.358 + 4.941) ÷ 299.308 × 100 = 9,5 %
- ScribeIndex-Score: 95-%-Intervall 46,3–49,9 Punkte, je Bootstrap-Stichprobe aus dem vollständigen Score neu berechnet. Wie das Score-Intervall entsteht
Rangliste Live-Untertitel
Sortiert nach ScribeIndex-Score.
- Platz 1: AI-Media im Test 71,0
- Platz 2: Clevercast im Test 64,1
- Platz 3: SyncWords im Test 62,5
- Platz 4: Interprefy im Test 60,9
- Platz 5: Wordly im Test 53,4
- Platz 6: Maestra 48,0
Daten zu dieser Seite
Maschinenlesbar mit Zählern, Nennern und Intervallen. Frei nutzbar mit Quellenangabe. Zitierweise und Lizenz
So testet ScribeIndex
Jede Testreihe nutzt einen festen deutschsprachigen Korpus mit geprüften, vor dem ersten Lauf eingefrorenen Referenzen. Bewertet wird automatisch nach festen Regeln, unklare Zuordnungen werden anhand der Aufnahme fachlich geprüft. Jeder Fall läuft zwei- bis dreimal. Die Konfidenzintervalle von Score, Hauptkennzahl und weiteren Fehlerraten stammen aus einem gepaarten Bootstrap über die Szenarien, sodass alle Anbieter auf denselben Stichproben verglichen werden. Anteile aus Zählern erhalten ein Wilson-Intervall mit Designeffekt. Der ScribeIndex-Score ist ein gewichteter Gesamtwert aus Inhaltsqualität, Nacharbeit und Abschlussquote. Die Rangliste ordnet nach diesem Punktwert.
Für das Score-Intervall wird in jeder Bootstrap-Stichprobe der vollständige Score mit den Gewichten des Bewertungsmodells neu berechnet. Weil alle Dienste einer Testreihe dieselben Stichproben nutzen, lassen sich auch Scoredifferenzen gepaart auswerten.