HappyScribe im Test
Ergebnisse aus 3 Testreihen auf deutschsprachigen Korpora. Alle Anbieter einer Aufgabe bearbeiten dieselben Fälle nach demselben Protokoll.
Ergebnisse im Überblick
ScribeIndex hat HappyScribe im 3. Quartal 2026 in drei Testreihen getestet. Im Test „Audiotranskription“ erreicht HappyScribe 66,1 von 100 Punkten (Platz 2 von 9, 44 Aufnahmen, je 3 Durchläufe). Im Test „Meeting-Scribes“ erreicht HappyScribe 58,9 von 100 Punkten (Platz 5 von 14, 38 Besprechungen, je 2 Durchläufe). Im Test „Untertitel für Videodateien“ erreicht HappyScribe 52,8 von 100 Punkten (Platz 3 von 8, 40 Videos, je 3 Durchläufe).
| Aufgabe | ScribeIndex-Score | Platz | Hauptkennzahl | Nacharbeit | Getestet |
|---|---|---|---|---|---|
| Audiotranskription | Mittelfeld: 66,1 | 2 von 9 | Wortfehlerrate: 8,9 % | 48,4 min je Aufnahme | 3. Quartal 2026 |
| Meeting-Scribes | Mittelfeld: 58,9 | 5 von 14 | Fakten-F1: 87,3 % | 8,8 min je Besprechung | 3. Quartal 2026 |
| Untertitel für Videodateien | Mittelfeld: 52,8 | 3 von 8 | Wortfehlerrate: 7,5 % | 35,0 min je Video | 3. Quartal 2026 |
HappyScribe: Audiotranskription
In der Testreihe „Audiotranskription“ liegt HappyScribe mit 66,1 Punkten auf Platz 2 von 9, 9,5 Punkte hinter MAXQDA Transcription (75,6) und 1,7 Punkte vor Amberscript (64,4). Hinter MAXQDA Transcription bleibt HappyScribe vor allem bei der Wortfehlerrate (8,9 % gegenüber 6,5 %) und bei der Sprecherzuordnung (DER, 12,8 % gegenüber 8,6 %) zurück. Vor Amberscript liegt HappyScribe vor allem bei der Sprecherzuordnung (DER, 12,8 % gegenüber 13,8 %) und bei der Wortfehlerrate (8,9 % gegenüber 9,2 %). Zum einmaligen Abhören kommen nach Schätzung von ScribeIndex im Schnitt 48,4 Minuten Nacharbeit je Aufnahme hinzu, bei einer durchschnittlichen Aufnahmedauer von 30,1 Minuten.
Einordnung: Mittelfeld · ScribeIndex-Score 66,1 / 100 · 95-%-Intervall 63,5–68,9 · Platz 2 von 9
9,5 Punkte hinter dem besten Dienst und 4,7 Punkte über dem Median des Feldes.
Wortfehlerrate (WER) (Platz 2 von 9): 8,9 % · 95-%-Intervall 8,2–9,6 % · 50.183 Wortfehler von 563.238 Referenzwörtern
Schwächster Wert: 11,9 % · Median (9 Anbieter): 9,8 % · Bester Wert: 6,5 %
Ersetzungen, Auslassungen und Einfügungen je Referenzwort nach Normalisierung.
Nacharbeit je Aufnahme (Platz 2 von 9): 48,4 min · 95-%-Intervall 44,5–51,9 min
Schwächster Wert: 61,5 min · Median (9 Anbieter): 51,9 min · Bester Wert: 36,2 min
Geschätzte Nacharbeit bis zur Zielfassung je Aufnahme, bei durchschnittlich 30,1 Minuten Aufnahme. Nicht enthalten ist das einmalige Abhören der Aufnahme, das auch ein von Hand getipptes Transkript braucht. Auf eine Stunde Aufnahme gerechnet sind das 96,3 Minuten.
Verarbeitungszeit (Median) (Platz 7 von 8): 566 s · Niedriger ist besser
Schwächster Wert: 1.443 s · Median (8 Anbieter): 400 s · Bester Wert: 292 s
Gemessen von „Uploadstart“ bis „Vollständiger Export verfügbar“. Platz und Vergleichswerte nur unter Diensten derselben Messstrecke.
So setzt sich der ScribeIndex-Score zusammen
| Teilwert | Punkte | Gewicht | Beitrag |
|---|---|---|---|
| Inhaltsqualität | 66,4 | 75 % | 49,8 |
| Korrekturaufwand | 56,2 | 20 % | 11,3 |
| Abschlussquote | 100,0 | 5 % | 5,0 |
| ScribeIndex-Score | 100 % | 66,1 |
Die Qualitätsformel besteht zu 70 % aus der Erkennung (100 minus WER) mit 91,1 Punkten und zu 30 % aus der Sprecherzuordnung (100 minus DER) mit 87,2 Punkten. Sie ergibt 89,93 von 100, also 10,07 Punkte weniger als ein fehlerfreies Ergebnis. Bei 30 Punkten Abstand fällt die Inhaltsqualität auf null, hier liegt sie deshalb bei 66,4 von 100 Punkten.
Die Beiträge entstehen aus ungerundeten Teilwerten. Deshalb kann die Summe der angezeigten Werte um 0,1 vom Score abweichen. Bewertungsmodell 2.2. Formel und Skalierung
Testbedingungen
- Korpus: Allgemeine deutschsprachige Audioaufnahmen
- Fälle: 44 Szenarien × 3 Durchläufe
- Abgeschlossen: 132 von 132 Läufen
- Testweg: Datei-Upload
- Bewertete Ausgabe: Wortnahes Transkript
- Getestete Version: Web-App, Stand 3. Quartal 2026
- Protokoll und Zeitraum: Version 1.0, getestet im 3. Quartal 2026
Alle Kennzahlen
HappyScribe erreicht im Test „Audiotranskription“ 66,1 von 100 Punkten. Wortfehlerrate (WER) 8,9 % (95-%-Konfidenzintervall 8,2–9,6 %). Getestet wurden 44 Szenarien mit je 3 Durchläufen, 132 von 132 Läufen wurden abgeschlossen. Korpus de-audio-v1, Protokoll 1.0, getestet im 3. Quartal 2026.
| Kennzahl | Wert | Zählung und Bedeutung | 95-%-Intervall |
|---|---|---|---|
| ScribeIndex-Score | 66,1 / 100 | Gewichteter Gesamtwert aus Inhaltsqualität, Nacharbeit und Abschlussquote, Bewertungsmodell 2.2. | 63,5–68,9 |
| Wortfehlerrate (WER) | 8,9 % | 50.183 Wortfehler von 563.238 Referenzwörtern. | 8,2–9,6 |
| Nacharbeit je Aufnahme | 48,4 min | Erläuterung weiter oben. | 44,5–51,9 |
| Verarbeitungszeit (Median) | 566 s | Erläuterung weiter oben. | – |
| Zeichenfehlerrate · CER | 3,7 % | 132.641 Zeichenabweichungen von 3.608.808 Referenzzeichen. Zeichenabweichungen pro Referenzzeichen nach NFC-Normalisierung, einheitlicher Groß- und Kleinschreibung, entfernten Satzzeichen und zu einem Leerzeichen zusammengefasstem Leerraum. Leerzeichen zählen als Zeichen. | 3,4–4,0 |
| Diarisierungsfehlerrate · DER | 12,8 % | 28.627,2 s nicht oder falsch zugeordnete Sprechzeit von 223.996 s Referenzsprechzeit. Verpasste Sprache, fälschlich erkannte Sprache und falsch zugeordnete Sprecherzeit pro Referenzsprechzeit. Toleranz 250 ms um Referenzgrenzen, überlappende Sprache eingeschlossen. Liefert ein Dienst Sprecherkennungen ohne eigene Zeitmarken, bestimmt ScribeIndex die Zeitmarken durch erzwungene Ausrichtung (Forced Alignment) des gelieferten Texts an der Aufnahme. Die DER berechnet ScribeIndex daraus wie bei allen anderen Diensten, mit verpasster und fälschlich erkannter Sprache und Fehlern an Segmentgrenzen. | 11,7–13,9 |
| DER ohne Toleranz | 17,2 % | 38.474,0 s nicht oder falsch zugeordnete Sprechzeit von 223.996 s Referenzsprechzeit. Diarisierungsfehlerrate wie DER, jedoch ohne Toleranzbereich um Referenzgrenzen. Die Differenz zur DER zeigt den Anteil der Fehler an Segmentgrenzen. | 15,7–18,6 |
| Verarbeitungszeit (95. Perzentil) | 1.665 s | 95 % der erfolgreichen Läufe waren nach dieser Zeit fertig. | – |
| Abschlussquote | 100,0 % | 132 von 132 gestarteten Läufen abgeschlossen. Anteil der Läufe mit verwertbarem Ergebnis. | – |
Verarbeitungszeit
- Median (p50): 566 s
- 95. Perzentil (p95): 1.665 s
- Testweg: Datei-Upload
- Messstrecke: Von „Uploadstart“ bis „Vollständiger Export verfügbar“
Über alle abgeschlossenen Läufe. p95 zeigt die Dauer, die 95 % der Läufe nicht überschreiten. Median und p95 beschreiben die Verteilung der Messwerte und sind kein Konfidenzintervall.
Geschätzte Nacharbeit
- Je Aufnahme: 48,4 min (Ø 30,1 min Aufnahme)
- Je Stunde Aufnahme: 96,31 min
- 95-%-Intervall je Stunde: 88,63–103,30 min
- Geschätzte Nacharbeit gesamt: 6.382,31 min
- Audiodauer aller Ausgaben: 66 h 16 min (66,267 h)
- Ausgaben: 132, alle abgeschlossenen Läufe
Geschätzt aus den gezählten Fehlern aller abgeschlossenen Ausgaben, mit festen Zeiten je Korrekturschritt, die für alle Dienste gleich sind. Die Rate je Stunde ist die Nacharbeit gesamt ÷ Audiostunden und lässt sich aus den angezeigten Minuten und den Stunden in Klammern genau nachrechnen.
Wortvergleich
WER: Vergleichbar- Wortfehlerrate (WER): 8,9 % · 95-%-Intervall 8,2–9,6 %
- Ersetzungen (S): 26.983
- Auslassungen (D): 15.684
- Einfügungen (I): 7.516
- Referenzwörter (N): 563.238
- Zeichenfehlerrate (CER): 3,7 %
WER wird aus der gelieferten wortnahen Transkriptausgabe gegen die normalisierte Referenz berechnet. WER = (S + D + I) ÷ N × 100, gezählt über alle abgeschlossenen Läufe.
Fehler nach Typ
| Fehlertyp | Anzahl | Anteil am häufigsten Fehlertyp | Bedeutung |
|---|---|---|---|
| Ersetzungen | 26.983 (4,8 % der Referenzwörter) | 100 % | Ein Referenzwort wird durch ein anderes Wort ersetzt (S), etwa „heute“ statt „morgen“. |
| Auslassungen | 15.684 (2,8 % der Referenzwörter) | 58 % | Ein Referenzwort fehlt in der Ausgabe (D), etwa „seit“ statt „seit gestern“. Gezählt werden Wörter, nicht fehlende Inhalte. |
| Einfügungen | 7.516 (1,3 % der Referenzwörter) | 28 % | Die Ausgabe enthält ein Wort, das in der Referenz nicht vorkommt (I). |
Gezählt werden Wörter nach Normalisierung über alle abgeschlossenen Läufe.
Abgeschlossene Läufe: 132 von 132 (100,0 %)
Alle 132 Läufe lieferten ein auswertbares Ergebnis.
Konfiguration im Test
- Produktversion: Web-App, Stand 3. Quartal 2026
- Modellversion: Vom Anbieter nicht ausgewiesen
- Sprache: Deutsch (de-DE)
- Vorlage: Keine Dokumentvorlage, nur der Arbeitsauftrag
- Arbeitsauftrag: Wortgetreues Transkript, Version 1.0
- Eigener Wortschatz: Nicht hinterlegt
- Audioeingang: Dateiupload im Browser
- Transkriptstil: Maschinelles Transkript ohne menschliche Nachbearbeitung
- Sprecherexport: Strukturierter JSON-Export
- Sprecherzahl: Automatisch
- Auswertung: Version 1.0
- Textnormalisierung: de-allg-wer, Version 1.0
- Bewertungsrubrik: Keine, da kein Faktenabgleich
Korpus, Ausschlüsse und Prüfsummen
Interviews, Vorträge mit Fragerunde, Gruppengespräche sowie Telefon- und Remoteaufnahmen mit zwei bis vier Personen, in Standardsprache und regionalen Varianten aus Deutschland, Österreich und der Schweiz.
- Korpus: Allgemeine deutschsprachige Audioaufnahmen (
de-audio-v1, Version 1.0) - Szenarien: 46 aufgenommen, 44 ausgewertet, je 3 Läufe
- Audio gesamt: 22 h 5 min, je Fall 6 min bis 1 h 28 min (Median 24 min)
- Sprecher je Fall: 2 bis 4
- Aufnahmeart: Interview (16), Vortrag mit Fragerunde (9), Gruppengespräch (8), Telefon oder Remote (11)
- Aussprache: Standarddeutsch (22), Regional (Deutschland) (9), Österreichisch (5), Schweizerisch gefärbt (4), Nicht muttersprachlich (4)
- Aufnahmequalität: Nahmikrofon, ruhig (17), Telefon- oder Konferenzqualität (11), Hintergrundlärm (8), Raumhall (8)
- Audioformate: FLAC, 48 kHz, mono · AAC-LC (M4A), 44,1 kHz, mono · Opus (WebM), 48 kHz, mono · PCM 24 Bit (WAV), 48 kHz, 2 Kanäle · G.711 A-law (WAV), 8 kHz, mono
- Referenz: Version 1.0: 187.746 Wörter, 1.202.936 Zeichen
- Annotierte Einheiten: Referenzsprechzeit 20 h 44 min
- Referenzprüfung: Wortlaut und Sprecherwechsel entstehen als Sprechvorlage vor der Aufnahme. Der automatische Abgleich mit dem Gesprochenen ergibt die zeitlichen Sprechersegmente. Unverständliche Stellen werden markiert und vom Wortvergleich ausgenommen.
- Zeitraum der Testreihe: 2. und 3. Quartal 2026 für alle Dienste, Korpus vor dem ersten Lauf eingefroren
- Ausgeschlossen:
audio-038: Eine mitwirkende Person widerrief die Einwilligung zur Nutzung der Aufnahme.audio-041: Referenz enthielt mehr als 5 % unverständliche Passagen.
- SHA-256 Manifest:
3bfaff5fa8338156ad4c6bef800ed2cec7c625802242a9f638e07991384aeffc - SHA-256 Referenz:
903e4e0cc118b16f9d63c460d4f5845b497a1f1d276c2c82b9a2294b542018b4
Unsicherheit und Berechnung
- Verfahren: Gepaarter Cluster-Bootstrap, Konfidenzniveau 95 %, Perzentilintervall
- Cluster: 44 Cluster, Einheit Szenario. Alle Läufe eines Szenarios bleiben im selben Cluster.
- Wiederholungen: 2.000 Bootstrap-Stichproben, Seed 1146018123
- Aggregation: Zähler aller abgeschlossenen Läufe werden gepoolt. Kennzahlen entstehen aus Summen, nicht aus Mittelwerten je Fall.
- Gepaarte Stichprobe: Alle Anbieter dieses Korpus nutzen dieselben Bootstrap-Stichproben. SHA-256 der Ziehungsliste:
f8a6a79fd7ce74ec952adb5978dd20f46986d1fd5dc8a1502862be03c2f8e886 - Wörter: WER = (26.983 + 15.684 + 7.516) ÷ 563.238 × 100 = 8,9 %
- ScribeIndex-Score: 95-%-Intervall 63,5–68,9 Punkte, je Bootstrap-Stichprobe aus dem vollständigen Score neu berechnet. Wie das Score-Intervall entsteht
Rangliste Audiotranskription
Sortiert nach ScribeIndex-Score.
- Platz 1: MAXQDA Transcription im Test 75,6
- Platz 2: HappyScribe 66,1
- Platz 3: Amberscript im Test 64,4
- Platz 4: noScribe im Test 61,9
- Platz 5: TurboScribe im Test 61,4
- Platz 6: Sonix im Test 61,2
- Platz 7: Trint im Test 59,5
- Platz 8: f4 im Test 58,3
- Platz 9: Notta im Test 55,6
HappyScribe: Meeting-Scribes
In der Testreihe „Meeting-Scribes“ liegt HappyScribe mit 58,9 Punkten auf Platz 5 von 14, 10,5 Punkte hinter Fathom (69,4) und 0,4 Punkte vor Read AI (58,5). Hinter Fathom bleibt HappyScribe vor allem beim Fakten-F1 (87,3 % gegenüber 90,5 %) und bei der Sprecherzuordnung (DER, 15,0 % gegenüber 10,9 %) zurück. Vor Read AI liegt HappyScribe vor allem beim Fakten-F1 (87,3 % gegenüber 85,8 %). Read AI liegt dafür bei der Sprecherzuordnung (DER, 11,0 % gegenüber 15,0 %) vorn. Das 95-%-Konfidenzintervall des Fakten-F1 reicht von 85,3 bis 89,1 %. Die Präzision liegt bei 89,2 %, der Recall bei 85,5 %. Zum einmaligen Durchlesen kommen nach Schätzung von ScribeIndex im Schnitt 8,8 Minuten Nacharbeit je Besprechung hinzu, bei einer durchschnittlichen Aufnahmedauer von 39,5 Minuten.
Einordnung: Mittelfeld · ScribeIndex-Score 58,9 / 100 · 95-%-Intervall 54,0–63,2 · Platz 5 von 14
10,5 Punkte hinter dem besten Dienst und 1,9 Punkte über dem Median des Feldes.
Fakten-F1 (Platz 5 von 14): 87,3 % · 95-%-Intervall 85,3–89,1 %
Schwächster Wert: 81,8 % · Median (14 Anbieter): 86,2 % · Bester Wert: 90,5 %
Harmonisches Mittel aus Faktenpräzision und Fakten-Recall gegenüber der annotierten Referenz.
Nacharbeit je Besprechung (Platz 7 von 14): 8,8 min · 95-%-Intervall 8,0–9,9 min
Schwächster Wert: 12,5 min · Median (14 Anbieter): 9,3 min · Bester Wert: 6,7 min
Geschätzte Nacharbeit bis zur Zielfassung je Besprechung, bei durchschnittlich 39,5 Minuten Aufnahme. Nicht enthalten ist das einmalige Durchlesen, das auch ein von Hand getipptes Dokument braucht. Auf eine Stunde Aufnahme gerechnet sind das 13,4 Minuten.
Verarbeitungszeit (Median) (Platz 9 von 14): 271 s · Niedriger ist besser
Schwächster Wert: 751 s · Median (14 Anbieter): 196 s · Bester Wert: 54,1 s
Gemessen von „Ende der Gesprächserfassung“ bis „Vollständiges Protokoll verfügbar“.
So setzt sich der ScribeIndex-Score zusammen
| Teilwert | Punkte | Gewicht | Beitrag |
|---|---|---|---|
| Inhaltsqualität | 55,5 | 75 % | 41,6 |
| Korrekturaufwand | 61,7 | 20 % | 12,3 |
| Abschlussquote | 98,7 | 5 % | 5,0 |
| ScribeIndex-Score | 100 % | 58,9 |
Die Qualitätsformel besteht zu 70 % aus dem Fakten-F1 mit 87,3 Punkten und zu 30 % aus der Sprecherzuordnung (100 minus DER) mit 85,0 Punkten. Sie ergibt 86,64 von 100, also 13,36 Punkte weniger als ein fehlerfreies Ergebnis. Bei 30 Punkten Abstand fällt die Inhaltsqualität auf null, hier liegt sie deshalb bei 55,5 von 100 Punkten.
Die Beiträge entstehen aus ungerundeten Teilwerten. Deshalb kann die Summe der angezeigten Werte um 0,1 vom Score abweichen. Bewertungsmodell 2.2. Formel und Skalierung
Testbedingungen
- Korpus: Besprechungen und Gesprächsprotokolle
- Fälle: 38 Szenarien × 2 Durchläufe
- Abgeschlossen: 75 von 76 Läufen
- Testweg: Live-Gespräch
- Bewertete Ausgabe: Zusammenfassung einer Besprechung
- Getestete Version: Web-App mit Meeting-Bot, Stand 3. Quartal 2026
- Protokoll und Zeitraum: Version 1.0, getestet im 3. Quartal 2026
Alle Kennzahlen
HappyScribe erreicht im Test „Meeting-Scribes“ 58,9 von 100 Punkten. Fakten-F1 87,3 % (95-%-Konfidenzintervall 85,3–89,1 %). Getestet wurden 38 Szenarien mit je 2 Durchläufen, 75 von 76 Läufen wurden abgeschlossen. Korpus de-meeting-v1, Protokoll 1.0, getestet im 3. Quartal 2026.
| Kennzahl | Wert | Zählung und Bedeutung | 95-%-Intervall |
|---|---|---|---|
| ScribeIndex-Score | 58,9 / 100 | Gewichteter Gesamtwert aus Inhaltsqualität, Nacharbeit und Abschlussquote, Bewertungsmodell 2.2. | 54,0–63,2 |
| Fakten-F1 | 87,3 % | Erläuterung weiter oben. | 85,3–89,1 |
| Nacharbeit je Besprechung | 8,8 min | Erläuterung weiter oben. | 8,0–9,9 |
| Verarbeitungszeit (Median) | 271 s | Erläuterung weiter oben. | – |
| Transkript-WER | 10,2 % | 38.619 Wortfehler von 378.052 Referenzwörtern. Wortersetzungen, Auslassungen und Einfügungen im exportierten Transkript pro Referenzwort nach Normalisierungsprofil de-allg-wer. Bewertet das Transkript, nicht die Zusammenfassung. | 9,3–11,1 |
| Diarisierungsfehlerrate · DER | 15,0 % | 24.297,5 s nicht oder falsch zugeordnete Sprechzeit von 162.220 s Referenzsprechzeit. | 13,2–16,9 |
| DER ohne Toleranz | 20,0 % | 32.452,9 s nicht oder falsch zugeordnete Sprechzeit von 162.220 s Referenzsprechzeit. | 17,6–22,5 |
| Falsche oder unbelegte Aussagen | 5,6 % | 151 falsche oder unbelegte Aussagen von 2.697 ausgegebenen Aussagen. Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier. | 4,4–7,1 (Wilson mit Designeffekt) |
| Erfasste Beschlüsse | 76,9 % | 227 korrekt erfasste Beschlüsse von 295 Referenzbeschlüssen. Korrekt als Beschluss wiedergegebene Referenzbeschlüsse mit Geltungsbereich und Status pro Referenzbeschluss. Als Beschluss ausgegebene Vorschläge zählen nicht als Treffer. | 70,4–82,4 (Wilson mit Designeffekt) |
| Erkannte Aufgaben | 91,6 % | 412 erkannte Aufgaben von 450 Referenzaufgaben. Referenzaufgaben, die im Protokoll als Aufgabe erscheinen, pro Referenzaufgabe. Zuständigkeit und Frist werden getrennt bewertet. | 88,0–94,2 (Wilson mit Designeffekt) |
| Korrekte Zuständigkeiten | 79,0 % | 259 korrekte Zuständigkeiten von 328 Referenzaufgaben mit genannter Zuständigkeit. Korrekt wiedergegebene verantwortliche Personen pro Referenzaufgabe mit ausdrücklich genannter Zuständigkeit. Nicht erkannte Aufgaben zählen als Fehler. | 73,2–83,8 (Wilson mit Designeffekt) |
| Korrekte Fristen | 82,3 % | 191 korrekte Fristen von 232 Referenzaufgaben mit genannter Frist. Korrekt wiedergegebene Fristen pro Referenzaufgabe mit ausdrücklich genannter Frist. Nicht erkannte Aufgaben zählen als Fehler. | 75,6–87,5 (Wilson mit Designeffekt) |
| Vollständig korrekte Aufgaben | 73,8 % | 332 vollständig korrekte Aufgaben von 450 Referenzaufgaben. Aufgaben, deren Tätigkeit, Zuständigkeit und Frist vollständig korrekt wiedergegeben werden, pro Referenzaufgabe. Nicht genannte Zuständigkeiten oder Fristen müssen als nicht genannt erscheinen. | 68,7–78,3 (Wilson mit Designeffekt) |
| Faktenpräzision | 89,2 % | 2.407 korrekte relevante Fakten von 2.697 ausgegebenen Fakten. Korrekte relevante Fakten im Verhältnis zu allen deduplizierten ausgegebenen Fakten. | 86,9–91,4 |
| Fakten-Recall | 85,5 % | 2.407 korrekt erhaltene Fakten von 2.815 dokumentationsrelevanten Referenzfakten. Korrekt erhaltene Fakten im Verhältnis zu allen dokumentationsrelevanten Referenzfakten. | 83,2–87,6 |
| Verarbeitungszeit (95. Perzentil) | 483 s | Erläuterung weiter oben. | – |
| Abschlussquote | 98,7 % | 75 von 76 gestarteten Läufen abgeschlossen. | – |
Verarbeitungszeit
- Median (p50): 271 s
- 95. Perzentil (p95): 483 s
- Testweg: Live-Gespräch
- Messstrecke: Von „Ende der Gesprächserfassung“ bis „Vollständiges Protokoll verfügbar“
Über alle abgeschlossenen Läufe, Audio in Echtzeit zugespielt. p95 zeigt die Dauer, die 95 % der Läufe nicht überschreiten. Median und p95 beschreiben die Verteilung der Messwerte und sind kein Konfidenzintervall.
Geschätzte Nacharbeit
- Je Besprechung: 8,8 min (Ø 39,5 min Aufnahme)
- Je Stunde Aufnahme: 13,42 min
- 95-%-Intervall je Stunde: 12,11–15,02 min
- Geschätzte Nacharbeit gesamt: 662,25 min
- Audiodauer aller Ausgaben: 49 h 22 min (49,364 h)
- Ausgaben: 75, alle abgeschlossenen Läufe
Geschätzt aus den gezählten Fehlern aller abgeschlossenen Ausgaben, mit festen Zeiten je Korrekturschritt, die für alle Dienste gleich sind. Die Rate je Stunde ist die Nacharbeit gesamt ÷ Audiostunden und lässt sich aus den angezeigten Minuten und den Stunden in Klammern genau nachrechnen.
Fehler nach Typ
| Fehlertyp | Anzahl | Anteil am häufigsten Fehlertyp | Bedeutung |
|---|---|---|---|
| Nicht erfasste Referenzfakten | 408 (14,5 % der Referenzfakten) | 100 % | Eine erforderliche Angabe aus der Aufnahme fehlt oder ist verfälscht (FN), etwa eine nicht erfasste Aufgabe. Korrekte Umformulierungen zählen als Treffer. |
| Falsche oder unbelegte Aussagen | 151 (5,6 % der ausgegebenen Aussagen) | 37 % | Die Ausgabe enthält eine Angabe, die der Referenz widerspricht oder sich nicht auf die Aufnahme stützt (FP, inhaltlicher Fehler), etwa eine nie vereinbarte Frist. Eine verfälschte Referenzangabe zählt zugleich hier und als nicht erfasster Referenzfakt. |
| Zutreffende, aber nicht relevante Aussagen | 139 (5,2 % der ausgegebenen Aussagen) | 34 % | Die Angabe stimmt, gehört laut Rubrik aber nicht in das Dokument (FP, nicht relevant), etwa Smalltalk oder wiederholte Begrüßungen. Sie senkt die Präzision, ist aber kein inhaltlicher Fehler. |
Über alle abgeschlossenen Läufe ergab der Faktenabgleich 2.407 korrekt erhaltene Fakten (TP), 290 falsch positive Aussagen (FP), davon 151 falsch oder unbelegt und 139 zutreffend, aber nicht relevant, 408 nicht erfasste Referenzfakten (FN). Fakten-F1 = 2TP ÷ (2TP + FP + FN). Beide FP-Arten senken die Präzision, nur falsche oder unbelegte Aussagen gelten als inhaltlicher Fehler.
Bewertet werden das gelieferte Protokoll und die Sprecherzuordnung im exportierten Transkript. Die Transkript-WER gilt nur für dieses Transkript und zählt nicht zum ScribeIndex-Score.
Abgeschlossene Läufe: 75 von 76 (98,7 %)
| Szenario | Lauf | Grund |
|---|---|---|
meeting-027 | 1 | Kein Protokoll innerhalb des festgelegten Zeitlimits |
Abgebrochene Läufe zählen in keinem Nenner der Qualitätskennzahlen. Sie stehen nur im Nenner der Abschlussquote und senken so den ScribeIndex-Score. Abgebrochene Läufe wiederholt ScribeIndex nicht. Die Zeitlimits stehen in der Methodik unter Laufzeit, Ausfälle und Nacharbeit.
Konfiguration im Test
- Produktversion: Web-App mit Meeting-Bot, Stand 3. Quartal 2026
- Modellversion: Vom Anbieter nicht ausgewiesen
- Sprache: Deutsch (de-DE)
- Vorlage: ScribeIndex-Vorlage „Meeting-Protokoll“, Version 1.0
- Arbeitsauftrag: Meeting-Protokoll, Version 1.0
- Eigener Wortschatz: Nicht hinterlegt
- Erfassung: Meeting-Bot
- Transkriptsprache: Deutsch (de-DE)
- Auswertung: Version 1.0
- Textnormalisierung: de-allg-wer, Version 1.0
- Bewertungsrubrik: meeting-facts-v1, Version 1.0
Korpus, Ausschlüsse und Prüfsummen
Projektbesprechungen, Teamabstimmungen, Kundentermine, Interviews und Fachdiskussionen mit zwei bis acht Personen, als reine Videokonferenz oder als hybride Besprechung mit Teilnehmenden im Raum und aus der Ferne. Eingespielt wird über virtuelle Konferenzteilnehmende.
- Korpus: Besprechungen und Gesprächsprotokolle (
de-meeting-v1, Version 1.0) - Szenarien: 40 aufgenommen, 38 ausgewertet, je 2 Läufe
- Audio gesamt: 25 h 21 min, je Fall 13 min bis 1 h 27 min (Median 37 min)
- Sprecher je Fall: 2 bis 8
- Gesprächsart: Projektbesprechung (10), Teamabstimmung (9), Kundentermin (7), Interview (6), Fachdiskussion (6)
- Aufnahme: Videokonferenz (26), Hybrid (Raum und Remote) (12)
- Sprecherzahl: Fünf bis acht Personen (18), Drei bis vier Personen (11), Zwei Personen (9)
- Audioformate: PCM 24 Bit (WAV), 48 kHz, 2 Kanäle · Opus (WebM), 48 kHz, mono
- Aufbereitung:
- Einspielung über virtuelle Konferenzteilnehmende aus den getrennten ursprünglichen Sprecheraufnahmen. Hybride Raumsprecher bleiben gemeinsam auf einer unveränderten Raumspur. Aus der Korpusmischung werden keine Sprecher mit Hilfe der Referenz separiert.
- Referenz: Version 1.0: 194.653 Wörter, 1.279.564 Zeichen, 1.442 Referenzfakten
- Annotierte Einheiten: Referenzbeschlüsse 151 · Referenzaufgaben (Tätigkeit, Zuständigkeit, Frist) 228 · Aufgaben mit ausdrücklich genannter Zuständigkeit 166 · Aufgaben mit ausdrücklich genannter Frist 117 · Referenzsprechzeit 23 h 11 min
- Referenzprüfung: Fakten, Beschlüsse und Aufgaben mit Tätigkeit, Zuständigkeit und Frist werden mit der Gesprächsvorlage festgelegt. Sprechersegmente entstehen aus dem automatischen Abgleich von Aufnahme und Vorlage, unklare Stellen werden an der Aufnahme geprüft. Rubrik meeting-facts-v1, Version 1.0.
- Zeitraum der Testreihe: 2. und 3. Quartal 2026 für alle Dienste, Korpus vor dem ersten Lauf eingefroren
- Ausgeschlossen:
meeting-012: Sprecherreferenz wegen Übersprechen zweier Raummikrofone nicht belastbar.meeting-029: Teilnehmende widerriefen die Nutzung der Aufnahme.
- SHA-256 Manifest:
1a25115bb8a34e284f1d01d3860260a21cb8f5847004facb1596738bbac7ddab - SHA-256 Referenz:
eab8be0ab42fa45d7c98cb94b1a700dfc141ed5d7e96d67f4d9349c7d3a84d70
Unsicherheit und Berechnung
- Verfahren: Gepaarter Cluster-Bootstrap, Konfidenzniveau 95 %, Perzentilintervall. Anteile aus Zählern erhalten ein Wilson-Intervall mit Designeffekt
- Cluster: 38 Cluster, Einheit Szenario. Alle Läufe eines Szenarios bleiben im selben Cluster.
- Wiederholungen: 2.000 Bootstrap-Stichproben, Seed 4134088586
- Aggregation: Zähler aller abgeschlossenen Läufe werden gepoolt. Kennzahlen entstehen aus Summen, nicht aus Mittelwerten je Fall.
- Gepaarte Stichprobe: Alle Anbieter dieses Korpus nutzen dieselben Bootstrap-Stichproben. SHA-256 der Ziehungsliste:
3ee50ed01707c6c0c1902b3d172d67b6fe4b33360c81d07433d846f0fcbe3781 - Fakten: Präzision = TP ÷ (TP + FP) = 89,2 %. Recall = TP ÷ (TP + FN) = 85,5 %. F1 = 2TP ÷ (2TP + FP + FN) = 87,3 % (95-%-Intervall 85,3–89,1 %).
- ScribeIndex-Score: 95-%-Intervall 54,0–63,2 Punkte, je Bootstrap-Stichprobe aus dem vollständigen Score neu berechnet. Wie das Score-Intervall entsteht
Rangliste Meeting-Scribes
Sortiert nach ScribeIndex-Score.
- Platz 1: Fathom im Test 69,4
- Platz 2: Fireflies.ai im Test 61,5
- Platz 3: MeetGeek im Test 60,6
- Platz 4: Jamie im Test 60,2
- Platz 5: HappyScribe 58,9
- Platz 6: Read AI im Test 58,5
- Platz 7: Granola im Test 57,7
- Platz 8: Otter.ai im Test 56,3
- Platz 9: Plaud im Test 55,6
- Platz 10: tl;dv im Test 55,3
- Platz 11: Sally AI im Test 54,4
- Platz 12: Bluedot im Test 50,6
- Platz 13: Sembly AI im Test 48,6
- Platz 14: Notta im Test 46,7
HappyScribe: Untertitel für Videodateien
In der Testreihe „Untertitel für Videodateien“ liegt HappyScribe mit 52,8 Punkten auf Platz 3 von 8, 6,7 Punkte hinter AI-Media (59,5) und 4,0 Punkte vor Amberscript (48,8). Hinter AI-Media bleibt HappyScribe vor allem beim Anteil zeitlich passender Untertitel (76,5 % gegenüber 80,0 %) und beim Anteil lesbarer Untertitel (77,5 % gegenüber 81,9 %) zurück. Vor Amberscript liegt HappyScribe vor allem beim Anteil zeitlich passender Untertitel (76,5 % gegenüber 73,7 %) und beim Anteil lesbarer Untertitel (77,5 % gegenüber 75,9 %). Die Wortfehlerrate liegt bei 7,5 % (95-%-Konfidenzintervall 6,9–8,2 %). Zum einmaligen Abspielen mit Untertiteln kommen nach Schätzung von ScribeIndex im Schnitt 35,0 Minuten Nacharbeit je Video hinzu, bei einer durchschnittlichen Aufnahmedauer von 20,2 Minuten.
Einordnung: Mittelfeld · ScribeIndex-Score 52,8 / 100 · 95-%-Intervall 49,6–56,0 · Platz 3 von 8
6,7 Punkte hinter dem besten Dienst und 4,7 Punkte über dem Median des Feldes.
Wortfehlerrate (WER) (Platz 3 von 8): 7,5 % · 95-%-Intervall 6,9–8,2 % · 21.645 Wortfehler von 287.784 Referenzwörtern
Schwächster Wert: 9,8 % · Median (8 Anbieter): 7,9 % · Bester Wert: 6,9 %
Nacharbeit je Video (Platz 3 von 8): 35,0 min · 95-%-Intervall 31,8–38,3 min
Schwächster Wert: 43,7 min · Median (8 Anbieter): 37,3 min · Bester Wert: 30,8 min
Geschätzte Nacharbeit bis zur Zielfassung je Video, bei durchschnittlich 20,2 Minuten Aufnahme. Nicht enthalten ist das einmalige Abspielen der Aufnahme mit den Untertiteln, das auch von Hand erstellte Untertitel brauchen. Auf eine Stunde Aufnahme gerechnet sind das 103,9 Minuten.
Verarbeitungszeit (Median) (Platz 6 von 8): 407 s · Niedriger ist besser
Schwächster Wert: 1.211 s · Median (8 Anbieter): 261 s · Bester Wert: 174 s
Mittlere Zeitabweichung (Platz 3 von 8): 268 ms · 95-%-Intervall 257–279 ms · n = 29.277, Mittelwert
Schwächster Wert: 320 ms · Median (8 Anbieter): 287 ms · Bester Wert: 238 ms
Mittel der absoluten Abweichung der äußeren Start- und Endgrenzen von den zugeordneten Referenzsegmenten, gewichtet je Referenzsegment.
So setzt sich der ScribeIndex-Score zusammen
| Teilwert | Punkte | Gewicht | Beitrag |
|---|---|---|---|
| Inhaltsqualität | 49,0 | 75 % | 36,7 |
| Korrekturaufwand | 55,4 | 20 % | 11,1 |
| Abschlussquote | 100,0 | 5 % | 5,0 |
| ScribeIndex-Score | 100 % | 52,8 |
Die Qualitätsformel besteht zu 50 % aus der Erkennung (100 minus WER) mit 92,5 Punkten, zu 30 % aus dem Timing mit 76,5 Punkten und zu 20 % aus der Lesbarkeit mit 77,5 Punkten. Sie ergibt 84,70 von 100, also 15,30 Punkte weniger als ein fehlerfreies Ergebnis. Bei 30 Punkten Abstand fällt die Inhaltsqualität auf null, hier liegt sie deshalb bei 49,0 von 100 Punkten.
Die Beiträge entstehen aus ungerundeten Teilwerten. Deshalb kann die Summe der angezeigten Werte um 0,1 vom Score abweichen. Bewertungsmodell 2.2. Formel und Skalierung
Testbedingungen
- Korpus: Deutsche Videountertitel
- Fälle: 40 Szenarien × 3 Durchläufe
- Abgeschlossen: 120 von 120 Läufen
- Testweg: Datei-Upload
- Bewertete Ausgabe: Video-Untertitel
- Getestete Version: Web-App, deutsche Videountertitel, Stand 3. Quartal 2026
- Protokoll und Zeitraum: Version 1.0, getestet im 3. Quartal 2026
Alle Kennzahlen
HappyScribe erreicht im Test „Untertitel für Videodateien“ 52,8 von 100 Punkten. Wortfehlerrate (WER) 7,5 % (95-%-Konfidenzintervall 6,9–8,2 %). Getestet wurden 40 Szenarien mit je 3 Durchläufen, 120 von 120 Läufen wurden abgeschlossen. Korpus de-untertitel-v1, Protokoll 1.0, getestet im 3. Quartal 2026.
| Kennzahl | Wert | Zählung und Bedeutung | 95-%-Intervall |
|---|---|---|---|
| ScribeIndex-Score | 52,8 / 100 | Gewichteter Gesamtwert aus Inhaltsqualität, Nacharbeit und Abschlussquote, Bewertungsmodell 2.2. | 49,6–56,0 |
| Wortfehlerrate (WER) | 7,5 % | 21.645 Wortfehler von 287.784 Referenzwörtern. | 6,9–8,2 |
| Nacharbeit je Video | 35,0 min | Erläuterung weiter oben. | 31,8–38,3 |
| Verarbeitungszeit (Median) | 407 s | Erläuterung weiter oben. | – |
| Zeichenfehlerrate · CER | 3,1 % | 57.674 Zeichenabweichungen von 1.860.348 Referenzzeichen. | 2,8–3,4 |
| Zeitlich passende Untertitel | 76,5 % | 22.537 zeitlich passend untertitelte Referenzsegmente von 29.448 Referenzsegmenten. Vollständig abgedeckte Referenzsegmente, bei denen der früheste Beginn und das späteste Ende der zugeordneten Untertitel jeweils höchstens 200 ms von der Referenz abweichen. Fehlende Segmente zählen als nicht passend. | 73,8–79,1 (Wilson mit Designeffekt) |
| Lesbare Untertitel | 77,5 % | 22.817 lesbar untertitelte Referenzsegmente von 29.448 Referenzsegmenten. Vollständig abgedeckte Referenzsegmente mit höchstens 2 Zeilen, 42 Zeichen je Zeile und 17 Zeichen je Sekunde in allen zugeordneten Ausgabesegmenten. | 75,3–79,5 (Wilson mit Designeffekt) |
| Mittlere Zeitabweichung | 268 ms | n = 29.277, Mittelwert. Erläuterung weiter oben. | 257–279 |
| Mittlere Lesegeschwindigkeit | 14,2 Zeichen/s | n = 37.625, Mittelwert. Sichtbare Zeichen einschließlich Leerzeichen innerhalb der Zeilen, geteilt durch die jeweilige Standzeit, je ausgegebenem Untertitel, gemittelt über alle ausgegebenen Untertitel. | 13,6–14,8 |
| Mittlere Zeilenlänge | 29,6 Zeichen/Zeile | n = 63.264, Mittelwert. Mittlere Zahl sichtbarer Unicode-Zeichen je ausgegebener Untertitelzeile. | 29,3–30,0 |
| Verarbeitungszeit (95. Perzentil) | 1.187 s | Erläuterung weiter oben. | – |
| Abschlussquote | 100,0 % | 120 von 120 gestarteten Läufen abgeschlossen. | – |
Verarbeitungszeit
- Median (p50): 407 s
- 95. Perzentil (p95): 1.187 s
- Testweg: Datei-Upload
- Messstrecke: Von „Uploadstart“ bis „Vollständiger Export verfügbar“
Über alle abgeschlossenen Läufe. p95 zeigt die Dauer, die 95 % der Läufe nicht überschreiten. Median und p95 beschreiben die Verteilung der Messwerte und sind kein Konfidenzintervall.
Geschätzte Nacharbeit
- Je Video: 35,0 min (Ø 20,2 min Aufnahme)
- Je Stunde Aufnahme: 103,92 min
- 95-%-Intervall je Stunde: 94,45–113,62 min
- Geschätzte Nacharbeit gesamt: 4.200,33 min
- Audiodauer aller Ausgaben: 40 h 25 min (40,420 h)
- Ausgaben: 120, alle abgeschlossenen Läufe
Geschätzt aus den gezählten Fehlern aller abgeschlossenen Ausgaben, mit festen Zeiten je Korrekturschritt, die für alle Dienste gleich sind. Die Rate je Stunde ist die Nacharbeit gesamt ÷ Audiostunden und lässt sich aus den angezeigten Minuten und den Stunden in Klammern genau nachrechnen.
Wortvergleich
WER: Vergleichbar- Wortfehlerrate (WER): 7,5 % · 95-%-Intervall 6,9–8,2 %
- Ersetzungen (S): 11.661
- Auslassungen (D): 6.823
- Einfügungen (I): 3.161
- Referenzwörter (N): 287.784
- Zeichenfehlerrate (CER): 3,1 %
WER wird aus dem zusammengeführten Text der exportierten SRT- oder WebVTT-Datei gegen die normalisierte Referenz berechnet. Zeitmarken und Segmentnummern zählen nicht. WER = (S + D + I) ÷ N × 100, gezählt über alle abgeschlossenen Läufe.
Fehler nach Typ
| Fehlertyp | Anzahl | Anteil am häufigsten Fehlertyp | Bedeutung |
|---|---|---|---|
| Ersetzungen | 11.661 (4,1 % der Referenzwörter) | 100 % | Ein Referenzwort wird durch ein anderes Wort ersetzt (S), etwa „heute“ statt „morgen“. |
| Auslassungen | 6.823 (2,4 % der Referenzwörter) | 59 % | Ein Referenzwort fehlt in der Ausgabe (D), etwa „seit“ statt „seit gestern“. Gezählt werden Wörter, nicht fehlende Inhalte. |
| Einfügungen | 3.161 (1,1 % der Referenzwörter) | 27 % | Die Ausgabe enthält ein Wort, das in der Referenz nicht vorkommt (I). |
Gezählt werden Wörter nach Normalisierung über alle abgeschlossenen Läufe.
Abgeschlossene Läufe: 120 von 120 (100,0 %)
Alle 120 Läufe lieferten ein auswertbares Ergebnis.
Konfiguration im Test
- Produktversion: Web-App, deutsche Videountertitel, Stand 3. Quartal 2026
- Modellversion: Vom Anbieter nicht ausgewiesen
- Sprache: Deutsch (de-DE)
- Vorlage: Keine Dokumentvorlage, nur der Arbeitsauftrag
- Arbeitsauftrag: Untertitel für Videodateien, Version 1.0
- Eigener Wortschatz: Nicht hinterlegt
- Audioeingang: MP4-Dateiupload
- Übersetzung: Nein
- Exportformat: SRT
- Manuelle Nachkorrektur: Nein
- Auswertung: Version 1.0
- Textnormalisierung: de-subtitle-wer, Version 1.0
- Bewertungsrubrik: Keine, da kein Faktenabgleich
Korpus, Ausschlüsse und Prüfsummen
Vierzig deutschsprachige Videos aus Interview, Tutorial, Vortrag und Reportage. Bewertet werden die exportierten SRT- oder WebVTT-Dateien nach Sprachinhalt, zeitlicher Abdeckung und Lesbarkeit, ohne Übersetzung.
- Korpus: Deutsche Videountertitel (
de-untertitel-v1, Version 1.0) - Szenarien: 40 aufgenommen, 40 ausgewertet, je 3 Läufe
- Audio gesamt: 13 h 28 min, je Fall 3 min bis 59 min (Median 18 min)
- Sprecher je Fall: 1 bis 2
- Videoart: Interview (12), Tutorial (12), Vortrag (10), Reportage (6)
- Aussprache: Standarddeutsch (20), Regional (Deutschland) (8), Österreichisch (6), Schweizerisch gefärbt (6)
- Bildformat: 1920 × 1080, 25 Bilder/s (40)
- Audioformate: H.264 MP4, AAC-LC, 48 kHz, 2 Kanäle
- Referenz: Version 1.0: 95.928 Wörter, 620.116 Zeichen
- Annotierte Einheiten: Referenz-Untertitelsegmente 9.816
- Referenzprüfung: Der Wortlaut entsteht als Sprechvorlage vor der Aufnahme, die Zeitgrenzen erst an der Aufnahme. Nach der Aufnahme wird die Vorlage automatisch mit dem Gesprochenen abgeglichen, abweichende Stellen werden an der Aufnahme geprüft und die Referenz vor den Anbieterdurchläufen eingefroren.
- Zeitraum der Testreihe: 2. und 3. Quartal 2026 für alle Dienste, Korpus vor dem ersten Lauf eingefroren
- SHA-256 Manifest:
a35c5ee698d61b365b97c82257195aeb72edbd47eab9da548608335d37899941 - SHA-256 Referenz:
6ec7f71b2989eb19791326360ba6649b7c8c020915a316303d8763a8f58b2d45
Unsicherheit und Berechnung
- Verfahren: Gepaarter Cluster-Bootstrap, Konfidenzniveau 95 %, Perzentilintervall. Anteile aus Zählern erhalten ein Wilson-Intervall mit Designeffekt
- Cluster: 40 Cluster, Einheit Szenario. Alle Läufe eines Szenarios bleiben im selben Cluster.
- Wiederholungen: 2.000 Bootstrap-Stichproben, Seed 1605653364
- Aggregation: Zähler aller abgeschlossenen Läufe werden gepoolt. Kennzahlen entstehen aus Summen, nicht aus Mittelwerten je Fall.
- Gepaarte Stichprobe: Alle Anbieter dieses Korpus nutzen dieselben Bootstrap-Stichproben. SHA-256 der Ziehungsliste:
22c41832e7f4054b58c4911e41b1b961649b0482f9f511ad72891e68023bafbc - Wörter: WER = (11.661 + 6.823 + 3.161) ÷ 287.784 × 100 = 7,5 %
- ScribeIndex-Score: 95-%-Intervall 49,6–56,0 Punkte, je Bootstrap-Stichprobe aus dem vollständigen Score neu berechnet. Wie das Score-Intervall entsteht
Rangliste Untertitel für Videodateien
Sortiert nach ScribeIndex-Score.
- Platz 1: AI-Media im Test 59,5
- Platz 2: Maestra im Test 55,7
- Platz 3: HappyScribe 52,8
- Platz 4: Amberscript im Test 48,8
- Platz 5: Sonix im Test 47,4
- Platz 6: Clevercast im Test 45,2
- Platz 7: VEED im Test 43,9
- Platz 8: Kapwing im Test 38,9
Daten zu dieser Seite
Maschinenlesbar mit Zählern, Nennern und Intervallen. Frei nutzbar mit Quellenangabe. Zitierweise und Lizenz
So testet ScribeIndex
Jede Testreihe nutzt einen festen deutschsprachigen Korpus mit geprüften, vor dem ersten Lauf eingefrorenen Referenzen. Bewertet wird automatisch nach festen Regeln, unklare Zuordnungen werden anhand der Aufnahme fachlich geprüft. Jeder Fall läuft zwei- bis dreimal. Die Konfidenzintervalle von Score, Hauptkennzahl und weiteren Fehlerraten stammen aus einem gepaarten Bootstrap über die Szenarien, sodass alle Anbieter auf denselben Stichproben verglichen werden. Anteile aus Zählern erhalten ein Wilson-Intervall mit Designeffekt. Der ScribeIndex-Score ist ein gewichteter Gesamtwert aus Inhaltsqualität, Nacharbeit und Abschlussquote. Die Rangliste ordnet nach diesem Punktwert.
Für das Score-Intervall wird in jeder Bootstrap-Stichprobe der vollständige Score mit den Gewichten des Bewertungsmodells neu berechnet. Weil alle Dienste einer Testreihe dieselben Stichproben nutzen, lassen sich auch Scoredifferenzen gepaart auswerten.