f4 im Test
Ergebnisse aus einer Testreihe auf einem deutschsprachigen Korpus. Alle Anbieter einer Aufgabe bearbeiten dieselben Fälle nach demselben Protokoll.
Ergebnisse im Überblick
Im ScribeIndex-Test „Audiotranskription“ (2. Quartal 2026, 44 Aufnahmen, je 3 Durchläufe) erreicht f4 58,3 von 100 Punkten und liegt auf Platz 8 von 9.
| Aufgabe | ScribeIndex-Score | Platz | Hauptkennzahl | Nacharbeit | Getestet |
|---|---|---|---|---|---|
| Audiotranskription | Schlussgruppe: 58,3 | 8 von 9 | Wortfehlerrate: 11,3 % | 58,0 min je Aufnahme | 2. Quartal 2026 |
f4: Audiotranskription
In der Testreihe „Audiotranskription“ liegt f4 mit 58,3 Punkten auf Platz 8 von 9, 17,3 Punkte hinter MAXQDA Transcription (75,6) und 2,7 Punkte vor Notta (55,6). Hinter MAXQDA Transcription bleibt f4 vor allem bei der Wortfehlerrate (11,3 % gegenüber 6,5 %) und bei der Sprecherzuordnung (DER, 15,3 % gegenüber 8,6 %) zurück. Vor Notta liegt f4 vor allem bei der Sprecherzuordnung (DER, 15,3 % gegenüber 16,7 %) und bei der Wortfehlerrate (11,3 % gegenüber 11,9 %). Zum einmaligen Abhören kommen nach Schätzung von ScribeIndex im Schnitt 58,0 Minuten Nacharbeit je Aufnahme hinzu, bei einer durchschnittlichen Aufnahmedauer von 30,1 Minuten.
Einordnung: Schlussgruppe · ScribeIndex-Score 58,3 / 100 · 95-%-Intervall 54,2–62,2 · Platz 8 von 9
3,1 Punkte unter dem Median des Feldes und im untersten Fünftel der Punktespanne. Hinter Trint bleibt f4 vor allem bei der Wortfehlerrate (11,3 % gegenüber 10,8 %) zurück.
Wortfehlerrate (WER) (Platz 8 von 9): 11,3 % · 95-%-Intervall 10,2–12,4 % · 63.665 Wortfehler von 563.238 Referenzwörtern
Schwächster Wert: 11,9 % · Median (9 Anbieter): 9,8 % · Bester Wert: 6,5 %
Ersetzungen, Auslassungen und Einfügungen je Referenzwort nach Normalisierung.
Nacharbeit je Aufnahme (Platz 8 von 9): 58,0 min · 95-%-Intervall 52,9–63,1 min
Schwächster Wert: 61,5 min · Median (9 Anbieter): 51,9 min · Bester Wert: 36,2 min
Geschätzte Nacharbeit bis zur Zielfassung je Aufnahme, bei durchschnittlich 30,1 Minuten Aufnahme. Nicht enthalten ist das einmalige Abhören der Aufnahme, das auch ein von Hand getipptes Transkript braucht. Auf eine Stunde Aufnahme gerechnet sind das 115,5 Minuten.
Verarbeitungszeit (Median) (Platz 2 von 8): 348 s · Niedriger ist besser
Schwächster Wert: 1.443 s · Median (8 Anbieter): 400 s · Bester Wert: 292 s
Gemessen von „Uploadstart“ bis „Vollständiger Export verfügbar“. Platz und Vergleichswerte nur unter Diensten derselben Messstrecke.
So setzt sich der ScribeIndex-Score zusammen
| Teilwert | Punkte | Gewicht | Beitrag |
|---|---|---|---|
| Inhaltsqualität | 58,3 | 75 % | 43,8 |
| Korrekturaufwand | 47,5 | 20 % | 9,5 |
| Abschlussquote | 100,0 | 5 % | 5,0 |
| ScribeIndex-Score | 100 % | 58,3 |
Die Qualitätsformel besteht zu 70 % aus der Erkennung (100 minus WER) mit 88,7 Punkten und zu 30 % aus der Sprecherzuordnung (100 minus DER) mit 84,7 Punkten. Sie ergibt 87,50 von 100, also 12,50 Punkte weniger als ein fehlerfreies Ergebnis. Bei 30 Punkten Abstand fällt die Inhaltsqualität auf null, hier liegt sie deshalb bei 58,3 von 100 Punkten.
Die Beiträge entstehen aus ungerundeten Teilwerten. Deshalb kann die Summe der angezeigten Werte um 0,1 vom Score abweichen. Bewertungsmodell 2.2. Formel und Skalierung
Testbedingungen
- Korpus: Allgemeine deutschsprachige Audioaufnahmen
- Fälle: 44 Szenarien × 3 Durchläufe
- Abgeschlossen: 132 von 132 Läufen
- Testweg: Datei-Upload
- Bewertete Ausgabe: Wortnahes Transkript
- Getestete Version: Browseroberfläche für automatische Transkription, Stand 2. Quartal 2026
- Protokoll und Zeitraum: Version 1.0, getestet im 2. Quartal 2026
Alle Kennzahlen
f4 erreicht im Test „Audiotranskription“ 58,3 von 100 Punkten. Wortfehlerrate (WER) 11,3 % (95-%-Konfidenzintervall 10,2–12,4 %). Getestet wurden 44 Szenarien mit je 3 Durchläufen, 132 von 132 Läufen wurden abgeschlossen. Korpus de-audio-v1, Protokoll 1.0, getestet im 2. Quartal 2026.
| Kennzahl | Wert | Zählung und Bedeutung | 95-%-Intervall |
|---|---|---|---|
| ScribeIndex-Score | 58,3 / 100 | Gewichteter Gesamtwert aus Inhaltsqualität, Nacharbeit und Abschlussquote, Bewertungsmodell 2.2. | 54,2–62,2 |
| Wortfehlerrate (WER) | 11,3 % | 63.665 Wortfehler von 563.238 Referenzwörtern. | 10,2–12,4 |
| Nacharbeit je Aufnahme | 58,0 min | Erläuterung weiter oben. | 52,9–63,1 |
| Verarbeitungszeit (Median) | 348 s | Erläuterung weiter oben. | – |
| Zeichenfehlerrate · CER | 4,6 % | 167.376 Zeichenabweichungen von 3.608.808 Referenzzeichen. Zeichenabweichungen pro Referenzzeichen nach NFC-Normalisierung, einheitlicher Groß- und Kleinschreibung, entfernten Satzzeichen und zu einem Leerzeichen zusammengefasstem Leerraum. Leerzeichen zählen als Zeichen. | 4,2–5,1 |
| Diarisierungsfehlerrate · DER | 15,3 % | 34.229,9 s nicht oder falsch zugeordnete Sprechzeit von 223.996 s Referenzsprechzeit. Verpasste Sprache, fälschlich erkannte Sprache und falsch zugeordnete Sprecherzeit pro Referenzsprechzeit. Toleranz 250 ms um Referenzgrenzen, überlappende Sprache eingeschlossen. Liefert ein Dienst Sprecherkennungen ohne eigene Zeitmarken, bestimmt ScribeIndex die Zeitmarken durch erzwungene Ausrichtung (Forced Alignment) des gelieferten Texts an der Aufnahme. Die DER berechnet ScribeIndex daraus wie bei allen anderen Diensten, mit verpasster und fälschlich erkannter Sprache und Fehlern an Segmentgrenzen. | 13,7–16,9 |
| DER ohne Toleranz | 21,8 % | 48.749,4 s nicht oder falsch zugeordnete Sprechzeit von 223.996 s Referenzsprechzeit. Diarisierungsfehlerrate wie DER, jedoch ohne Toleranzbereich um Referenzgrenzen. Die Differenz zur DER zeigt den Anteil der Fehler an Segmentgrenzen. | 19,6–24,0 |
| Verarbeitungszeit (95. Perzentil) | 1.012 s | 95 % der erfolgreichen Läufe waren nach dieser Zeit fertig. | – |
| Abschlussquote | 100,0 % | 132 von 132 gestarteten Läufen abgeschlossen. Anteil der Läufe mit verwertbarem Ergebnis. | – |
Verarbeitungszeit
- Median (p50): 348 s
- 95. Perzentil (p95): 1.012 s
- Testweg: Datei-Upload
- Messstrecke: Von „Uploadstart“ bis „Vollständiger Export verfügbar“
Über alle abgeschlossenen Läufe. p95 zeigt die Dauer, die 95 % der Läufe nicht überschreiten. Median und p95 beschreiben die Verteilung der Messwerte und sind kein Konfidenzintervall.
Geschätzte Nacharbeit
- Je Aufnahme: 58,0 min (Ø 30,1 min Aufnahme)
- Je Stunde Aufnahme: 115,46 min
- 95-%-Intervall je Stunde: 105,40–125,79 min
- Geschätzte Nacharbeit gesamt: 7.651,28 min
- Audiodauer aller Ausgaben: 66 h 16 min (66,267 h)
- Ausgaben: 132, alle abgeschlossenen Läufe
Geschätzt aus den gezählten Fehlern aller abgeschlossenen Ausgaben, mit festen Zeiten je Korrekturschritt, die für alle Dienste gleich sind. Die Rate je Stunde ist die Nacharbeit gesamt ÷ Audiostunden und lässt sich aus den angezeigten Minuten und den Stunden in Klammern genau nachrechnen.
Wortvergleich
WER: Vergleichbar- Wortfehlerrate (WER): 11,3 % · 95-%-Intervall 10,2–12,4 %
- Ersetzungen (S): 35.438
- Auslassungen (D): 15.957
- Einfügungen (I): 12.270
- Referenzwörter (N): 563.238
- Zeichenfehlerrate (CER): 4,6 %
WER wird aus der gelieferten wortnahen Transkriptausgabe gegen die normalisierte Referenz berechnet. WER = (S + D + I) ÷ N × 100, gezählt über alle abgeschlossenen Läufe.
Fehler nach Typ
| Fehlertyp | Anzahl | Anteil am häufigsten Fehlertyp | Bedeutung |
|---|---|---|---|
| Ersetzungen | 35.438 (6,3 % der Referenzwörter) | 100 % | Ein Referenzwort wird durch ein anderes Wort ersetzt (S), etwa „heute“ statt „morgen“. |
| Auslassungen | 15.957 (2,8 % der Referenzwörter) | 45 % | Ein Referenzwort fehlt in der Ausgabe (D), etwa „seit“ statt „seit gestern“. Gezählt werden Wörter, nicht fehlende Inhalte. |
| Einfügungen | 12.270 (2,2 % der Referenzwörter) | 35 % | Die Ausgabe enthält ein Wort, das in der Referenz nicht vorkommt (I). |
Gezählt werden Wörter nach Normalisierung über alle abgeschlossenen Läufe.
Abgeschlossene Läufe: 132 von 132 (100,0 %)
Alle 132 Läufe lieferten ein auswertbares Ergebnis.
Konfiguration im Test
- Produktversion: Browseroberfläche für automatische Transkription, Stand 2. Quartal 2026
- Modellversion: Vom Anbieter nicht ausgewiesen
- Sprache: Deutsch (de-DE)
- Vorlage: Keine Dokumentvorlage, nur der Arbeitsauftrag
- Arbeitsauftrag: Wortgetreues Transkript, Version 1.0
- Eigener Wortschatz: Nicht hinterlegt
- Audioeingang: Dateiupload im Browser
- Sprechererkennung: Ja
- Einträge im eigenen Wortschatz: 0
- Transkriptstil: Wortgetreu mit Sprecherlabels und Zeitmarken
- Auswertung: Version 1.0
- Textnormalisierung: de-allg-wer, Version 1.0
- Bewertungsrubrik: Keine, da kein Faktenabgleich
Korpus, Ausschlüsse und Prüfsummen
Interviews, Vorträge mit Fragerunde, Gruppengespräche sowie Telefon- und Remoteaufnahmen mit zwei bis vier Personen, in Standardsprache und regionalen Varianten aus Deutschland, Österreich und der Schweiz.
- Korpus: Allgemeine deutschsprachige Audioaufnahmen (
de-audio-v1, Version 1.0) - Szenarien: 46 aufgenommen, 44 ausgewertet, je 3 Läufe
- Audio gesamt: 22 h 5 min, je Fall 6 min bis 1 h 28 min (Median 24 min)
- Sprecher je Fall: 2 bis 4
- Aufnahmeart: Interview (16), Vortrag mit Fragerunde (9), Gruppengespräch (8), Telefon oder Remote (11)
- Aussprache: Standarddeutsch (22), Regional (Deutschland) (9), Österreichisch (5), Schweizerisch gefärbt (4), Nicht muttersprachlich (4)
- Aufnahmequalität: Nahmikrofon, ruhig (17), Telefon- oder Konferenzqualität (11), Hintergrundlärm (8), Raumhall (8)
- Audioformate: FLAC, 48 kHz, mono · AAC-LC (M4A), 44,1 kHz, mono · Opus (WebM), 48 kHz, mono · PCM 24 Bit (WAV), 48 kHz, 2 Kanäle · G.711 A-law (WAV), 8 kHz, mono
- Aufbereitung:
- FLAC, Opus-WebM und G.711 A-law werden mit FFmpeg zu PCM-WAV mit 24 Bit bei 48 kHz dekodiert. Die ursprüngliche Kanalzahl und der Sprachinhalt bleiben erhalten.
- Referenz: Version 1.0: 187.746 Wörter, 1.202.936 Zeichen
- Annotierte Einheiten: Referenzsprechzeit 20 h 44 min
- Referenzprüfung: Wortlaut und Sprecherwechsel entstehen als Sprechvorlage vor der Aufnahme. Der automatische Abgleich mit dem Gesprochenen ergibt die zeitlichen Sprechersegmente. Unverständliche Stellen werden markiert und vom Wortvergleich ausgenommen.
- Zeitraum der Testreihe: 2. und 3. Quartal 2026 für alle Dienste, Korpus vor dem ersten Lauf eingefroren
- Ausgeschlossen:
audio-038: Eine mitwirkende Person widerrief die Einwilligung zur Nutzung der Aufnahme.audio-041: Referenz enthielt mehr als 5 % unverständliche Passagen.
- SHA-256 Manifest:
3bfaff5fa8338156ad4c6bef800ed2cec7c625802242a9f638e07991384aeffc - SHA-256 Referenz:
903e4e0cc118b16f9d63c460d4f5845b497a1f1d276c2c82b9a2294b542018b4
Unsicherheit und Berechnung
- Verfahren: Gepaarter Cluster-Bootstrap, Konfidenzniveau 95 %, Perzentilintervall
- Cluster: 44 Cluster, Einheit Szenario. Alle Läufe eines Szenarios bleiben im selben Cluster.
- Wiederholungen: 2.000 Bootstrap-Stichproben, Seed 1146018123
- Aggregation: Zähler aller abgeschlossenen Läufe werden gepoolt. Kennzahlen entstehen aus Summen, nicht aus Mittelwerten je Fall.
- Gepaarte Stichprobe: Alle Anbieter dieses Korpus nutzen dieselben Bootstrap-Stichproben. SHA-256 der Ziehungsliste:
f8a6a79fd7ce74ec952adb5978dd20f46986d1fd5dc8a1502862be03c2f8e886 - Wörter: WER = (35.438 + 15.957 + 12.270) ÷ 563.238 × 100 = 11,3 %
- ScribeIndex-Score: 95-%-Intervall 54,2–62,2 Punkte, je Bootstrap-Stichprobe aus dem vollständigen Score neu berechnet. Wie das Score-Intervall entsteht
Rangliste Audiotranskription
Sortiert nach ScribeIndex-Score.
- Platz 1: MAXQDA Transcription im Test 75,6
- Platz 2: HappyScribe im Test 66,1
- Platz 3: Amberscript im Test 64,4
- Platz 4: noScribe im Test 61,9
- Platz 5: TurboScribe im Test 61,4
- Platz 6: Sonix im Test 61,2
- Platz 7: Trint im Test 59,5
- Platz 8: f4 58,3
- Platz 9: Notta im Test 55,6
Daten zu dieser Seite
Maschinenlesbar mit Zählern, Nennern und Intervallen. Frei nutzbar mit Quellenangabe. Zitierweise und Lizenz
So testet ScribeIndex
Jede Testreihe nutzt einen festen deutschsprachigen Korpus mit geprüften, vor dem ersten Lauf eingefrorenen Referenzen. Bewertet wird automatisch nach festen Regeln, unklare Zuordnungen werden anhand der Aufnahme fachlich geprüft. Jeder Fall läuft zwei- bis dreimal. Die Konfidenzintervalle von Score, Hauptkennzahl und weiteren Fehlerraten stammen aus einem gepaarten Bootstrap über die Szenarien, sodass alle Anbieter auf denselben Stichproben verglichen werden. Anteile aus Zählern erhalten ein Wilson-Intervall mit Designeffekt. Der ScribeIndex-Score ist ein gewichteter Gesamtwert aus Inhaltsqualität, Nacharbeit und Abschlussquote. Die Rangliste ordnet nach diesem Punktwert.
Für das Score-Intervall wird in jeder Bootstrap-Stichprobe der vollständige Score mit den Gewichten des Bewertungsmodells neu berechnet. Weil alle Dienste einer Testreihe dieselben Stichproben nutzen, lassen sich auch Scoredifferenzen gepaart auswerten.