tl;dv im Test
Ergebnisse aus einer Testreihe auf einem deutschsprachigen Korpus. Alle Anbieter einer Aufgabe bearbeiten dieselben Fälle nach demselben Protokoll.
Ergebnisse im Überblick
Im ScribeIndex-Test „Meeting-Scribes“ (3. Quartal 2026, 38 Besprechungen, je 2 Durchläufe) erreicht tl;dv 55,3 von 100 Punkten und liegt auf Platz 10 von 14.
| Aufgabe | ScribeIndex-Score | Platz | Hauptkennzahl | Nacharbeit | Getestet |
|---|---|---|---|---|---|
| Meeting-Scribes | Mittelfeld: 55,3 | 10 von 14 | Fakten-F1: 85,0 % | 9,8 min je Besprechung | 3. Quartal 2026 |
tl;dv: Meeting-Scribes
In der Testreihe „Meeting-Scribes“ liegt tl;dv mit 55,3 Punkten auf Platz 10 von 14, 14,1 Punkte hinter Fathom (69,4) und 0,9 Punkte vor Sally AI (54,4). Hinter Fathom bleibt tl;dv vor allem beim Fakten-F1 (85,0 % gegenüber 90,5 %) zurück. Vor Sally AI liegt tl;dv vor allem bei der Nacharbeit (9,8 gegenüber 11,8 Minuten je Besprechung) und beim Fakten-F1 (85,0 % gegenüber 84,2 %). Sally AI liegt dafür bei der Sprecherzuordnung (DER, 10,5 % gegenüber 13,3 %) vorn. Das 95-%-Konfidenzintervall des Fakten-F1 reicht von 82,9 bis 87,0 %. Die Präzision liegt bei 87,7 %, der Recall bei 82,4 %. Die Nacharbeit ist eine Schätzung von ScribeIndex und kommt zum einmaligen Durchlesen hinzu, bei einer durchschnittlichen Aufnahmedauer von 40,0 Minuten.
Einordnung: Mittelfeld · ScribeIndex-Score 55,3 / 100 · 95-%-Intervall 49,9–60,3 · Platz 10 von 14
1,7 Punkte unter dem Median des Feldes und 8,6 Punkte vor dem schwächsten Dienst.
Fakten-F1 (Geteilter Platz 10 von 14): 85,0 % · 95-%-Intervall 82,9–87,0 %
Schwächster Wert: 81,8 % · Median (14 Anbieter): 86,2 % · Bester Wert: 90,5 %
Harmonisches Mittel aus Faktenpräzision und Fakten-Recall gegenüber der annotierten Referenz.
Nacharbeit je Besprechung (Geteilter Platz 8 von 14): 9,8 min · 95-%-Intervall 8,7–11,1 min
Schwächster Wert: 12,5 min · Median (14 Anbieter): 9,3 min · Bester Wert: 6,7 min
Geschätzte Nacharbeit bis zur Zielfassung je Besprechung, bei durchschnittlich 40,0 Minuten Aufnahme. Nicht enthalten ist das einmalige Durchlesen, das auch ein von Hand getipptes Dokument braucht. Auf eine Stunde Aufnahme gerechnet sind das 14,8 Minuten.
Verarbeitungszeit (Median) (Platz 3 von 14): 84,3 s · Niedriger ist besser
Schwächster Wert: 751 s · Median (14 Anbieter): 196 s · Bester Wert: 54,1 s
Gemessen von „Ende der Gesprächserfassung“ bis „Vollständiges Protokoll verfügbar“. Platz und Vergleichswerte nur unter Diensten derselben Messstrecke.
So setzt sich der ScribeIndex-Score zusammen
| Teilwert | Punkte | Gewicht | Beitrag |
|---|---|---|---|
| Inhaltsqualität | 51,6 | 75 % | 38,7 |
| Korrekturaufwand | 57,8 | 20 % | 11,6 |
| Abschlussquote | 100,0 | 5 % | 5,0 |
| ScribeIndex-Score | 100 % | 55,3 |
Die Qualitätsformel besteht zu 70 % aus dem Fakten-F1 mit 85,0 Punkten und zu 30 % aus der Sprecherzuordnung (100 minus DER) mit 86,7 Punkten. Sie ergibt 85,48 von 100, also 14,52 Punkte weniger als ein fehlerfreies Ergebnis. Bei 30 Punkten Abstand fällt die Inhaltsqualität auf null, hier liegt sie deshalb bei 51,6 von 100 Punkten.
Die Beiträge entstehen aus ungerundeten Teilwerten. Deshalb kann die Summe der angezeigten Werte um 0,1 vom Score abweichen. Bewertungsmodell 2.2. Formel und Skalierung
Testbedingungen
- Korpus: Besprechungen und Gesprächsprotokolle
- Fälle: 38 Szenarien × 2 Durchläufe
- Abgeschlossen: 76 von 76 Läufen
- Testweg: Live-Gespräch
- Bewertete Ausgabe: Zusammenfassung einer Besprechung
- Getestete Version: Meeting-Bot und Web-App, Stand 3. Quartal 2026
- Protokoll und Zeitraum: Version 1.0, getestet im 3. Quartal 2026
Alle Kennzahlen
tl;dv erreicht im Test „Meeting-Scribes“ 55,3 von 100 Punkten. Fakten-F1 85,0 % (95-%-Konfidenzintervall 82,9–87,0 %). Getestet wurden 38 Szenarien mit je 2 Durchläufen, 76 von 76 Läufen wurden abgeschlossen. Korpus de-meeting-v1, Protokoll 1.0, getestet im 3. Quartal 2026.
| Kennzahl | Wert | Zählung und Bedeutung | 95-%-Intervall |
|---|---|---|---|
| ScribeIndex-Score | 55,3 / 100 | Gewichteter Gesamtwert aus Inhaltsqualität, Nacharbeit und Abschlussquote, Bewertungsmodell 2.2. | 49,9–60,3 |
| Fakten-F1 | 85,0 % | Erläuterung weiter oben. | 82,9–87,0 |
| Nacharbeit je Besprechung | 9,8 min | Erläuterung weiter oben. | 8,7–11,1 |
| Verarbeitungszeit (Median) | 84,3 s | Erläuterung weiter oben. | – |
| Transkript-WER | 12,2 % | 47.594 Wortfehler von 389.306 Referenzwörtern. Wortersetzungen, Auslassungen und Einfügungen im exportierten Transkript pro Referenzwort nach Normalisierungsprofil de-allg-wer. Bewertet das Transkript, nicht die Zusammenfassung. | 10,8–13,8 |
| Diarisierungsfehlerrate · DER | 13,3 % | 22.229,7 s nicht oder falsch zugeordnete Sprechzeit von 166.914 s Referenzsprechzeit. Verpasste Sprache, fälschlich erkannte Sprache und falsch zugeordnete Sprecherzeit pro Referenzsprechzeit. Toleranz 250 ms um Referenzgrenzen, überlappende Sprache eingeschlossen. Liefert ein Dienst Sprecherkennungen ohne eigene Zeitmarken, bestimmt ScribeIndex die Zeitmarken durch erzwungene Ausrichtung (Forced Alignment) des gelieferten Texts an der Aufnahme. Die DER berechnet ScribeIndex daraus wie bei allen anderen Diensten, mit verpasster und fälschlich erkannter Sprache und Fehlern an Segmentgrenzen. | 11,7–15,2 |
| DER ohne Toleranz | 16,3 % | 27.269,3 s nicht oder falsch zugeordnete Sprechzeit von 166.914 s Referenzsprechzeit. Diarisierungsfehlerrate wie DER, jedoch ohne Toleranzbereich um Referenzgrenzen. Die Differenz zur DER zeigt den Anteil der Fehler an Segmentgrenzen. | 14,4–18,5 |
| Falsche oder unbelegte Aussagen | 3,9 % | 107 falsche oder unbelegte Aussagen von 2.711 ausgegebenen Aussagen. Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier. | 3,0–5,2 (Wilson mit Designeffekt) |
| Erfasste Beschlüsse | 74,2 % | 224 korrekt erfasste Beschlüsse von 302 Referenzbeschlüssen. Korrekt als Beschluss wiedergegebene Referenzbeschlüsse mit Geltungsbereich und Status pro Referenzbeschluss. Als Beschluss ausgegebene Vorschläge zählen nicht als Treffer. | 67,5–79,9 (Wilson mit Designeffekt) |
| Erkannte Aufgaben | 88,4 % | 403 erkannte Aufgaben von 456 Referenzaufgaben. Referenzaufgaben, die im Protokoll als Aufgabe erscheinen, pro Referenzaufgabe. Zuständigkeit und Frist werden getrennt bewertet. | 84,4–91,5 (Wilson mit Designeffekt) |
| Korrekte Zuständigkeiten | 78,6 % | 261 korrekte Zuständigkeiten von 332 Referenzaufgaben mit genannter Zuständigkeit. Korrekt wiedergegebene verantwortliche Personen pro Referenzaufgabe mit ausdrücklich genannter Zuständigkeit. Nicht erkannte Aufgaben zählen als Fehler. | 72,9–83,4 (Wilson mit Designeffekt) |
| Korrekte Fristen | 79,9 % | 187 korrekte Fristen von 234 Referenzaufgaben mit genannter Frist. Korrekt wiedergegebene Fristen pro Referenzaufgabe mit ausdrücklich genannter Frist. Nicht erkannte Aufgaben zählen als Fehler. | 72,9–85,5 (Wilson mit Designeffekt) |
| Vollständig korrekte Aufgaben | 70,0 % | 319 vollständig korrekte Aufgaben von 456 Referenzaufgaben. Aufgaben, deren Tätigkeit, Zuständigkeit und Frist vollständig korrekt wiedergegeben werden, pro Referenzaufgabe. Nicht genannte Zuständigkeiten oder Fristen müssen als nicht genannt erscheinen. | 64,8–74,7 (Wilson mit Designeffekt) |
| Faktenpräzision | 87,7 % | 2.377 korrekte relevante Fakten von 2.711 ausgegebenen Fakten. Korrekte relevante Fakten im Verhältnis zu allen deduplizierten ausgegebenen Fakten. | 85,5–90,1 |
| Fakten-Recall | 82,4 % | 2.377 korrekt erhaltene Fakten von 2.884 dokumentationsrelevanten Referenzfakten. Korrekt erhaltene Fakten im Verhältnis zu allen dokumentationsrelevanten Referenzfakten. | 79,9–84,8 |
| Verarbeitungszeit (95. Perzentil) | 249 s | 95 % der erfolgreichen Läufe waren nach dieser Zeit fertig. | – |
| Abschlussquote | 100,0 % | 76 von 76 gestarteten Läufen abgeschlossen. Anteil der Läufe mit verwertbarem Ergebnis. | – |
Verarbeitungszeit
- Median (p50): 84,3 s
- 95. Perzentil (p95): 249 s
- Testweg: Live-Gespräch
- Messstrecke: Von „Ende der Gesprächserfassung“ bis „Vollständiges Protokoll verfügbar“
Über alle abgeschlossenen Läufe, Audio in Echtzeit zugespielt. p95 zeigt die Dauer, die 95 % der Läufe nicht überschreiten. Median und p95 beschreiben die Verteilung der Messwerte und sind kein Konfidenzintervall.
Geschätzte Nacharbeit
- Je Besprechung: 9,8 min (Ø 40,0 min Aufnahme)
- Je Stunde Aufnahme: 14,76 min
- 95-%-Intervall je Stunde: 13,05–16,62 min
- Geschätzte Nacharbeit gesamt: 748,13 min
- Audiodauer aller Ausgaben: 50 h 42 min (50,700 h)
- Ausgaben: 76, alle abgeschlossenen Läufe
Geschätzt aus den gezählten Fehlern aller abgeschlossenen Ausgaben, mit festen Zeiten je Korrekturschritt, die für alle Dienste gleich sind. Die Rate je Stunde ist die Nacharbeit gesamt ÷ Audiostunden und lässt sich aus den angezeigten Minuten und den Stunden in Klammern genau nachrechnen.
Fehler nach Typ
| Fehlertyp | Anzahl | Anteil am häufigsten Fehlertyp | Bedeutung |
|---|---|---|---|
| Nicht erfasste Referenzfakten | 507 (17,6 % der Referenzfakten) | 100 % | Eine erforderliche Angabe aus der Aufnahme fehlt oder ist verfälscht (FN), etwa eine nicht erfasste Aufgabe. Korrekte Umformulierungen zählen als Treffer. |
| Falsche oder unbelegte Aussagen | 107 (3,9 % der ausgegebenen Aussagen) | 21 % | Die Ausgabe enthält eine Angabe, die der Referenz widerspricht oder sich nicht auf die Aufnahme stützt (FP, inhaltlicher Fehler), etwa eine nie vereinbarte Frist. Eine verfälschte Referenzangabe zählt zugleich hier und als nicht erfasster Referenzfakt. |
| Zutreffende, aber nicht relevante Aussagen | 227 (8,4 % der ausgegebenen Aussagen) | 45 % | Die Angabe stimmt, gehört laut Rubrik aber nicht in das Dokument (FP, nicht relevant), etwa Smalltalk oder wiederholte Begrüßungen. Sie senkt die Präzision, ist aber kein inhaltlicher Fehler. |
Über alle abgeschlossenen Läufe ergab der Faktenabgleich 2.377 korrekt erhaltene Fakten (TP), 334 falsch positive Aussagen (FP), davon 107 falsch oder unbelegt und 227 zutreffend, aber nicht relevant, 507 nicht erfasste Referenzfakten (FN). Fakten-F1 = 2TP ÷ (2TP + FP + FN). Beide FP-Arten senken die Präzision, nur falsche oder unbelegte Aussagen gelten als inhaltlicher Fehler.
Bewertet werden das gelieferte Protokoll und die Sprecherzuordnung im exportierten Transkript. Die Transkript-WER gilt nur für dieses Transkript und zählt nicht zum ScribeIndex-Score.
Abgeschlossene Läufe: 76 von 76 (100,0 %)
Alle 76 Läufe lieferten ein auswertbares Ergebnis.
Konfiguration im Test
- Produktversion: Meeting-Bot und Web-App, Stand 3. Quartal 2026
- Modellversion: Vom Anbieter nicht ausgewiesen
- Sprache: Deutsch (de-DE)
- Vorlage: ScribeIndex-Vorlage „Meeting-Protokoll“, Version 1.0
- Arbeitsauftrag: Meeting-Protokoll, Version 1.0
- Eigener Wortschatz: Nicht hinterlegt
- Erfassung: Meeting-Bot
- Transkriptsprache: Deutsch (de-DE)
- Transkriptionsmodell: Standardmodell des Tarifs
- Auswertung: Version 1.0
- Textnormalisierung: de-allg-wer, Version 1.0
- Bewertungsrubrik: meeting-facts-v1, Version 1.0
Korpus, Ausschlüsse und Prüfsummen
Projektbesprechungen, Teamabstimmungen, Kundentermine, Interviews und Fachdiskussionen mit zwei bis acht Personen, als reine Videokonferenz oder als hybride Besprechung mit Teilnehmenden im Raum und aus der Ferne. Eingespielt wird über virtuelle Konferenzteilnehmende.
- Korpus: Besprechungen und Gesprächsprotokolle (
de-meeting-v1, Version 1.0) - Szenarien: 40 aufgenommen, 38 ausgewertet, je 2 Läufe
- Audio gesamt: 25 h 21 min, je Fall 13 min bis 1 h 27 min (Median 37 min)
- Sprecher je Fall: 2 bis 8
- Gesprächsart: Projektbesprechung (10), Teamabstimmung (9), Kundentermin (7), Interview (6), Fachdiskussion (6)
- Aufnahme: Videokonferenz (26), Hybrid (Raum und Remote) (12)
- Sprecherzahl: Fünf bis acht Personen (18), Drei bis vier Personen (11), Zwei Personen (9)
- Audioformate: PCM 24 Bit (WAV), 48 kHz, 2 Kanäle · Opus (WebM), 48 kHz, mono
- Aufbereitung:
- Einspielung über virtuelle Konferenzteilnehmende aus den getrennten ursprünglichen Sprecheraufnahmen. Hybride Raumsprecher bleiben gemeinsam auf einer unveränderten Raumspur. Aus der Korpusmischung werden keine Sprecher mit Hilfe der Referenz separiert.
- Referenz: Version 1.0: 194.653 Wörter, 1.279.564 Zeichen, 1.442 Referenzfakten
- Annotierte Einheiten: Referenzbeschlüsse 151 · Referenzaufgaben (Tätigkeit, Zuständigkeit, Frist) 228 · Aufgaben mit ausdrücklich genannter Zuständigkeit 166 · Aufgaben mit ausdrücklich genannter Frist 117 · Referenzsprechzeit 23 h 11 min
- Referenzprüfung: Fakten, Beschlüsse und Aufgaben mit Tätigkeit, Zuständigkeit und Frist werden mit der Gesprächsvorlage festgelegt. Sprechersegmente entstehen aus dem automatischen Abgleich von Aufnahme und Vorlage, unklare Stellen werden an der Aufnahme geprüft. Rubrik meeting-facts-v1, Version 1.0.
- Zeitraum der Testreihe: 2. und 3. Quartal 2026 für alle Dienste, Korpus vor dem ersten Lauf eingefroren
- Ausgeschlossen:
meeting-012: Sprecherreferenz wegen Übersprechen zweier Raummikrofone nicht belastbar.meeting-029: Teilnehmende widerriefen die Nutzung der Aufnahme.
- SHA-256 Manifest:
1a25115bb8a34e284f1d01d3860260a21cb8f5847004facb1596738bbac7ddab - SHA-256 Referenz:
eab8be0ab42fa45d7c98cb94b1a700dfc141ed5d7e96d67f4d9349c7d3a84d70
Unsicherheit und Berechnung
- Verfahren: Gepaarter Cluster-Bootstrap, Konfidenzniveau 95 %, Perzentilintervall. Anteile aus Zählern erhalten ein Wilson-Intervall mit Designeffekt
- Cluster: 38 Cluster, Einheit Szenario. Alle Läufe eines Szenarios bleiben im selben Cluster.
- Wiederholungen: 2.000 Bootstrap-Stichproben, Seed 4134088586
- Aggregation: Zähler aller abgeschlossenen Läufe werden gepoolt. Kennzahlen entstehen aus Summen, nicht aus Mittelwerten je Fall.
- Gepaarte Stichprobe: Alle Anbieter dieses Korpus nutzen dieselben Bootstrap-Stichproben. SHA-256 der Ziehungsliste:
3ee50ed01707c6c0c1902b3d172d67b6fe4b33360c81d07433d846f0fcbe3781 - Fakten: Präzision = TP ÷ (TP + FP) = 87,7 %. Recall = TP ÷ (TP + FN) = 82,4 %. F1 = 2TP ÷ (2TP + FP + FN) = 85,0 % (95-%-Intervall 82,9–87,0 %).
- ScribeIndex-Score: 95-%-Intervall 49,9–60,3 Punkte, je Bootstrap-Stichprobe aus dem vollständigen Score neu berechnet. Wie das Score-Intervall entsteht
Rangliste Meeting-Scribes
Sortiert nach ScribeIndex-Score.
- Platz 1: Fathom im Test 69,4
- Platz 2: Fireflies.ai im Test 61,5
- Platz 3: MeetGeek im Test 60,6
- Platz 4: Jamie im Test 60,2
- Platz 5: HappyScribe im Test 58,9
- Platz 6: Read AI im Test 58,5
- Platz 7: Granola im Test 57,7
- Platz 8: Otter.ai im Test 56,3
- Platz 9: Plaud im Test 55,6
- Platz 10: tl;dv 55,3
- Platz 11: Sally AI im Test 54,4
- Platz 12: Bluedot im Test 50,6
- Platz 13: Sembly AI im Test 48,6
- Platz 14: Notta im Test 46,7
Daten zu dieser Seite
Maschinenlesbar mit Zählern, Nennern und Intervallen. Frei nutzbar mit Quellenangabe. Zitierweise und Lizenz
So testet ScribeIndex
Jede Testreihe nutzt einen festen deutschsprachigen Korpus mit geprüften, vor dem ersten Lauf eingefrorenen Referenzen. Bewertet wird automatisch nach festen Regeln, unklare Zuordnungen werden anhand der Aufnahme fachlich geprüft. Jeder Fall läuft zwei- bis dreimal. Die Konfidenzintervalle von Score, Hauptkennzahl und weiteren Fehlerraten stammen aus einem gepaarten Bootstrap über die Szenarien, sodass alle Anbieter auf denselben Stichproben verglichen werden. Anteile aus Zählern erhalten ein Wilson-Intervall mit Designeffekt. Der ScribeIndex-Score ist ein gewichteter Gesamtwert aus Inhaltsqualität, Nacharbeit und Abschlussquote. Die Rangliste ordnet nach diesem Punktwert.
Für das Score-Intervall wird in jeder Bootstrap-Stichprobe der vollständige Score mit den Gewichten des Bewertungsmodells neu berechnet. Weil alle Dienste einer Testreihe dieselben Stichproben nutzen, lassen sich auch Scoredifferenzen gepaart auswerten.