{ "schemaVersion": "1.0", "name": "ScribeIndex Testergebnisse", "license": { "name": "CC BY 4.0", "url": "https://creativecommons.org/licenses/by/4.0/deed.de" }, "citation": "ScribeIndex (2026): Testergebnisse KI-Dokumentation. https://scribeindex.com/daten/", "corpora": [ { "id": "de-audio-v1", "version": "1.0", "title": "Allgemeine deutschsprachige Audioaufnahmen", "category": "audio-transkription", "protocol": "1.0", "description": "Interviews, Vorträge mit Fragerunde, Gruppengespräche sowie Telefon- und Remoteaufnahmen mit zwei bis vier Personen, in Standardsprache und regionalen Varianten aus Deutschland, Österreich und der Schweiz.", "sourceScenarioCount": 46, "scenarioCount": 44, "runs": 3, "exclusions": [ { "scenarioId": "audio-038", "reason": "Eine mitwirkende Person widerrief die Einwilligung zur Nutzung der Aufnahme." }, { "scenarioId": "audio-041", "reason": "Referenz enthielt mehr als 5 % unverständliche Passagen." } ], "strata": [ { "dimension": "Aufnahmeart", "groups": [ { "label": "Interview", "count": 16 }, { "label": "Vortrag mit Fragerunde", "count": 9 }, { "label": "Gruppengespräch", "count": 8 }, { "label": "Telefon oder Remote", "count": 11 } ] }, { "dimension": "Aussprache", "groups": [ { "label": "Standarddeutsch", "count": 22 }, { "label": "Regional (Deutschland)", "count": 9 }, { "label": "Österreichisch", "count": 5 }, { "label": "Schweizerisch gefärbt", "count": 4 }, { "label": "Nicht muttersprachlich", "count": 4 } ] }, { "dimension": "Aufnahmequalität", "groups": [ { "label": "Nahmikrofon, ruhig", "count": 17 }, { "label": "Telefon- oder Konferenzqualität", "count": 11 }, { "label": "Hintergrundlärm", "count": 8 }, { "label": "Raumhall", "count": 8 } ] } ], "speakers": { "min": 2, "max": 4 }, "durationSeconds": { "min": 360, "max": 5280, "median": 1440, "total": 79500 }, "audioFormats": [ { "codec": "FLAC", "sampleRateHertz": 48000, "channels": 1 }, { "codec": "AAC-LC (M4A)", "sampleRateHertz": 44100, "channels": 1 }, { "codec": "Opus (WebM)", "sampleRateHertz": 48000, "channels": 1 }, { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 2 }, { "codec": "G.711 A-law (WAV)", "sampleRateHertz": 8000, "channels": 1 } ], "reference": { "version": "1.0", "words": 187746, "characters": 1202936, "charactersPerWord": 6.407, "facts": null, "units": [ { "key": "speechCentiseconds", "label": "Referenzsprechzeit", "count": 7466548 } ] }, "annotation": { "independentAnnotations": 1, "adjudication": "Wortlaut und Sprecherwechsel entstehen als Sprechvorlage vor der Aufnahme. Der automatische Abgleich mit dem Gesprochenen ergibt die zeitlichen Sprechersegmente. Unverständliche Stellen werden markiert und vom Wortvergleich ausgenommen.", "rubric": null }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": { "id": "de-allg-wer", "version": "1.0" }, "manifestSha256": "3bfaff5fa8338156ad4c6bef800ed2cec7c625802242a9f638e07991384aeffc", "referenceSha256": "903e4e0cc118b16f9d63c460d4f5845b497a1f1d276c2c82b9a2294b542018b4", "uncertainty": { "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "resamples": 2000, "seed": 1146018123, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "f8a6a79fd7ce74ec952adb5978dd20f46986d1fd5dc8a1502862be03c2f8e886" }, "frozen": "2026-Q2", "testPeriod": "2026-Q2/2026-Q3", "methodUrl": "https://scribeindex.com/methodik/audio-transkription/" }, { "id": "de-buero-diktat-v1", "version": "1.0", "title": "Allgemeine Diktate für Büro und Beruf", "category": "diktiersoftware", "task": "general-dictation", "protocol": "1.0", "description": "Vierzig Geschäftsdiktate von unter einer Minute bis zehn Minuten Länge mit E-Mails, Notizen, Namen, Terminen, Zahlen und Selbstkorrekturen. Jedes Diktat wird als wortnaher Text in eine leere Zielanwendung geschrieben.", "sourceScenarioCount": 40, "scenarioCount": 40, "runs": 3, "exclusions": [], "strata": [ { "dimension": "Textart", "groups": [ { "label": "E-Mail", "count": 12 }, { "label": "Geschäftsnotiz", "count": 10 }, { "label": "Zahlen und Namen", "count": 10 }, { "label": "Selbstkorrekturen", "count": 8 } ] }, { "dimension": "Aussprache", "groups": [ { "label": "Standarddeutsch", "count": 20 }, { "label": "Regional (Deutschland)", "count": 8 }, { "label": "Österreichisch", "count": 6 }, { "label": "Schweizerisch gefärbt", "count": 6 } ] }, { "dimension": "Aufnahmequalität", "groups": [ { "label": "Nahmikrofon, ruhig", "count": 32 }, { "label": "Nahmikrofon mit spontanen Korrekturen", "count": 8 } ] } ], "speakers": { "min": 1, "max": 1 }, "durationSeconds": { "min": 60, "max": 600, "median": 180, "total": 8340 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 1 } ], "reference": { "version": "1.0", "words": 17836, "characters": 114971, "charactersPerWord": 6.446, "facts": null, "units": [ { "key": "names", "label": "Personen- und Firmennamen", "count": 160 }, { "key": "numbers", "label": "Zahlenangaben", "count": 238 }, { "key": "commands", "label": "Diktatbefehle", "count": 147 }, { "key": "selfCorrections", "label": "Selbstkorrekturen mit geänderter Angabe", "count": 69 }, { "key": "editInstructions", "label": "Bearbeitungsanweisungen", "count": 12 } ] }, "annotation": { "independentAnnotations": 1, "adjudication": "Der Wortlaut entsteht als Sprechvorlage vor der Aufnahme. Nach der Aufnahme wird die Vorlage automatisch mit dem Gesprochenen abgeglichen, abweichende Stellen werden an der Aufnahme geprüft und die Referenz vor den Anbieterdurchläufen eingefroren.", "rubric": null }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": { "id": "de-allg-wer", "version": "1.0" }, "manifestSha256": "be86355a52a9e6e6ac547fa75797ca0c34d34b998965c77efe431e8cac1bf200", "referenceSha256": "2f3f1976d19c5059b932063bd9b929c3ad3df1d749efd78e0060e5b1364c5f41", "uncertainty": { "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "resamples": 2000, "seed": 2217701174, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "5b6419a32e9fc2e489a2dae6029ddcb9e755388234d69b65a19df934ad0bdabc" }, "frozen": "2026-Q3", "testPeriod": "2026-Q3/2026-Q4", "methodUrl": "https://scribeindex.com/methodik/diktiersoftware/" }, { "id": "de-recht-diktat-v1", "version": "1.0", "title": "Juristische Diktate", "category": "diktiersoftware", "task": "legal-dictation", "protocol": "1.0", "description": "Vierzig juristische Diktate mit Schriftsatzausschnitten, Aktenvermerken, Parteien, Normzitaten, Aktenzeichen, Fristen und Beträgen. Verglichen wird die gelieferte wortnahe Fassung ohne juristische Ergänzungen.", "sourceScenarioCount": 40, "scenarioCount": 40, "runs": 3, "exclusions": [], "strata": [ { "dimension": "Textart", "groups": [ { "label": "Schriftsatz", "count": 14 }, { "label": "Aktenvermerk", "count": 10 }, { "label": "Zahlen und Namen", "count": 10 }, { "label": "Selbstkorrekturen", "count": 6 } ] }, { "dimension": "Aussprache", "groups": [ { "label": "Standarddeutsch", "count": 20 }, { "label": "Regional (Deutschland)", "count": 8 }, { "label": "Österreichisch", "count": 6 }, { "label": "Schweizerisch gefärbt", "count": 6 } ] }, { "dimension": "Aufnahmequalität", "groups": [ { "label": "Nahmikrofon, ruhig", "count": 34 }, { "label": "Nahmikrofon mit spontanen Korrekturen", "count": 6 } ] } ], "speakers": { "min": 1, "max": 1 }, "durationSeconds": { "min": 60, "max": 1080, "median": 300, "total": 14580 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 1 } ], "reference": { "version": "1.0", "words": 31733, "characters": 204494, "charactersPerWord": 6.444, "facts": null, "units": [ { "key": "legalCitations", "label": "Normzitate und Aktenzeichen", "count": 347 }, { "key": "deadlines", "label": "Frist- und Datumsangaben", "count": 213 }, { "key": "parties", "label": "Parteien und Rollen", "count": 338 }, { "key": "amounts", "label": "Geldbeträge", "count": 174 }, { "key": "commands", "label": "Diktatbefehle", "count": 333 }, { "key": "selfCorrections", "label": "Selbstkorrekturen mit geänderter Angabe", "count": 85 }, { "key": "editInstructions", "label": "Bearbeitungsanweisungen", "count": 36 } ] }, "annotation": { "independentAnnotations": 1, "adjudication": "Der Wortlaut entsteht als Sprechvorlage vor der Aufnahme. Nach der Aufnahme wird die Vorlage automatisch mit dem Gesprochenen abgeglichen, abweichende Stellen werden an der Aufnahme geprüft und die Referenz vor den Anbieterdurchläufen eingefroren.", "rubric": { "id": "legal-errors-v1", "version": "1.0" } }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": { "id": "de-legal-wer", "version": "1.0" }, "manifestSha256": "2e856c64cf093797ea7a7b27b4ac15e541a33528e55d943bde123a02d67c7e83", "referenceSha256": "686a87e5af4681ab48fa6d1b65481ec57e9d04c2ef6bb6c22a5023b47bea5732", "uncertainty": { "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "resamples": 2000, "seed": 5519911, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "1045b46bde817656db5bc6b6b8be5c8a0aa04f1b4670527079e1ac9da69ba920" }, "frozen": "2026-Q2", "testPeriod": "2026-Q2/2026-Q3", "methodUrl": "https://scribeindex.com/methodik/diktiersoftware/" }, { "id": "de-voice-writing-v1", "version": "1.0", "title": "Sprachgestützte Textausarbeitung", "category": "diktiersoftware", "task": "voice-writing", "protocol": "1.0", "description": "Vierzig gesprochene Rohentwürfe für E-Mails, Aufgabenbeschreibungen und strukturierte Notizen. Fakten und vorgegebene Anweisungen zu Ton, Reihenfolge, Format und spontanen Änderungen werden getrennt bewertet.", "sourceScenarioCount": 40, "scenarioCount": 40, "runs": 3, "exclusions": [], "strata": [ { "dimension": "Zieltext", "groups": [ { "label": "E-Mail", "count": 16 }, { "label": "Strukturierte Notiz", "count": 12 }, { "label": "Aufgabenbeschreibung", "count": 12 } ] }, { "dimension": "Aussprache", "groups": [ { "label": "Standarddeutsch", "count": 20 }, { "label": "Regional (Deutschland)", "count": 8 }, { "label": "Österreichisch", "count": 6 }, { "label": "Schweizerisch gefärbt", "count": 6 } ] }, { "dimension": "Auftrag", "groups": [ { "label": "Ausarbeitung mit vorab festgelegter Zielstruktur", "count": 40 } ] } ], "speakers": { "min": 1, "max": 1 }, "durationSeconds": { "min": 60, "max": 600, "median": 240, "total": 9600 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 1 } ], "reference": { "version": "1.0", "words": 20776, "characters": 133189, "charactersPerWord": 6.411, "facts": 871, "units": [ { "key": "instructions", "label": "Vorab festgelegte Schreibanweisungen", "count": 251 } ] }, "annotation": { "independentAnnotations": 1, "adjudication": "Wortlaut und Fakten entstehen als Sprechvorlage vor der Aufnahme. Nach der Aufnahme wird die Vorlage automatisch mit dem Gesprochenen abgeglichen, abweichende Stellen werden an der Aufnahme geprüft und die Referenz vor den Anbieterdurchläufen eingefroren.", "rubric": { "id": "writing-facts-v1", "version": "1.0" } }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": null, "manifestSha256": "a2194236d0c043d838b24210574c7bf8a3c918cbe1bcce4db693e95b675ca2e2", "referenceSha256": "2d895d782442beec8769e48974bf2d650e4c80f2b6555d633e58c77a5a161833", "uncertainty": { "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "resamples": 2000, "seed": 3301926752, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "175bb08bcec3d46df9a7e79d3383ed75fd39e092bfc7ebe4823aec3915a1820a" }, "frozen": "2026-Q2", "testPeriod": "2026-Q2/2026-Q4", "methodUrl": "https://scribeindex.com/methodik/diktiersoftware/" }, { "id": "de-klinik-v1", "version": "1.0", "title": "Ärztliche Behandlungsgespräche", "category": "medical-scribes", "task": "clinical-notes", "protocol": "1.0", "description": "Im Rollenspiel geführte Behandlungsgespräche mit zwei bis vier Personen, darunter Erstanamnese, Verlauf, Medikationsbesprechung, Befundbesprechung und kurzes psychiatrisches Erstgespräch. Die Gespräche liegen als unterschiedliche Raum- und Smartphoneaufnahmen vor.", "sourceScenarioCount": 50, "scenarioCount": 48, "runs": 3, "exclusions": [ { "scenarioId": "klinik-016", "reason": "Einwilligung zur Nutzung der Aufnahme vor Testbeginn widerrufen." }, { "scenarioId": "klinik-033", "reason": "Relevanzmenge auch nach fachlicher Durchsicht nicht eindeutig festlegbar." } ], "strata": [ { "dimension": "Gesprächsform", "groups": [ { "label": "Erstanamnese", "count": 11 }, { "label": "Verlaufsgespräch", "count": 12 }, { "label": "Medikationsbesprechung", "count": 8 }, { "label": "Befundbesprechung", "count": 10 }, { "label": "Kurzes psychiatrisches Erstgespräch", "count": 7 } ] }, { "dimension": "Fachrichtung", "groups": [ { "label": "Allgemeinmedizin", "count": 14 }, { "label": "Innere Medizin", "count": 10 }, { "label": "Pädiatrie", "count": 6 }, { "label": "Orthopädie", "count": 6 }, { "label": "Neurologie", "count": 5 }, { "label": "Psychiatrie", "count": 7 } ] }, { "dimension": "Aufnahme", "groups": [ { "label": "Raummikrofon, ruhig", "count": 20 }, { "label": "Smartphone auf dem Tisch", "count": 17 }, { "label": "Hintergrundgeräusche", "count": 11 } ] }, { "dimension": "Sprecherzahl", "groups": [ { "label": "Zwei Personen", "count": 29 }, { "label": "Drei Personen", "count": 13 }, { "label": "Vier Personen", "count": 6 } ] } ], "speakers": { "min": 2, "max": 4 }, "durationSeconds": { "min": 360, "max": 2400, "median": 540, "total": 34860 }, "audioFormats": [ { "codec": "AAC-LC (M4A)", "sampleRateHertz": 48000, "channels": 1 }, { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 2 } ], "reference": { "version": "1.0", "words": 71893, "characters": 469914, "charactersPerWord": 6.536, "facts": 1379, "units": [ { "key": "medicalTerms", "label": "Annotierte medizinische Fachkonzepte", "count": 1169 }, { "key": "medicationStatements", "label": "Medikationsangaben (Wirkstoff, Dosis, Einheit, Einnahme)", "count": 207 }, { "key": "polarityStatements", "label": "Verneinte oder ausdrücklich bestätigte Befunde", "count": 274 }, { "key": "temporalFacts", "label": "Zeitliche Referenzangaben", "count": 313 }, { "key": "attributionFacts", "label": "Fakten mit erforderlicher Quellenzuordnung", "count": 722 } ] }, "annotation": { "independentAnnotations": 1, "adjudication": "Atomare Fakten und Relevanzmenge werden mit der Gesprächsvorlage festgelegt und nach der Aufnahme am Gesprochenen bestätigt. Unklare Stellen prüft eine Fachperson, danach wird die Referenz eingefroren.", "rubric": { "id": "clinical-facts-v1", "version": "1.0" } }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": null, "manifestSha256": "07e4ff2bb9cb21c1b350d732b5e593f4f1830354a230c75954136f03552f7ba5", "referenceSha256": "9ddba13742d943cd28b478c231a53d71ed064e1ba7681896e21faedfe2bb2207", "uncertainty": { "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "resamples": 2000, "seed": 2234884632, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "f630f8568c719864793b7aacf8e58f4627c6b7bdcdf5f3730abfda50ad6bfb37" }, "frozen": "2026-Q2", "testPeriod": "2026-Q2/2026-Q3", "methodUrl": "https://scribeindex.com/methodik/medical-scribes/" }, { "id": "de-therapie-v1", "version": "1.0", "title": "Psychotherapeutische Sitzungen", "category": "medical-scribes", "task": "therapy-notes", "protocol": "1.0", "description": "Im Rollenspiel geführte Therapiesitzungen aus Verhaltenstherapie, tiefenpsychologisch fundierter Therapie und systemischen Paar- oder Familiengesprächen. 17 der 36 Sitzungen enthalten Aussagen zu Selbstgefährdung oder Schutzfaktoren.", "sourceScenarioCount": 36, "scenarioCount": 36, "runs": 3, "exclusions": [], "strata": [ { "dimension": "Verfahren", "groups": [ { "label": "Verhaltenstherapie", "count": 15 }, { "label": "Tiefenpsychologisch fundiert", "count": 12 }, { "label": "Systemisch (Paar oder Familie)", "count": 5 }, { "label": "Erstgespräch und Probatorik", "count": 4 } ] }, { "dimension": "Risikoinhalt", "groups": [ { "label": "Mit Risikoaussagen", "count": 17 }, { "label": "Ohne Risikoaussagen", "count": 19 } ] } ], "speakers": { "min": 2, "max": 4 }, "durationSeconds": { "min": 2220, "max": 3540, "median": 2820, "total": 103620 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 1 } ], "reference": { "version": "1.0", "words": 185226, "characters": 1162943, "charactersPerWord": 6.279, "facts": 1108, "units": [ { "key": "medicalTerms", "label": "Annotierte medizinische Fachkonzepte", "count": 395 }, { "key": "medicationStatements", "label": "Medikationsangaben (Wirkstoff, Dosis, Einheit, Einnahme)", "count": 25 }, { "key": "polarityStatements", "label": "Verneinte oder ausdrücklich bestätigte Befunde", "count": 145 }, { "key": "temporalFacts", "label": "Zeitliche Referenzangaben", "count": 323 }, { "key": "attributionFacts", "label": "Fakten mit erforderlicher Quellenzuordnung", "count": 636 }, { "key": "riskFacts", "label": "Risikorelevante Referenzaussagen", "count": 57 } ] }, "annotation": { "independentAnnotations": 1, "adjudication": "Dokumentationsrelevante Fakten und Risikoaussagen werden mit der Gesprächsvorlage festgelegt und nach der Aufnahme am Gesprochenen bestätigt. Risikoaussagen prüft immer eine Fachperson.", "rubric": { "id": "clinical-facts-v1", "version": "1.0" } }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": null, "manifestSha256": "62780a1c05eb9562aa4bdbee3b73aedcf448ce0e8e6ba5fd85d7e17baa3b4bd8", "referenceSha256": "62c50ae99e53e02e016470714f0a6524d90a92407fe393d48adae95f19a8ee2a", "uncertainty": { "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "resamples": 2000, "seed": 3733937332, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "0c35a46bc36056c43d2f55385441679c130a0d1ef5bcb7bd6cb2f19411cef23a" }, "frozen": "2026-Q2", "testPeriod": "2026-Q2/2026-Q3", "methodUrl": "https://scribeindex.com/methodik/medical-scribes/" }, { "id": "de-anamnese-v1", "version": "1.0", "title": "Lange Anamnesegespräche", "category": "medical-scribes", "task": "anamnesis-report", "protocol": "1.0", "description": "Lange, im Rollenspiel geführte Anamnesegespräche mit fiktiven Personen, wechselnden zeitlichen Ebenen, Angehörigenbeiträgen, Dolmetschenden und Angaben, die einander ausdrücklich widersprechen. Zielausgabe ist ein ausführlicher gegliederter Bericht.", "sourceScenarioCount": 25, "scenarioCount": 24, "runs": 2, "exclusions": [ { "scenarioId": "anamnese-009", "reason": "Aufnahme vorzeitig abgebrochen, Gespräch unvollständig." } ], "strata": [ { "dimension": "Gesprächskonstellation", "groups": [ { "label": "Einzelgespräch", "count": 13 }, { "label": "Mit Angehörigen", "count": 6 }, { "label": "Mit Dolmetschenden", "count": 5 } ] }, { "dimension": "Kontext", "groups": [ { "label": "Psychiatrische Anamnese", "count": 8 }, { "label": "Psychosomatische Anamnese", "count": 6 }, { "label": "Neurologische Anamnese", "count": 4 }, { "label": "Internistische Langanamnese", "count": 3 }, { "label": "Sozialmedizinische Begutachtung", "count": 3 } ] }, { "dimension": "Widersprüchliche Angaben", "groups": [ { "label": "Mit annotierten Widersprüchen", "count": 22 }, { "label": "Ohne annotierte Widersprüche", "count": 2 } ] } ], "speakers": { "min": 2, "max": 4 }, "durationSeconds": { "min": 2220, "max": 5100, "median": 3600, "total": 86760 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 2 } ], "reference": { "version": "1.0", "words": 143354, "characters": 915637, "charactersPerWord": 6.387, "facts": 3963, "units": [ { "key": "medicalTerms", "label": "Annotierte medizinische Fachkonzepte", "count": 1143 }, { "key": "medicationStatements", "label": "Medikationsangaben (Wirkstoff, Dosis, Einheit, Einnahme)", "count": 153 }, { "key": "polarityStatements", "label": "Verneinte oder ausdrücklich bestätigte Befunde", "count": 418 }, { "key": "temporalFacts", "label": "Zeitliche Referenzangaben", "count": 914 }, { "key": "attributionFacts", "label": "Fakten mit erforderlicher Quellenzuordnung", "count": 2593 }, { "key": "detailFacts", "label": "Markierte erforderliche Detailfakten", "count": 2383 }, { "key": "requiredSections", "label": "Erforderliche Berichtsabschnitte", "count": 438 }, { "key": "contradictions", "label": "Annotierte Widerspruchspaare", "count": 51 } ] }, "annotation": { "independentAnnotations": 1, "adjudication": "Detailfakten mit Quelle und Zeitbezug, Widerspruchspaare und Pflichtabschnitte werden mit der Gesprächsvorlage festgelegt und nach der Aufnahme am Gesprochenen bestätigt.", "rubric": { "id": "anamnesis-facts-v1", "version": "1.0" } }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": null, "manifestSha256": "fd43d74a52c8f38d1962a41126bf5f14f7d1f35990ef9e325e5a5c9b4a8e750e", "referenceSha256": "f29faa81a90ca61e58fc49886c47b58ec1ff812e17abf3c5ffd0a6f9c54a8417", "uncertainty": { "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "resamples": 2000, "seed": 4114781480, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "507123a351cd2e8740278c579658de54ed5f0b6c9b5e1c6d7d6e788ac20cc2a3" }, "frozen": "2026-Q2", "testPeriod": "2026-Q2/2026-Q3", "methodUrl": "https://scribeindex.com/methodik/medical-scribes/" }, { "id": "de-pflege-v1", "version": "1.0", "title": "Pflegedokumentation", "category": "medical-scribes", "task": "nursing-notes", "protocol": "1.0", "description": "Nachgesprochene Pflegeberichte, Vitalwerte mit Maßnahmen, Schichtübergaben zu mehreren versorgten Personen und im Rollenspiel geführte pflegerische Aufnahmegespräche aus stationärer Altenpflege, ambulanter Pflege und Krankenhausstationen. Alle versorgten Personen sind fiktiv.", "sourceScenarioCount": 41, "scenarioCount": 40, "runs": 3, "exclusions": [ { "scenarioId": "pflege-028", "reason": "Eine mitwirkende Person nannte in der Übergabe versehentlich echte Namen. Die Aufnahme wurde vor der Referenzfreigabe zurückgezogen." } ], "strata": [ { "dimension": "Dokumentationsanlass", "groups": [ { "label": "Pflegebericht nach der Versorgung", "count": 14 }, { "label": "Vitalwerte und Maßnahmen", "count": 12 }, { "label": "Schichtübergabe", "count": 8 }, { "label": "Pflegerisches Aufnahmegespräch", "count": 6 } ] }, { "dimension": "Einsatzbereich", "groups": [ { "label": "Stationäre Altenpflege", "count": 16 }, { "label": "Ambulante Pflege", "count": 12 }, { "label": "Krankenhausstation", "count": 12 } ] }, { "dimension": "Aufnahme", "groups": [ { "label": "Smartphone in der Hand, Umgebungsgeräusche", "count": 34 }, { "label": "Smartphone auf dem Tisch", "count": 6 } ] } ], "speakers": { "min": 1, "max": 3 }, "durationSeconds": { "min": 60, "max": 1680, "median": 120, "total": 14040 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 1 } ], "reference": { "version": "1.0", "words": 27264, "characters": 181159, "charactersPerWord": 6.645, "facts": 1224, "units": [ { "key": "medicalTerms", "label": "Annotierte medizinische Fachkonzepte", "count": 410 }, { "key": "medicationStatements", "label": "Medikationsangaben (Wirkstoff, Dosis, Einheit, Einnahme)", "count": 100 }, { "key": "polarityStatements", "label": "Verneinte oder ausdrücklich bestätigte Befunde", "count": 190 }, { "key": "temporalFacts", "label": "Zeitliche Referenzangaben", "count": 307 }, { "key": "attributionFacts", "label": "Fakten mit erforderlicher Quellenzuordnung", "count": 578 }, { "key": "vitalSigns", "label": "Vitalwerte mit Einheit und Messzeitpunkt", "count": 143 }, { "key": "commands", "label": "Diktatbefehle", "count": 30 }, { "key": "selfCorrections", "label": "Selbstkorrekturen mit geänderter Angabe", "count": 10 }, { "key": "editInstructions", "label": "Bearbeitungsanweisungen", "count": 4 } ] }, "annotation": { "independentAnnotations": 1, "adjudication": "Fakten, Vitalwerte und Personenzuordnung werden mit der Gesprächsvorlage festgelegt. Abweichende Stellen werden vor dem ersten Anbieterlauf an der Aufnahme geprüft.", "rubric": { "id": "nursing-facts-v1", "version": "1.0" } }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": null, "manifestSha256": "7502ed0b4f30247995e97f03b1a7a0cd3f54907c6b780831019a233cbd092a84", "referenceSha256": "81561a613839ad570ef1ff39ee99889d0210625a97c37e39de452ea787a783ad", "uncertainty": { "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "resamples": 2000, "seed": 1588450526, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "d4572266c17fe472c4e040fee447b07920271bd3b5b3838b241e77b8839549a9" }, "frozen": "2026-Q2", "testPeriod": "2026-Q2/2026-Q3", "methodUrl": "https://scribeindex.com/methodik/medical-scribes/" }, { "id": "de-diktat-v1", "version": "1.0", "title": "Medizinische Diktate", "category": "medizinische-transkription", "protocol": "1.0", "description": "Nachgesprochene ärztliche Diktate aus sieben Fachrichtungen zu fiktiven Patientinnen und Patienten, mit Befunden, Medikation und Verneinungen. Dazu kommen gesprochene Anweisungen, also Diktatbefehle, spontane Selbstkorrekturen und gelegentliche Bearbeitungsanweisungen zu früheren Stellen des Diktats. Die Aufnahmen entstehen mit Headset oder Tischmikrofon, teils mit Hintergrundgeräuschen oder als komprimierte Diktiergerätedateien.", "sourceScenarioCount": 64, "scenarioCount": 62, "runs": 3, "exclusions": [ { "scenarioId": "diktat-023", "reason": "Die sprechende Person nannte versehentlich einen echten Namen. Die Aufnahme wurde vor der Referenzfreigabe zurückgezogen." }, { "scenarioId": "diktat-057", "reason": "Endgültige Angabe einer Selbstkorrektur auch nach Prüfung der Aufnahme nicht eindeutig hörbar." } ], "strata": [ { "dimension": "Fachrichtung", "groups": [ { "label": "Innere Medizin", "count": 13 }, { "label": "Allgemeinmedizin", "count": 11 }, { "label": "Orthopädie und Unfallchirurgie", "count": 10 }, { "label": "Radiologie", "count": 9 }, { "label": "Kardiologie", "count": 8 }, { "label": "Neurologie", "count": 7 }, { "label": "Gynäkologie", "count": 4 } ] }, { "dimension": "Aussprache", "groups": [ { "label": "Standarddeutsch", "count": 27 }, { "label": "Regional (Deutschland)", "count": 13 }, { "label": "Österreichisch", "count": 9 }, { "label": "Schweizerisch gefärbt", "count": 6 }, { "label": "Nicht muttersprachlich", "count": 7 } ] }, { "dimension": "Aufnahmebedingung", "groups": [ { "label": "Ruhiger Raum, Headset", "count": 22 }, { "label": "Ruhiger Raum, Tischmikrofon", "count": 14 }, { "label": "Hintergrundgeräusche", "count": 15 }, { "label": "Komprimierte Aufnahme", "count": 11 } ] } ], "speakers": { "min": 1, "max": 1 }, "durationSeconds": { "min": 60, "max": 900, "median": 300, "total": 18720 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 1 }, { "codec": "MP3 128 kbit/s", "sampleRateHertz": 44100, "channels": 1 }, { "codec": "AAC-LC (M4A)", "sampleRateHertz": 44100, "channels": 1 } ], "reference": { "version": "1.0", "words": 34387, "characters": 247912, "charactersPerWord": 7.209, "facts": 2235, "units": [ { "key": "medicalTerms", "label": "Annotierte medizinische Fachkonzepte", "count": 3735 }, { "key": "medicationStatements", "label": "Medikationsangaben (Wirkstoff, Dosis, Einheit, Einnahme)", "count": 254 }, { "key": "polarityStatements", "label": "Verneinte oder ausdrücklich bestätigte Befunde", "count": 369 }, { "key": "temporalFacts", "label": "Zeitliche Referenzangaben", "count": 485 }, { "key": "attributionFacts", "label": "Fakten mit erforderlicher Quellenzuordnung", "count": 805 }, { "key": "commands", "label": "Diktatbefehle", "count": 442 }, { "key": "selfCorrections", "label": "Selbstkorrekturen mit geänderter Angabe", "count": 84 }, { "key": "editInstructions", "label": "Bearbeitungsanweisungen", "count": 30 } ] }, "annotation": { "independentAnnotations": 1, "adjudication": "Diktattext und Fakten entstehen als Sprechvorlage vor der Aufnahme. Nach der Aufnahme wird das Gesprochene automatisch mit der Vorlage abgeglichen, abweichende Stellen werden an der Aufnahme geprüft und die Referenz vor dem ersten Anbieterlauf eingefroren.", "rubric": { "id": "clinical-facts-v1", "version": "1.0" } }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": { "id": "de-med-wer", "version": "1.0" }, "manifestSha256": "6768f28bb70c0457e31c2eaafd4f3c498c05b4aec26501537825bbaa22733060", "referenceSha256": "18772162e86230bce7cfb8a2f52f90244df2b1cdf52bdb6a646494dd3596dbb9", "uncertainty": { "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "resamples": 2000, "seed": 4214870755, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "1feb69fb1f1a9ee5134ab583a5bf6a80625f840f53d2d833da91149ac9f1550a" }, "frozen": "2026-Q2", "testPeriod": "2026-Q2/2026-Q3", "methodUrl": "https://scribeindex.com/methodik/medizinische-spracherkennung/" }, { "id": "de-meeting-v1", "version": "1.0", "title": "Besprechungen und Gesprächsprotokolle", "category": "meeting-scribes", "protocol": "1.0", "description": "Projektbesprechungen, Teamabstimmungen, Kundentermine, Interviews und Fachdiskussionen mit zwei bis acht Personen, als reine Videokonferenz oder als hybride Besprechung mit Teilnehmenden im Raum und aus der Ferne. Eingespielt wird über virtuelle Konferenzteilnehmende.", "sourceScenarioCount": 40, "scenarioCount": 38, "runs": 2, "exclusions": [ { "scenarioId": "meeting-012", "reason": "Sprecherreferenz wegen Übersprechen zweier Raummikrofone nicht belastbar." }, { "scenarioId": "meeting-029", "reason": "Teilnehmende widerriefen die Nutzung der Aufnahme." } ], "strata": [ { "dimension": "Gesprächsart", "groups": [ { "label": "Projektbesprechung", "count": 10 }, { "label": "Teamabstimmung", "count": 9 }, { "label": "Kundentermin", "count": 7 }, { "label": "Interview", "count": 6 }, { "label": "Fachdiskussion", "count": 6 } ] }, { "dimension": "Aufnahme", "groups": [ { "label": "Videokonferenz", "count": 26 }, { "label": "Hybrid (Raum und Remote)", "count": 12 } ] }, { "dimension": "Sprecherzahl", "groups": [ { "label": "Fünf bis acht Personen", "count": 18 }, { "label": "Drei bis vier Personen", "count": 11 }, { "label": "Zwei Personen", "count": 9 } ] } ], "speakers": { "min": 2, "max": 8 }, "durationSeconds": { "min": 780, "max": 5220, "median": 2220, "total": 91260 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 2 }, { "codec": "Opus (WebM)", "sampleRateHertz": 48000, "channels": 1 } ], "reference": { "version": "1.0", "words": 194653, "characters": 1279564, "charactersPerWord": 6.574, "facts": 1442, "units": [ { "key": "decisions", "label": "Referenzbeschlüsse", "count": 151 }, { "key": "actionItems", "label": "Referenzaufgaben (Tätigkeit, Zuständigkeit, Frist)", "count": 228 }, { "key": "actionOwners", "label": "Aufgaben mit ausdrücklich genannter Zuständigkeit", "count": 166 }, { "key": "actionDeadlines", "label": "Aufgaben mit ausdrücklich genannter Frist", "count": 117 }, { "key": "speechCentiseconds", "label": "Referenzsprechzeit", "count": 8345694 } ] }, "annotation": { "independentAnnotations": 1, "adjudication": "Fakten, Beschlüsse und Aufgaben mit Tätigkeit, Zuständigkeit und Frist werden mit der Gesprächsvorlage festgelegt. Sprechersegmente entstehen aus dem automatischen Abgleich von Aufnahme und Vorlage, unklare Stellen werden an der Aufnahme geprüft.", "rubric": { "id": "meeting-facts-v1", "version": "1.0" } }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": { "id": "de-allg-wer", "version": "1.0" }, "manifestSha256": "1a25115bb8a34e284f1d01d3860260a21cb8f5847004facb1596738bbac7ddab", "referenceSha256": "eab8be0ab42fa45d7c98cb94b1a700dfc141ed5d7e96d67f4d9349c7d3a84d70", "uncertainty": { "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "resamples": 2000, "seed": 4134088586, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "3ee50ed01707c6c0c1902b3d172d67b6fe4b33360c81d07433d846f0fcbe3781" }, "frozen": "2026-Q2", "testPeriod": "2026-Q2/2026-Q3", "methodUrl": "https://scribeindex.com/methodik/meeting-scribes/" }, { "id": "de-live-untertitel-v1", "version": "1.0", "title": "Deutsche Live-Untertitel", "category": "untertitel", "task": "live-subtitles", "protocol": "1.0", "description": "Dreißig deutschsprachige Aufnahmen aus Vortrag, Webinar, Podiumsdiskussion und Pressekonferenz, in Echtzeit eingespielt. Bewertet werden der endgültige Untertiteltext, nachträgliche Änderungen der Anzeige und der Zeitversatz je Wort zum Ton beim Publikum. Die Übertragungsverzögerung wird separat erfasst und zählt nicht. Übersetzung gehört nicht dazu.", "sourceScenarioCount": 30, "scenarioCount": 30, "runs": 2, "exclusions": [], "strata": [ { "dimension": "Format", "groups": [ { "label": "Vortrag", "count": 10 }, { "label": "Webinar", "count": 8 }, { "label": "Podiumsdiskussion", "count": 7 }, { "label": "Pressekonferenz", "count": 5 } ] }, { "dimension": "Aussprache", "groups": [ { "label": "Standarddeutsch", "count": 16 }, { "label": "Regional (Deutschland)", "count": 6 }, { "label": "Österreichisch", "count": 4 }, { "label": "Schweizerisch gefärbt", "count": 4 } ] }, { "dimension": "Einspielung", "groups": [ { "label": "Echtzeit über virtuellen Audioeingang", "count": 30 } ] } ], "speakers": { "min": 1, "max": 5 }, "durationSeconds": { "min": 480, "max": 5340, "median": 1740, "total": 63840 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 1 } ], "reference": { "version": "1.0", "words": 149654, "characters": 969307, "charactersPerWord": 6.477, "facts": null, "units": [ { "key": "liveWords", "label": "Referenzwörter mit Zeitgrenze", "count": 149654 } ] }, "annotation": { "independentAnnotations": 1, "adjudication": "Der Wortlaut entsteht als Sprechvorlage vor der Aufnahme, die Zeitgrenzen erst an der Aufnahme. Nach der Aufnahme wird die Vorlage automatisch mit dem Gesprochenen abgeglichen, abweichende Stellen werden an der Aufnahme geprüft und die Referenz vor den Anbieterdurchläufen eingefroren.", "rubric": null }, "scorer": { "name": "scribeindex-live-subtitles", "version": "1.0" }, "normalization": { "id": "de-subtitle-wer", "version": "1.0" }, "manifestSha256": "82acc1a0ff5f8f62ab47815747ab1a96383fb705780eb9597c1d3c51a6b044aa", "referenceSha256": "12f7090789671983e962a05c01cb6abb03849e6536dc9afde6de15f11454f43b", "uncertainty": { "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "resamples": 2000, "seed": 3355895643, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "0f26e97bd0626cfdf95f5dee7a05315be56e31165714a518399326f79379755a" }, "frozen": "2026-Q2", "testPeriod": "2026-Q2/2026-Q3", "methodUrl": "https://scribeindex.com/methodik/untertitel/" }, { "id": "de-untertitel-v1", "version": "1.0", "title": "Deutsche Videountertitel", "category": "untertitel", "task": "file-subtitles", "protocol": "1.0", "description": "Vierzig deutschsprachige Videos aus Interview, Tutorial, Vortrag und Reportage. Bewertet werden die exportierten SRT- oder WebVTT-Dateien nach Sprachinhalt, zeitlicher Abdeckung und Lesbarkeit, ohne Übersetzung.", "sourceScenarioCount": 40, "scenarioCount": 40, "runs": 3, "exclusions": [], "strata": [ { "dimension": "Videoart", "groups": [ { "label": "Interview", "count": 12 }, { "label": "Tutorial", "count": 12 }, { "label": "Vortrag", "count": 10 }, { "label": "Reportage", "count": 6 } ] }, { "dimension": "Aussprache", "groups": [ { "label": "Standarddeutsch", "count": 20 }, { "label": "Regional (Deutschland)", "count": 8 }, { "label": "Österreichisch", "count": 6 }, { "label": "Schweizerisch gefärbt", "count": 6 } ] }, { "dimension": "Bildformat", "groups": [ { "label": "1920 × 1080, 25 Bilder/s", "count": 40 } ] } ], "speakers": { "min": 1, "max": 2 }, "durationSeconds": { "min": 180, "max": 3540, "median": 1080, "total": 48480 }, "audioFormats": [ { "codec": "H.264 MP4, AAC-LC", "sampleRateHertz": 48000, "channels": 2 } ], "reference": { "version": "1.0", "words": 95928, "characters": 620116, "charactersPerWord": 6.464, "facts": null, "units": [ { "key": "subtitleCues", "label": "Referenz-Untertitelsegmente", "count": 9816 } ] }, "annotation": { "independentAnnotations": 1, "adjudication": "Der Wortlaut entsteht als Sprechvorlage vor der Aufnahme, die Zeitgrenzen erst an der Aufnahme. Nach der Aufnahme wird die Vorlage automatisch mit dem Gesprochenen abgeglichen, abweichende Stellen werden an der Aufnahme geprüft und die Referenz vor den Anbieterdurchläufen eingefroren.", "rubric": null }, "scorer": { "name": "scribeindex-subtitles", "version": "1.0" }, "normalization": { "id": "de-subtitle-wer", "version": "1.0" }, "manifestSha256": "a35c5ee698d61b365b97c82257195aeb72edbd47eab9da548608335d37899941", "referenceSha256": "6ec7f71b2989eb19791326360ba6649b7c8c020915a316303d8763a8f58b2d45", "uncertainty": { "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "resamples": 2000, "seed": 1605653364, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "22c41832e7f4054b58c4911e41b1b961649b0482f9f511ad72891e68023bafbc" }, "frozen": "2026-Q2", "testPeriod": "2026-Q2/2026-Q3", "methodUrl": "https://scribeindex.com/methodik/untertitel/" } ], "results": [ { "id": "ai-media/untertitel:file-subtitles", "provider": "ai-media", "providerName": "AI-Media LEXI", "test": "untertitel:file-subtitles", "label": "Untertitel für Videodateien", "category": "untertitel", "task": "file-subtitles", "url": "https://scribeindex.com/anbieter/ai-media/test/#videodateien", "rankingUrl": "https://scribeindex.com/vergleich/untertitel/videodateien/", "testPeriod": "2026-Q3", "protocol": "1.0", "corpus": "de-untertitel-v1", "scenarios": 40, "runs": 3, "completed": 120, "total": 120, "completionRatePercent": 100, "evaluation": { "output": "subtitles", "semanticRubric": null, "wordErrorRate": { "applicability": "word-aligned", "basis": "delivered-output", "explanation": "WER wird aus dem zusammengeführten Text der exportierten SRT- oder WebVTT-Datei gegen die normalisierte Referenz berechnet. Zeitmarken und Segmentnummern zählen nicht." } }, "score": { "version": "2.2", "value": 59.5248, "ci95": [ 56.3, 62.6 ], "ci95Method": "paired-cluster-bootstrap", "pairedDifferences": [ { "provider": "clevercast", "ci95": [ 11.68, 17.48 ] }, { "provider": "happy-scribe", "ci95": [ 4.4, 8.93 ] }, { "provider": "amberscript", "ci95": [ 5.82, 16.53 ] }, { "provider": "sonix", "ci95": [ 9.27, 15.67 ] }, { "provider": "veed", "ci95": [ 11.58, 20.29 ] }, { "provider": "kapwing", "ci95": [ 18.09, 23.73 ] }, { "provider": "maestra", "ci95": [ 1.05, 6.75 ] } ], "rank": 1, "cohortSize": 8, "criticalRatePercent": null, "contentQuality": 86.951, "references": { "key": "file-subtitles", "qualityErrorPoints": 30, "correctionMinutes": 233, "criticalPercent": null }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 56.504, "weight": 0.75, "contribution": 42.378 }, { "key": "effort", "label": "Korrekturaufwand", "value": 60.734, "weight": 0.2, "contribution": 12.147 }, { "key": "reliability", "label": "Abschlussquote", "value": 100, "weight": 0.05, "contribution": 5 } ] }, "mainMetric": { "label": "Wortfehlerrate", "abbreviation": "WER", "value": 6.874, "direction": "lower", "ci95": [ 6.31, 7.43 ] }, "transcription": { "referenceWords": 287784, "substitutions": 10520, "deletions": 5216, "insertions": 4046, "errors": 19782, "werPercent": 6.874, "ci95": [ 6.31, 7.43 ], "comparable": true }, "facts": null, "latency": { "p50Seconds": 1211.2, "p95Seconds": 3512, "mode": "file-upload", "start": "Uploadstart", "end": "Vollständiger Export verfügbar" }, "correction": { "minutesPerAudioHour": 91.4894, "ci95": [ 83.78, 99.59 ], "estimate": { "outputs": 120, "audioSeconds": 145500, "minutes": 3698, "ci": [ 83.78, 99.59 ], "audioHours": 40.42 } }, "additionalMetrics": [ { "key": "cer", "label": "Zeichenfehlerrate · CER", "numerator": 53579, "denominator": 1860348, "valuePercent": 2.88, "direction": "lower", "definition": "Zeichenabweichungen pro Referenzzeichen nach NFC-Normalisierung, einheitlicher Groß- und Kleinschreibung, entfernten Satzzeichen und zu einem Leerzeichen zusammengefasstem Leerraum. Leerzeichen zählen als Zeichen.", "ci95": [ 2.65, 3.11 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "subtitle-timing-accuracy", "label": "Zeitlich passende Untertitel", "numerator": 23557, "denominator": 29448, "valuePercent": 79.995, "direction": "higher", "definition": "Vollständig abgedeckte Referenzsegmente, bei denen der früheste Beginn und das späteste Ende der zugeordneten Untertitel jeweils höchstens 200 ms von der Referenz abweichen. Fehlende Segmente zählen als nicht passend.", "ci95": [ 77.37, 82.38 ], "ci95Method": "wilson-design-effect", "designEffect": 29.9602 }, { "key": "subtitle-layout-accuracy", "label": "Lesbare Untertitel", "numerator": 24132, "denominator": 29448, "valuePercent": 81.948, "direction": "higher", "definition": "Vollständig abgedeckte Referenzsegmente mit höchstens 2 Zeilen, 42 Zeichen je Zeile und 17 Zeichen je Sekunde in allen zugeordneten Ausgabesegmenten.", "ci95": [ 79.9, 83.83 ], "ci95Method": "wilson-design-effect", "designEffect": 19.8956 } ], "scalarMetrics": [ { "key": "subtitle-timing-offset-ms", "label": "Mittlere Zeitabweichung", "value": 237.81, "unit": "ms", "direction": "lower", "definition": "Mittel der absoluten Abweichung der äußeren Start- und Endgrenzen von den zugeordneten Referenzsegmenten, gewichtet je Referenzsegment.", "statistic": "mean", "sampleSize": 29319, "ci": [ 226.4, 250.09 ] }, { "key": "subtitle-reading-speed-cps", "label": "Mittlere Lesegeschwindigkeit", "value": 14.43, "unit": "Zeichen/s", "direction": "none", "definition": "Sichtbare Zeichen einschließlich Leerzeichen innerhalb der Zeilen, geteilt durch die jeweilige Standzeit, je ausgegebenem Untertitel, gemittelt über alle ausgegebenen Untertitel.", "statistic": "mean", "sampleSize": 32546, "ci": [ 13.84, 15.03 ] }, { "key": "subtitle-line-length-cpl", "label": "Mittlere Zeilenlänge", "value": 34.41, "unit": "Zeichen/Zeile", "direction": "none", "definition": "Mittlere Zahl sichtbarer Unicode-Zeichen je ausgegebener Untertitelzeile.", "statistic": "mean", "sampleSize": 54918, "ci": [ 34.05, 34.77 ] } ], "errorTypes": [ { "label": "Ersetzungen", "count": 10520 }, { "label": "Auslassungen", "count": 5216 }, { "label": "Einfügungen", "count": 4046 } ], "failedRuns": [], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "AI-Media LEXI Recorded, deutsche Originaluntertitel, Stand 3. Quartal 2026", "modelVersions": null, "template": null, "instruction": { "id": "si-instr-subtitles", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "MP4-Dateiupload im Recorded-Portal", "language": "Deutsch", "outputLanguage": "Deutsch", "mode": "LEXI Recorded", "processing": "Automatische Dateiverarbeitung ohne menschliche Nachbearbeitung", "translation": false, "customVocabularyEntries": 0, "export": "SRT", "manualCorrection": false }, "scorer": { "name": "scribeindex-subtitles", "version": "1.0" }, "normalization": { "id": "de-subtitle-wer", "version": "1.0" } }, "corpusMetadata": { "version": "1.0", "manifestSha256": "a35c5ee698d61b365b97c82257195aeb72edbd47eab9da548608335d37899941", "referenceVersion": "1.0", "referenceSha256": "6ec7f71b2989eb19791326360ba6649b7c8c020915a316303d8763a8f58b2d45", "sourceScenarioCount": 40, "evaluatedScenarioCount": 40, "totalAudioSeconds": 48480, "durationSeconds": { "minimum": 180, "maximum": 3540 }, "audioFormats": [ { "codec": "H.264 MP4, AAC-LC", "sampleRateHertz": 48000, "channels": 2 } ], "conversions": [], "exclusions": [] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 40, "resamples": 2000, "seed": 1605653364, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "22c41832e7f4054b58c4911e41b1b961649b0482f9f511ad72891e68023bafbc" } }, { "id": "ai-media/untertitel:live-subtitles", "provider": "ai-media", "providerName": "AI-Media LEXI", "test": "untertitel:live-subtitles", "label": "Live-Untertitel", "category": "untertitel", "task": "live-subtitles", "url": "https://scribeindex.com/anbieter/ai-media/test/#live", "rankingUrl": "https://scribeindex.com/vergleich/untertitel/live/", "testPeriod": "2026-Q3", "protocol": "1.0", "corpus": "de-live-untertitel-v1", "scenarios": 30, "runs": 2, "completed": 60, "total": 60, "completionRatePercent": 100, "evaluation": { "output": "live-subtitles", "semanticRubric": null, "wordErrorRate": { "applicability": "word-aligned", "basis": "delivered-output", "explanation": "WER wird aus dem endgültigen Stand der angezeigten Untertitel gegen die normalisierte Referenz berechnet. Zwischenstände der Anzeige gehen in die Stabilität ein, nicht in die WER." } }, "score": { "version": "2.2", "value": 70.9934, "ci95": [ 69.5, 72.7 ], "ci95Method": "paired-cluster-bootstrap", "pairedDifferences": [ { "provider": "wordly", "ci95": [ 15.59, 19.98 ] }, { "provider": "interprefy", "ci95": [ 8.47, 11.74 ] }, { "provider": "clevercast", "ci95": [ 4.79, 9.18 ] }, { "provider": "syncwords", "ci95": [ 7.02, 10.11 ] }, { "provider": "maestra", "ci95": [ 21.22, 24.65 ] } ], "rank": 1, "cohortSize": 6, "criticalRatePercent": null, "contentQuality": 92.449, "references": { "key": "live-subtitles", "qualityErrorPoints": 30, "correctionMinutes": 276, "criticalPercent": null }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 74.83, "weight": 0.75, "contribution": 56.123 }, { "key": "effort", "label": "Korrekturaufwand", "value": 49.353, "weight": 0.2, "contribution": 9.871 }, { "key": "reliability", "label": "Abschlussquote", "value": 100, "weight": 0.05, "contribution": 5 } ] }, "mainMetric": { "label": "Wortfehlerrate", "abbreviation": "WER", "value": 7.436, "direction": "lower", "ci95": [ 6.81, 8.01 ] }, "transcription": { "referenceWords": 299308, "substitutions": 11534, "deletions": 6184, "insertions": 4540, "errors": 22258, "werPercent": 7.436, "ci95": [ 6.81, 8.01 ], "comparable": true }, "facts": null, "latency": { "p50Seconds": 1.3, "p95Seconds": 2.8, "mode": "live-stream", "start": "Wortende im Ton beim Publikum", "end": "Erste Anzeige des Wortes in endgültiger Form" }, "correction": { "minutesPerAudioHour": 139.7853, "ci95": [ 132.85, 146.24 ], "estimate": { "outputs": 60, "audioSeconds": 127620, "minutes": 4955.53, "ci": [ 132.85, 146.24 ], "audioHours": 35.451 } }, "additionalMetrics": [ { "key": "cer", "label": "Zeichenfehlerrate · CER", "numerator": 62433, "denominator": 1938614, "valuePercent": 3.22, "direction": "lower", "definition": "Zeichenabweichungen pro Referenzzeichen nach NFC-Normalisierung, einheitlicher Groß- und Kleinschreibung, entfernten Satzzeichen und zu einem Leerzeichen zusammengefasstem Leerraum. Leerzeichen zählen als Zeichen.", "ci95": [ 2.97, 3.46 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "live-caption-timeliness", "label": "Rechtzeitig angezeigte Wörter", "numerator": 276408, "denominator": 299308, "valuePercent": 92.349, "direction": "higher", "definition": "Referenzwörter, deren endgültige Form höchstens 3 Sekunden vor oder nach dem Wortende im Ton beim Publikum erstmals angezeigt wird, pro Referenzwort. Fehlende und falsch erkannte Wörter zählen als nicht rechtzeitig.", "ci95": [ 91.41, 93.19 ], "ci95Method": "wilson-design-effect", "designEffect": 86.5172 }, { "key": "live-caption-stability", "label": "Stabil angezeigte Wörter", "numerator": 276301, "denominator": 299308, "valuePercent": 92.313, "direction": "higher", "definition": "Referenzwörter, die ab ihrer ersten Anzeige unverändert in endgültiger Form stehen, pro Referenzwort. Vorher anders angezeigte, später umgeschriebene oder entfernte sowie fehlende und falsch erkannte Wörter zählen als nicht stabil.", "ci95": [ 91.26, 93.25 ], "ci95Method": "wilson-design-effect", "designEffect": 106.8291 } ], "scalarMetrics": [ { "key": "live-audio-delay", "label": "Mittlere Übertragungsverzögerung", "value": 0, "unit": "s", "direction": "none", "definition": "Mittlere Zeit vom Wortende im Eingangston bis zum Wortende im Ton beim Publikum. Gewichtet wird je Referenzwort. Bei unverzögerter Audioausgabe beträgt sie null.", "statistic": "mean", "sampleSize": 299308, "ci": [ 0, 0 ] } ], "errorTypes": [ { "label": "Ersetzungen", "count": 11534 }, { "label": "Auslassungen", "count": 6184 }, { "label": "Einfügungen", "count": 4540 } ], "failedRuns": [], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "AI-Media LEXI Text mit Ai-Live, deutsche Originaluntertitel, Stand 3. Quartal 2026", "modelVersions": null, "template": null, "instruction": { "id": "si-instr-live-subtitles", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Virtueller Mikrofoneingang als Mikrofon der Ai-Live-Browsersitzung", "language": "Deutsch", "outputLanguage": "Deutsch", "translation": false, "customVocabularyEntries": 0, "humanCorrection": false, "asrEngine": "Speechmatics", "additionalVideoDelaySeconds": 0, "display": "Deutsche Originaluntertitel im Ai-Live Caption Viewer", "outputRecording": true, "correctionSource": "Originaltranskript und aufgezeichnete Anzeigeereignisse", "capture": "Ereignisprotokoll der angezeigten Untertitel" }, "scorer": { "name": "scribeindex-live-subtitles", "version": "1.0" }, "normalization": { "id": "de-subtitle-wer", "version": "1.0" } }, "corpusMetadata": { "version": "1.0", "manifestSha256": "82acc1a0ff5f8f62ab47815747ab1a96383fb705780eb9597c1d3c51a6b044aa", "referenceVersion": "1.0", "referenceSha256": "12f7090789671983e962a05c01cb6abb03849e6536dc9afde6de15f11454f43b", "sourceScenarioCount": 30, "evaluatedScenarioCount": 30, "totalAudioSeconds": 63840, "durationSeconds": { "minimum": 480, "maximum": 5340 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 1 } ], "conversions": [ { "description": "Einspielung der Aufnahme in Echtzeit als Audioquelle der Live-Sitzung über einen virtuellen Audioeingang mit −20 dBFS RMS", "tool": "scribeindex-playback", "version": "1.0" } ], "exclusions": [] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 30, "resamples": 2000, "seed": 3355895643, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "0f26e97bd0626cfdf95f5dee7a05315be56e31165714a518399326f79379755a" } }, { "id": "amberscript/audio-transkription", "provider": "amberscript", "providerName": "Amberscript", "test": "audio-transkription", "label": "Audiotranskription", "category": "audio-transkription", "url": "https://scribeindex.com/anbieter/amberscript/test/#audio-transkription", "rankingUrl": "https://scribeindex.com/vergleich/audio-transkription/", "testPeriod": "2026-Q2", "protocol": "1.0", "corpus": "de-audio-v1", "scenarios": 44, "runs": 3, "completed": 132, "total": 132, "completionRatePercent": 100, "evaluation": { "output": "verbatim-transcript", "semanticRubric": null, "wordErrorRate": { "applicability": "word-aligned", "basis": "delivered-output", "explanation": "WER wird aus der gelieferten wortnahen Transkriptausgabe gegen die normalisierte Referenz berechnet." } }, "score": { "version": "2.2", "value": 64.4224, "ci95": [ 60.8, 67.7 ], "ci95Method": "paired-cluster-bootstrap", "pairedDifferences": [ { "provider": "happy-scribe", "ci95": [ -4.35, 1.1 ] }, { "provider": "turboscribe", "ci95": [ 0.69, 5.24 ] }, { "provider": "f4", "ci95": [ 2.64, 9.45 ] }, { "provider": "sonix", "ci95": [ 0.88, 5.67 ] }, { "provider": "notta", "ci95": [ 6.15, 11.63 ] }, { "provider": "noscribe", "ci95": [ 0.48, 4.79 ] }, { "provider": "maxqda-transcription", "ci95": [ -13.54, -9.12 ] }, { "provider": "trint", "ci95": [ 2.35, 7.55 ] } ], "rank": 3, "cohortSize": 9, "criticalRatePercent": null, "contentQuality": 89.393, "references": { "key": "audio-transkription", "qualityErrorPoints": 30, "correctionMinutes": 220, "criticalPercent": null }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 64.644, "weight": 0.75, "contribution": 48.483 }, { "key": "effort", "label": "Korrekturaufwand", "value": 54.696, "weight": 0.2, "contribution": 10.939 }, { "key": "reliability", "label": "Abschlussquote", "value": 100, "weight": 0.05, "contribution": 5 } ] }, "mainMetric": { "label": "Wortfehlerrate", "abbreviation": "WER", "value": 9.227, "direction": "lower", "ci95": [ 8.3, 10.26 ] }, "transcription": { "referenceWords": 563238, "substitutions": 30060, "deletions": 14211, "insertions": 7701, "errors": 51972, "werPercent": 9.227, "ci95": [ 8.3, 10.26 ], "comparable": true }, "facts": null, "latency": { "p50Seconds": 426.7, "p95Seconds": 1401.4, "mode": "file-upload", "start": "Uploadstart", "end": "Vollständiger Export verfügbar" }, "correction": { "minutesPerAudioHour": 99.6697, "ci95": [ 90.38, 109.75 ], "estimate": { "outputs": 132, "audioSeconds": 238560, "minutes": 6604.81, "ci": [ 90.38, 109.75 ], "audioHours": 66.267 } }, "additionalMetrics": [ { "key": "cer", "label": "Zeichenfehlerrate · CER", "numerator": 133666, "denominator": 3608808, "valuePercent": 3.704, "direction": "lower", "definition": "Zeichenabweichungen pro Referenzzeichen nach NFC-Normalisierung, einheitlicher Groß- und Kleinschreibung, entfernten Satzzeichen und zu einem Leerzeichen zusammengefasstem Leerraum. Leerzeichen zählen als Zeichen.", "ci95": [ 3.33, 4.12 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "der", "label": "Diarisierungsfehlerrate · DER", "numerator": 3096777, "denominator": 22399644, "valuePercent": 13.825, "direction": "lower", "definition": "Verpasste Sprache, fälschlich erkannte Sprache und falsch zugeordnete Sprecherzeit pro Referenzsprechzeit. Toleranz 250 ms um Referenzgrenzen, überlappende Sprache eingeschlossen. Liefert ein Dienst Sprecherkennungen ohne eigene Zeitmarken, bestimmt ScribeIndex die Zeitmarken durch erzwungene Ausrichtung (Forced Alignment) des gelieferten Texts an der Aufnahme. Die DER berechnet ScribeIndex daraus wie bei allen anderen Diensten, mit verpasster und fälschlich erkannter Sprache und Fehlern an Segmentgrenzen.", "ci95": [ 12.68, 15.05 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "der-strict", "label": "DER ohne Toleranz", "numerator": 4227912, "denominator": 22399644, "valuePercent": 18.875, "direction": "lower", "definition": "Diarisierungsfehlerrate wie DER, jedoch ohne Toleranzbereich um Referenzgrenzen. Die Differenz zur DER zeigt den Anteil der Fehler an Segmentgrenzen.", "ci95": [ 17.27, 20.55 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null } ], "errorTypes": [ { "label": "Ersetzungen", "count": 30060 }, { "label": "Auslassungen", "count": 14211 }, { "label": "Einfügungen", "count": 7701 } ], "failedRuns": [], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "Web-App, Stand 2. Quartal 2026", "modelVersions": null, "template": null, "instruction": { "id": "si-instr-audio-wortgetreu", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Dateiupload im Browser", "language": "Deutsch", "transcriptStyle": "Wortgetreu", "speakerCount": "Automatisch" }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": { "id": "de-allg-wer", "version": "1.0" } }, "corpusMetadata": { "version": "1.0", "manifestSha256": "3bfaff5fa8338156ad4c6bef800ed2cec7c625802242a9f638e07991384aeffc", "referenceVersion": "1.0", "referenceSha256": "903e4e0cc118b16f9d63c460d4f5845b497a1f1d276c2c82b9a2294b542018b4", "sourceScenarioCount": 46, "evaluatedScenarioCount": 44, "totalAudioSeconds": 79500, "durationSeconds": { "minimum": 360, "maximum": 5280 }, "audioFormats": [ { "codec": "FLAC", "sampleRateHertz": 48000, "channels": 1 }, { "codec": "AAC-LC (M4A)", "sampleRateHertz": 44100, "channels": 1 }, { "codec": "Opus (WebM)", "sampleRateHertz": 48000, "channels": 1 }, { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 2 }, { "codec": "G.711 A-law (WAV)", "sampleRateHertz": 8000, "channels": 1 } ], "conversions": [ { "description": "FLAC, Opus-WebM und G.711 A-law werden mit FFmpeg zu PCM-WAV mit 24 Bit bei 48 kHz dekodiert. Die ursprüngliche Kanalzahl und der Sprachinhalt bleiben erhalten.", "tool": "FFmpeg", "version": "7.1.1" } ], "exclusions": [ { "scenarioId": "audio-038", "reason": "Eine mitwirkende Person widerrief die Einwilligung zur Nutzung der Aufnahme." }, { "scenarioId": "audio-041", "reason": "Referenz enthielt mehr als 5 % unverständliche Passagen." } ] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 44, "resamples": 2000, "seed": 1146018123, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "f8a6a79fd7ce74ec952adb5978dd20f46986d1fd5dc8a1502862be03c2f8e886" } }, { "id": "amberscript/untertitel:file-subtitles", "provider": "amberscript", "providerName": "Amberscript", "test": "untertitel:file-subtitles", "label": "Untertitel für Videodateien", "category": "untertitel", "task": "file-subtitles", "url": "https://scribeindex.com/anbieter/amberscript/test/#videodateien", "rankingUrl": "https://scribeindex.com/vergleich/untertitel/videodateien/", "testPeriod": "2026-Q2", "protocol": "1.0", "corpus": "de-untertitel-v1", "scenarios": 40, "runs": 3, "completed": 120, "total": 120, "completionRatePercent": 100, "evaluation": { "output": "subtitles", "semanticRubric": null, "wordErrorRate": { "applicability": "word-aligned", "basis": "delivered-output", "explanation": "WER wird aus dem zusammengeführten Text der exportierten SRT- oder WebVTT-Datei gegen die normalisierte Referenz berechnet. Zeitmarken und Segmentnummern zählen nicht." } }, "score": { "version": "2.2", "value": 48.7669, "ci95": [ 41.1, 55 ], "ci95Method": "paired-cluster-bootstrap", "pairedDifferences": [ { "provider": "ai-media", "ci95": [ -16.53, -5.82 ] }, { "provider": "clevercast", "ci95": [ -2.4, 8.4 ] }, { "provider": "happy-scribe", "ci95": [ -9.67, 0.5 ] }, { "provider": "sonix", "ci95": [ -5.03, 6.55 ] }, { "provider": "veed", "ci95": [ 2.31, 7.86 ] }, { "provider": "kapwing", "ci95": [ 4.9, 14.78 ] }, { "provider": "maestra", "ci95": [ -14.06, -1.16 ] } ], "rank": 4, "cohortSize": 8, "criticalRatePercent": null, "contentQuality": 83.286, "references": { "key": "file-subtitles", "qualityErrorPoints": 30, "correctionMinutes": 233, "criticalPercent": null }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 44.286, "weight": 0.75, "contribution": 33.214 }, { "key": "effort", "label": "Korrekturaufwand", "value": 52.763, "weight": 0.2, "contribution": 10.553 }, { "key": "reliability", "label": "Abschlussquote", "value": 100, "weight": 0.05, "contribution": 5 } ] }, "mainMetric": { "label": "Wortfehlerrate", "abbreviation": "WER", "value": 8.012, "direction": "lower", "ci95": [ 7.19, 8.98 ] }, "transcription": { "referenceWords": 287784, "substitutions": 13106, "deletions": 6594, "insertions": 3358, "errors": 23058, "werPercent": 8.012, "ci95": [ 7.19, 8.98 ], "comparable": true }, "facts": null, "latency": { "p50Seconds": 173.8, "p95Seconds": 500.4, "mode": "file-upload", "start": "Uploadstart", "end": "Vollständiger Export verfügbar" }, "correction": { "minutesPerAudioHour": 110.0623, "ci95": [ 98.26, 122.57 ], "estimate": { "outputs": 120, "audioSeconds": 145500, "minutes": 4448.72, "ci": [ 98.26, 122.57 ], "audioHours": 40.42 } }, "additionalMetrics": [ { "key": "cer", "label": "Zeichenfehlerrate · CER", "numerator": 60024, "denominator": 1860348, "valuePercent": 3.226, "direction": "lower", "definition": "Zeichenabweichungen pro Referenzzeichen nach NFC-Normalisierung, einheitlicher Groß- und Kleinschreibung, entfernten Satzzeichen und zu einem Leerzeichen zusammengefasstem Leerraum. Leerzeichen zählen als Zeichen.", "ci95": [ 2.87, 3.66 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "subtitle-timing-accuracy", "label": "Zeitlich passende Untertitel", "numerator": 21701, "denominator": 29448, "valuePercent": 73.693, "direction": "higher", "definition": "Vollständig abgedeckte Referenzsegmente, bei denen der früheste Beginn und das späteste Ende der zugeordneten Untertitel jeweils höchstens 200 ms von der Referenz abweichen. Fehlende Segmente zählen als nicht passend.", "ci95": [ 70.85, 76.35 ], "ci95Method": "wilson-design-effect", "designEffect": 29.9602 }, { "key": "subtitle-layout-accuracy", "label": "Lesbare Untertitel", "numerator": 22357, "denominator": 29448, "valuePercent": 75.92, "direction": "higher", "definition": "Vollständig abgedeckte Referenzsegmente mit höchstens 2 Zeilen, 42 Zeichen je Zeile und 17 Zeichen je Sekunde in allen zugeordneten Ausgabesegmenten.", "ci95": [ 73.67, 78.03 ], "ci95Method": "wilson-design-effect", "designEffect": 19.8956 } ], "scalarMetrics": [ { "key": "subtitle-timing-offset-ms", "label": "Mittlere Zeitabweichung", "value": 283.16, "unit": "ms", "direction": "lower", "definition": "Mittel der absoluten Abweichung der äußeren Start- und Endgrenzen von den zugeordneten Referenzsegmenten, gewichtet je Referenzsegment.", "statistic": "mean", "sampleSize": 29282, "ci": [ 269.71, 297.99 ] }, { "key": "subtitle-reading-speed-cps", "label": "Mittlere Lesegeschwindigkeit", "value": 13.94, "unit": "Zeichen/s", "direction": "none", "definition": "Sichtbare Zeichen einschließlich Leerzeichen innerhalb der Zeilen, geteilt durch die jeweilige Standzeit, je ausgegebenem Untertitel, gemittelt über alle ausgegebenen Untertitel.", "statistic": "mean", "sampleSize": 36207, "ci": [ 13.41, 14.49 ] }, { "key": "subtitle-line-length-cpl", "label": "Mittlere Zeilenlänge", "value": 29.72, "unit": "Zeichen/Zeile", "direction": "none", "definition": "Mittlere Zahl sichtbarer Unicode-Zeichen je ausgegebener Untertitelzeile.", "statistic": "mean", "sampleSize": 63125, "ci": [ 29.36, 30.13 ] } ], "errorTypes": [ { "label": "Ersetzungen", "count": 13106 }, { "label": "Auslassungen", "count": 6594 }, { "label": "Einfügungen", "count": 3358 } ], "failedRuns": [], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "Web-App, deutsche Videountertitel, Stand 2. Quartal 2026", "modelVersions": null, "template": null, "instruction": { "id": "si-instr-subtitles", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "MP4-Dateiupload", "language": "Deutsch", "translation": false, "export": "SRT", "manualCorrection": false }, "scorer": { "name": "scribeindex-subtitles", "version": "1.0" }, "normalization": { "id": "de-subtitle-wer", "version": "1.0" } }, "corpusMetadata": { "version": "1.0", "manifestSha256": "a35c5ee698d61b365b97c82257195aeb72edbd47eab9da548608335d37899941", "referenceVersion": "1.0", "referenceSha256": "6ec7f71b2989eb19791326360ba6649b7c8c020915a316303d8763a8f58b2d45", "sourceScenarioCount": 40, "evaluatedScenarioCount": 40, "totalAudioSeconds": 48480, "durationSeconds": { "minimum": 180, "maximum": 3540 }, "audioFormats": [ { "codec": "H.264 MP4, AAC-LC", "sampleRateHertz": 48000, "channels": 2 } ], "conversions": [], "exclusions": [] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 40, "resamples": 2000, "seed": 1605653364, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "22c41832e7f4054b58c4911e41b1b961649b0482f9f511ad72891e68023bafbc" } }, { "id": "audiopen/diktiersoftware:general-dictation", "provider": "audiopen", "providerName": "AudioPen", "test": "diktiersoftware:general-dictation", "label": "Allgemeine Diktate", "category": "diktiersoftware", "task": "general-dictation", "url": "https://scribeindex.com/anbieter/audiopen/test/#allgemein", "rankingUrl": "https://scribeindex.com/vergleich/diktiersoftware/allgemein/", "testPeriod": "2026-Q3", "protocol": "1.0", "corpus": "de-buero-diktat-v1", "scenarios": 40, "runs": 3, "completed": 120, "total": 120, "completionRatePercent": 100, "evaluation": { "output": "verbatim-transcript", "semanticRubric": null, "wordErrorRate": { "applicability": "word-aligned", "basis": "delivered-output", "explanation": "WER wird aus der gelieferten wortnahen Transkriptausgabe gegen die normalisierte Referenz berechnet." } }, "score": { "version": "2.2", "value": 69.967, "ci95": [ 66.6, 73.3 ], "ci95Method": "paired-cluster-bootstrap", "pairedDifferences": [ { "provider": "wispr-flow", "ci95": [ -17.45, -10.67 ] }, { "provider": "superwhisper", "ci95": [ 5.43, 13.67 ] }, { "provider": "dragon-legal", "ci95": [ -13.48, -7.14 ] }, { "provider": "letterly", "ci95": [ -5.09, 0.89 ] }, { "provider": "dictnow", "ci95": [ -7.93, -2.26 ] } ], "rank": 5, "cohortSize": 6, "criticalRatePercent": null, "contentQuality": 90.526, "references": { "key": "general-dictation", "qualityErrorPoints": 30, "correctionMinutes": 164, "criticalPercent": null }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 68.422, "weight": 0.75, "contribution": 51.316 }, { "key": "effort", "label": "Korrekturaufwand", "value": 68.254, "weight": 0.2, "contribution": 13.651 }, { "key": "reliability", "label": "Abschlussquote", "value": 100, "weight": 0.05, "contribution": 5 } ] }, "mainMetric": { "label": "Wortfehlerrate", "abbreviation": "WER", "value": 9.066, "direction": "lower", "ci95": [ 8.12, 10.09 ] }, "transcription": { "referenceWords": 53508, "substitutions": 1985, "deletions": 892, "insertions": 1974, "errors": 4851, "werPercent": 9.066, "ci95": [ 8.12, 10.09 ], "comparable": true }, "facts": null, "latency": { "p50Seconds": 2.1, "p95Seconds": 4.2, "mode": "live-dictation", "start": "Ende des letzten zugespielten Wortes", "end": "Stabile nutzbare Textausgabe" }, "correction": { "minutesPerAudioHour": 52.064, "ci95": [ 47.71, 56.54 ], "estimate": { "outputs": 120, "audioSeconds": 25080, "minutes": 362.73, "ci": [ 47.71, 56.54 ], "audioHours": 6.967 } }, "additionalMetrics": [ { "key": "cer", "label": "Zeichenfehlerrate · CER", "numerator": 17087, "denominator": 344913, "valuePercent": 4.954, "direction": "lower", "definition": "Zeichenabweichungen pro Referenzzeichen nach NFC-Normalisierung, einheitlicher Groß- und Kleinschreibung, entfernten Satzzeichen und zu einem Leerzeichen zusammengefasstem Leerraum. Leerzeichen zählen als Zeichen.", "ci95": [ 4.27, 5.72 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "name-accuracy", "label": "Korrekte Namen", "numerator": 405, "denominator": 480, "valuePercent": 84.375, "direction": "higher", "definition": "Korrekt übernommene Personen- und Firmennamen pro annotiertem Referenznamen. Vorab freigegebene Schreibvarianten zählen als richtig.", "ci95": [ 77.82, 89.26 ], "ci95Method": "wilson-design-effect", "designEffect": 3.1029 }, { "key": "number-accuracy", "label": "Korrekte Zahlen", "numerator": 667, "denominator": 714, "valuePercent": 93.417, "direction": "higher", "definition": "Korrekt übernommene Zahlen mit ihrer Einheit und ihrem Bezug pro annotierter Zahlenangabe. Falsche oder ausgelassene Werte zählen als nicht korrekt.", "ci95": [ 89.46, 95.96 ], "ci95Method": "wilson-design-effect", "designEffect": 3.0845 }, { "key": "dictation-command-accuracy", "label": "Umgesetzte Diktatbefehle", "numerator": 0, "denominator": 441, "valuePercent": null, "direction": "higher", "definition": "Richtig ausgeführte festgelegte Satzzeichen-, Absatz- und Korrekturbefehle pro ausgesprochenem Referenzbefehl. Der Befehl soll wirken und nicht als Befehlswort im Text stehen.", "ci95": null, "ci95Method": null, "designEffect": null }, { "key": "self-correction-accuracy", "label": "Umgesetzte Selbstkorrekturen", "numerator": 4, "denominator": 207, "valuePercent": 1.932, "direction": "higher", "definition": "Spontane Selbstkorrekturen, nach denen das Dokument nur die endgültige Angabe enthält, pro annotierter Selbstkorrektur der Referenz. Steht die verworfene Angabe noch im Text oder ersetzt sie die endgültige, ist die Selbstkorrektur nicht umgesetzt. Ob eine Regel oder ein Sprachmodell sie umsetzt, spielt keine Rolle.", "ci95": [ 0.37, 9.39 ], "ci95Method": "wilson-design-effect", "designEffect": 3.5215 }, { "key": "edit-instruction-accuracy", "label": "Umgesetzte Bearbeitungsanweisungen", "numerator": 0, "denominator": 36, "valuePercent": 0, "direction": "higher", "definition": "Frei formulierte Anweisungen an das Dokument, deren Wirkung das gelieferte Dokument zeigt, pro annotierter Anweisung der Referenz. Eine solche Anweisung ändert eine früher genannte Angabe, ergänzt Inhalt an einer früheren Stelle oder verschiebt einen Abschnitt. Steht sie wörtlich im Text oder bleibt sie ohne Wirkung, ist sie nicht umgesetzt. Ob eine Regel oder ein Sprachmodell sie umsetzt, spielt keine Rolle.", "ci95": [ 0, 25.89 ], "ci95Method": "wilson-design-effect", "designEffect": 3.2727 } ], "errorTypes": [ { "label": "Ersetzungen", "count": 1985 }, { "label": "Auslassungen", "count": 892 }, { "label": "Einfügungen", "count": 1974 } ], "failedRuns": [], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "AudioPen Desktop, Originaltranskript im Voice-Typing-Modus, Stand 3. Quartal 2026", "modelVersions": null, "template": null, "instruction": { "id": "si-instr-diktat-wortnah", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Virtueller Mikrofoneingang", "platform": "Native macOS-App", "language": "Deutsch", "mode": "Hotkey gehalten, Originaltext ohne AI Rewrite", "processing": "Cloud-ASR", "personalDictionary": false, "voiceCommands": false }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": { "id": "de-allg-wer", "version": "1.0" } }, "corpusMetadata": { "version": "1.0", "manifestSha256": "be86355a52a9e6e6ac547fa75797ca0c34d34b998965c77efe431e8cac1bf200", "referenceVersion": "1.0", "referenceSha256": "2f3f1976d19c5059b932063bd9b929c3ad3df1d749efd78e0060e5b1364c5f41", "sourceScenarioCount": 40, "evaluatedScenarioCount": 40, "totalAudioSeconds": 8340, "durationSeconds": { "minimum": 60, "maximum": 600 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 1 } ], "conversions": [ { "description": "Kontrollierte Wiedergabe der Referenzaufnahmen über einen virtuellen Mikrofoneingang mit −20 dBFS RMS in Echtzeit", "tool": "scribeindex-playback", "version": "1.0" } ], "exclusions": [] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 40, "resamples": 2000, "seed": 2217701174, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "5b6419a32e9fc2e489a2dae6029ddcb9e755388234d69b65a19df934ad0bdabc" } }, { "id": "audiopen/diktiersoftware:voice-writing", "provider": "audiopen", "providerName": "AudioPen", "test": "diktiersoftware:voice-writing", "label": "Sprachgestützte Textausarbeitung", "category": "diktiersoftware", "task": "voice-writing", "url": "https://scribeindex.com/anbieter/audiopen/test/#textausarbeitung", "rankingUrl": "https://scribeindex.com/vergleich/diktiersoftware/textausarbeitung/", "testPeriod": "2026-Q3", "protocol": "1.0", "corpus": "de-voice-writing-v1", "scenarios": 40, "runs": 3, "completed": 119, "total": 120, "completionRatePercent": 99.167, "evaluation": { "output": "written-document", "semanticRubric": "writing-facts-v1", "wordErrorRate": { "applicability": "not-applicable", "basis": "unavailable", "explanation": "Die gelieferte Ausgabe ist ein ausgearbeiteter Text, keine wortnahe Abschrift. Deshalb gibt es keine WER." } }, "score": { "version": "2.2", "value": 76.8042, "ci95": [ 72.9, 80.4 ], "ci95Method": "paired-cluster-bootstrap", "pairedDifferences": [ { "provider": "wispr-flow", "ci95": [ -11.37, -3.34 ] }, { "provider": "superwhisper", "ci95": [ -2.14, 6.71 ] }, { "provider": "letterly", "ci95": [ -11.59, 0.16 ] }, { "provider": "speechlive-legal", "ci95": [ -9.09, -0.11 ] } ], "rank": 4, "cohortSize": 5, "criticalRatePercent": null, "contentQuality": 92.067, "references": { "key": "voice-writing", "qualityErrorPoints": 30, "correctionMinutes": 142, "criticalPercent": null }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 73.557, "weight": 0.75, "contribution": 55.167 }, { "key": "effort", "label": "Korrekturaufwand", "value": 83.392, "weight": 0.2, "contribution": 16.678 }, { "key": "reliability", "label": "Abschlussquote", "value": 99.167, "weight": 0.05, "contribution": 4.958 } ] }, "mainMetric": { "label": "Fakten-F1", "abbreviation": "F1", "value": 93.058, "direction": "higher", "ci95": [ 91.7, 94.32 ] }, "transcription": null, "facts": { "truePositive": 2346, "falsePositive": 118, "falseNegative": 232, "referenceFacts": 2578, "outputFacts": 2464, "precisionPercent": 95.211, "precisionCi95": [ 93.89, 96.48 ], "recallPercent": 91.001, "recallCi95": [ 88.97, 92.8 ], "f1Percent": 93.058, "f1Ci95": [ 91.7, 94.32 ] }, "latency": { "p50Seconds": 24.2, "p95Seconds": 47.3, "mode": "live-dictation", "start": "Ende des gesprochenen Auftrags", "end": "Fertiger Text verfügbar" }, "correction": { "minutesPerAudioHour": 23.5834, "ci95": [ 19.73, 28.05 ], "estimate": { "outputs": 119, "audioSeconds": 28440, "minutes": 186.45, "ci": [ 19.73, 28.05 ], "audioHours": 7.906 } }, "additionalMetrics": [ { "key": "unsupported-statements", "label": "Falsche oder unbelegte Aussagen", "numerator": 51, "denominator": 2464, "valuePercent": 2.07, "direction": "lower", "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.", "ci95": [ 1.38, 3.1 ], "ci95Method": "wilson-design-effect", "designEffect": 2.2323 }, { "key": "instruction-compliance", "label": "Umgesetzte Schreibanweisungen", "numerator": 659, "denominator": 748, "valuePercent": 88.102, "direction": "higher", "definition": "Korrekt umgesetzte explizite Anweisungen zu Format, Ton, Reihenfolge und Änderungen pro vorab festgelegter Schreibanweisung. Eine korrekt geschriebene E-Mail ersetzt keinen fehlenden Einzelauftrag.", "ci95": [ 83.17, 91.74 ], "ci95Method": "wilson-design-effect", "designEffect": 3.3809 } ], "errorTypes": [ { "label": "Nicht erfasste Referenzfakten", "count": 232 }, { "label": "Falsche oder unbelegte Aussagen", "count": 51 }, { "label": "Zutreffende, aber nicht relevante Aussagen", "count": 67 } ], "failedRuns": [ { "scenarioId": "ausarbeitung-001", "run": 1, "reason": "Textausarbeitung nach der Aufnahme mit Fehlermeldung abgebrochen" } ], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "AudioPen Desktop, AI Rewrite, Stand 3. Quartal 2026", "modelVersions": null, "template": null, "instruction": { "id": "si-instr-voice-writing", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Virtueller Mikrofoneingang", "platform": "Native macOS-App", "language": "Deutsch", "mode": "Double-Tap AI Rewrite, Anweisung je Fall aus dem Arbeitsauftrag", "processing": "Cloud-ASR und Cloud-Textbearbeitung", "target": "Vorab festgelegter Schreibauftrag", "personalDictionary": false, "extraContext": false }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": null }, "corpusMetadata": { "version": "1.0", "manifestSha256": "a2194236d0c043d838b24210574c7bf8a3c918cbe1bcce4db693e95b675ca2e2", "referenceVersion": "1.0", "referenceSha256": "2d895d782442beec8769e48974bf2d650e4c80f2b6555d633e58c77a5a161833", "sourceScenarioCount": 40, "evaluatedScenarioCount": 40, "totalAudioSeconds": 9600, "durationSeconds": { "minimum": 60, "maximum": 600 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 1 } ], "conversions": [ { "description": "Kontrollierte Wiedergabe der Referenzaufnahmen über einen virtuellen Mikrofoneingang mit −20 dBFS RMS in Echtzeit", "tool": "scribeindex-playback", "version": "1.0" } ], "exclusions": [] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 40, "resamples": 2000, "seed": 3301926752, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "175bb08bcec3d46df9a7e79d3383ed75fd39e092bfc7ebe4823aec3915a1820a" } }, { "id": "bluedot/meeting-scribes", "provider": "bluedot", "providerName": "Bluedot", "test": "meeting-scribes", "label": "Meeting-Scribes", "category": "meeting-scribes", "url": "https://scribeindex.com/anbieter/bluedot/test/#meeting-scribes", "rankingUrl": "https://scribeindex.com/vergleich/meeting-scribes/", "testPeriod": "2026-Q2", "protocol": "1.0", "corpus": "de-meeting-v1", "scenarios": 38, "runs": 2, "completed": 76, "total": 76, "completionRatePercent": 100, "evaluation": { "output": "meeting-summary", "semanticRubric": "meeting-facts-v1", "wordErrorRate": { "applicability": "not-applicable", "basis": "unavailable", "explanation": "Bewertet werden das gelieferte Protokoll und die Sprecherzuordnung im exportierten Transkript. Die Transkript-WER gilt nur für dieses Transkript und zählt nicht zum ScribeIndex-Score." } }, "score": { "version": "2.2", "value": 50.5657, "ci95": [ 45.9, 55.3 ], "ci95Method": "paired-cluster-bootstrap", "pairedDifferences": [ { "provider": "jamie", "ci95": [ -14.78, -4.31 ] }, { "provider": "otter", "ci95": [ -10.93, -0.08 ] }, { "provider": "fireflies", "ci95": [ -16.09, -5.41 ] }, { "provider": "fathom", "ci95": [ -22.88, -14.64 ] }, { "provider": "granola", "ci95": [ -12.85, -1.27 ] }, { "provider": "tldv", "ci95": [ -9.38, 0.26 ] }, { "provider": "happy-scribe", "ci95": [ -13.46, -2.53 ] }, { "provider": "notta", "ci95": [ -3.09, 10.58 ] }, { "provider": "read-ai", "ci95": [ -12.96, -2.13 ] }, { "provider": "meetgeek", "ci95": [ -14.64, -5.26 ] }, { "provider": "sembly", "ci95": [ -3.3, 7.35 ] }, { "provider": "plaud", "ci95": [ -10.13, 1.34 ] }, { "provider": "sally", "ci95": [ -8.93, 1.71 ] } ], "rank": 12, "cohortSize": 14, "criticalRatePercent": null, "contentQuality": 83.71, "references": { "key": "meeting-scribes", "qualityErrorPoints": 30, "correctionMinutes": 35, "criticalPercent": null }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 45.7, "weight": 0.75, "contribution": 34.275 }, { "key": "effort", "label": "Korrekturaufwand", "value": 56.452, "weight": 0.2, "contribution": 11.29 }, { "key": "reliability", "label": "Abschlussquote", "value": 100, "weight": 0.05, "contribution": 5 } ] }, "mainMetric": { "label": "Fakten-F1", "abbreviation": "F1", "value": 85.012, "direction": "higher", "ci95": [ 83.39, 86.7 ] }, "transcription": null, "facts": { "truePositive": 2368, "falsePositive": 319, "falseNegative": 516, "referenceFacts": 2884, "outputFacts": 2687, "precisionPercent": 88.128, "precisionCi95": [ 86.31, 90.09 ], "recallPercent": 82.108, "recallCi95": [ 80.04, 84.28 ], "f1Percent": 85.012, "f1Ci95": [ 83.39, 86.7 ] }, "latency": { "p50Seconds": 117.1, "p95Seconds": 209.2, "mode": "live-conversation", "start": "Ende der Gesprächserfassung", "end": "Vollständiges Protokoll verfügbar" }, "correction": { "minutesPerAudioHour": 15.2418, "ci95": [ 13.65, 16.84 ], "estimate": { "outputs": 76, "audioSeconds": 182520, "minutes": 772.76, "ci": [ 13.65, 16.84 ], "audioHours": 50.7 } }, "additionalMetrics": [ { "key": "transcript-wer", "label": "Transkript-WER", "numerator": 48712, "denominator": 389306, "valuePercent": 12.513, "direction": "lower", "definition": "Wortersetzungen, Auslassungen und Einfügungen im exportierten Transkript pro Referenzwort nach Normalisierungsprofil de-allg-wer. Bewertet das Transkript, nicht die Zusammenfassung.", "ci95": [ 11.55, 13.45 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "der", "label": "Diarisierungsfehlerrate · DER", "numerator": 3225923, "denominator": 16691388, "valuePercent": 19.327, "direction": "lower", "definition": "Verpasste Sprache, fälschlich erkannte Sprache und falsch zugeordnete Sprecherzeit pro Referenzsprechzeit. Toleranz 250 ms um Referenzgrenzen, überlappende Sprache eingeschlossen. Liefert ein Dienst Sprecherkennungen ohne eigene Zeitmarken, bestimmt ScribeIndex die Zeitmarken durch erzwungene Ausrichtung (Forced Alignment) des gelieferten Texts an der Aufnahme. Die DER berechnet ScribeIndex daraus wie bei allen anderen Diensten, mit verpasster und fälschlich erkannter Sprache und Fehlern an Segmentgrenzen.", "ci95": [ 17.09, 21.61 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "der-strict", "label": "DER ohne Toleranz", "numerator": 4249235, "denominator": 16691388, "valuePercent": 25.458, "direction": "lower", "definition": "Diarisierungsfehlerrate wie DER, jedoch ohne Toleranzbereich um Referenzgrenzen. Die Differenz zur DER zeigt den Anteil der Fehler an Segmentgrenzen.", "ci95": [ 22.51, 28.51 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "unsupported-statements", "label": "Falsche oder unbelegte Aussagen", "numerator": 170, "denominator": 2687, "valuePercent": 6.327, "direction": "lower", "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.", "ci95": [ 5.07, 7.87 ], "ci95Method": "wilson-design-effect", "designEffect": 2.2736 }, { "key": "decision-recall", "label": "Erfasste Beschlüsse", "numerator": 240, "denominator": 302, "valuePercent": 79.47, "direction": "higher", "definition": "Korrekt als Beschluss wiedergegebene Referenzbeschlüsse mit Geltungsbereich und Status pro Referenzbeschluss. Als Beschluss ausgegebene Vorschläge zählen nicht als Treffer.", "ci95": [ 73.12, 84.64 ], "ci95Method": "wilson-design-effect", "designEffect": 1.6119 }, { "key": "action-item-recall", "label": "Erkannte Aufgaben", "numerator": 402, "denominator": 456, "valuePercent": 88.158, "direction": "higher", "definition": "Referenzaufgaben, die im Protokoll als Aufgabe erscheinen, pro Referenzaufgabe. Zuständigkeit und Frist werden getrennt bewertet.", "ci95": [ 84.14, 91.27 ], "ci95Method": "wilson-design-effect", "designEffect": 1.4339 }, { "key": "action-owner-accuracy", "label": "Korrekte Zuständigkeiten", "numerator": 255, "denominator": 332, "valuePercent": 76.807, "direction": "higher", "definition": "Korrekt wiedergegebene verantwortliche Personen pro Referenzaufgabe mit ausdrücklich genannter Zuständigkeit. Nicht erkannte Aufgaben zählen als Fehler.", "ci95": [ 70.94, 81.8 ], "ci95Method": "wilson-design-effect", "designEffect": 1.4415 }, { "key": "action-deadline-accuracy", "label": "Korrekte Fristen", "numerator": 183, "denominator": 234, "valuePercent": 78.205, "direction": "higher", "definition": "Korrekt wiedergegebene Fristen pro Referenzaufgabe mit ausdrücklich genannter Frist. Nicht erkannte Aufgaben zählen als Fehler.", "ci95": [ 71.08, 83.97 ], "ci95Method": "wilson-design-effect", "designEffect": 1.5037 }, { "key": "action-tuple-accuracy", "label": "Vollständig korrekte Aufgaben", "numerator": 323, "denominator": 456, "valuePercent": 70.833, "direction": "higher", "definition": "Aufgaben, deren Tätigkeit, Zuständigkeit und Frist vollständig korrekt wiedergegeben werden, pro Referenzaufgabe. Nicht genannte Zuständigkeiten oder Fristen müssen als nicht genannt erscheinen.", "ci95": [ 65.68, 75.5 ], "ci95Method": "wilson-design-effect", "designEffect": 1.3951 } ], "errorTypes": [ { "label": "Nicht erfasste Referenzfakten", "count": 516 }, { "label": "Falsche oder unbelegte Aussagen", "count": 170 }, { "label": "Zutreffende, aber nicht relevante Aussagen", "count": 149 } ], "failedRuns": [], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "Bluedot Desktop für Windows, Stand 2. Quartal 2026", "modelVersions": [ { "name": "Spracherkennung vom Anbieter nicht benannt", "version": null }, { "name": "GPT-5 für Zusammenfassungen", "version": null } ], "template": { "id": "si-meeting-protokoll", "version": "1.0" }, "instruction": { "id": "si-instr-meeting", "version": "1.0" }, "customVocabulary": null, "settings": { "capture": "Desktop-Audio (Mikrofon und Systemaudio)", "transcriptLanguage": "de-DE", "outputLanguage": "de-DE", "participantList": true }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": { "id": "de-allg-wer", "version": "1.0" } }, "corpusMetadata": { "version": "1.0", "manifestSha256": "1a25115bb8a34e284f1d01d3860260a21cb8f5847004facb1596738bbac7ddab", "referenceVersion": "1.0", "referenceSha256": "eab8be0ab42fa45d7c98cb94b1a700dfc141ed5d7e96d67f4d9349c7d3a84d70", "sourceScenarioCount": 40, "evaluatedScenarioCount": 38, "totalAudioSeconds": 91260, "durationSeconds": { "minimum": 780, "maximum": 5220 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 2 }, { "codec": "Opus (WebM)", "sampleRateHertz": 48000, "channels": 1 } ], "conversions": [ { "description": "Teilnahme an derselben Videokonferenz auf einem Testrechner, Einspielung über virtuelle Konferenzteilnehmende wie bei Meeting-Bots. Die übrigen Teilnehmenden kommen als Systemaudio an, der Mikrofonkanal trägt den Sprechanteil der Person am Testrechner.", "tool": "scribeindex-meeting-replay", "version": "1.0" } ], "exclusions": [ { "scenarioId": "meeting-012", "reason": "Sprecherreferenz wegen Übersprechen zweier Raummikrofone nicht belastbar." }, { "scenarioId": "meeting-029", "reason": "Teilnehmende widerriefen die Nutzung der Aufnahme." } ] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 38, "resamples": 2000, "seed": 4134088586, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "3ee50ed01707c6c0c1902b3d172d67b6fe4b33360c81d07433d846f0fcbe3781" } }, { "id": "clara-health/medical-scribes:therapy-notes", "provider": "clara-health", "providerName": "Clara Health", "test": "medical-scribes:therapy-notes", "label": "Psychotherapeutische Sitzungsdokumentation", "category": "medical-scribes", "task": "therapy-notes", "url": "https://scribeindex.com/anbieter/clara-health/test/#psychotherapie", "rankingUrl": "https://scribeindex.com/vergleich/medical-scribes/psychotherapie/", "testPeriod": "2026-Q2", "protocol": "1.0", "corpus": "de-therapie-v1", "scenarios": 36, "runs": 3, "completed": 107, "total": 108, "completionRatePercent": 99.074, "evaluation": { "output": "therapy-note", "semanticRubric": "clinical-facts-v1", "wordErrorRate": { "applicability": "not-applicable", "basis": "unavailable", "explanation": "Die gelieferte Ausgabe ist eine therapeutische Sitzungsnotiz. Bewertet werden dokumentationsrelevante Fakten und ihre Zuordnung, nicht die Wortfolge des Gesprächs." } }, "score": { "version": "2.2", "value": 70.8641, "ci95": [ 63.8, 74.7 ], "ci95Method": "paired-cluster-bootstrap-beta-critical", "pairedDifferences": [ { "provider": "healthjet", "ci95": [ -0.8, 15.9 ] }, { "provider": "playnvoice", "ci95": [ -6.56, 4.4 ] }, { "provider": "heidi", "ci95": [ 3.22, 20.74 ] }, { "provider": "tandem-health", "ci95": [ -2.15, 14.5 ] }, { "provider": "via-health", "ci95": [ -14.19, 0.19 ] }, { "provider": "dokudachs", "ci95": [ -12.32, 2.71 ] }, { "provider": "iptas", "ci95": [ -10.5, 1.79 ] }, { "provider": "lumanote", "ci95": [ -9.74, 6.53 ] }, { "provider": "noa-notes", "ci95": [ 3.35, 17.32 ] }, { "provider": "psynex", "ci95": [ -13.13, -0.36 ] }, { "provider": "upheal", "ci95": [ 6.64, 25.29 ] } ], "rank": 7, "cohortSize": 12, "criticalRatePercent": 0.935, "contentQuality": 89.443, "references": { "key": "therapy-notes", "qualityErrorPoints": 30, "correctionMinutes": 20, "criticalPercent": 20 }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 64.81, "weight": 0.6, "contribution": 38.886 }, { "key": "critical", "label": "Schwerwiegende Fehler", "value": 95.327, "weight": 0.2, "contribution": 19.065 }, { "key": "effort", "label": "Korrekturaufwand", "value": 53.06, "weight": 0.15, "contribution": 7.959 }, { "key": "reliability", "label": "Abschlussquote", "value": 99.074, "weight": 0.05, "contribution": 4.954 } ] }, "mainMetric": { "label": "Fakten-F1", "abbreviation": "F1", "value": 89.443, "direction": "higher", "ci95": [ 87.75, 90.93 ] }, "transcription": null, "facts": { "truePositive": 2834, "falsePositive": 201, "falseNegative": 468, "referenceFacts": 3302, "outputFacts": 3035, "precisionPercent": 93.377, "precisionCi95": [ 92.13, 94.61 ], "recallPercent": 85.827, "recallCi95": [ 83.2, 88.36 ], "f1Percent": 89.443, "f1Ci95": [ 87.75, 90.93 ] }, "latency": { "p50Seconds": 637.6, "p95Seconds": 1005.2, "mode": "file-upload", "start": "Uploadstart", "end": "Vollständiges Dokument verfügbar" }, "correction": { "minutesPerAudioHour": 9.388, "ci95": [ 8.05, 10.72 ], "estimate": { "outputs": 107, "audioSeconds": 308160, "minutes": 803.62, "ci": [ 8.05, 10.72 ], "audioHours": 85.601 } }, "additionalMetrics": [ { "key": "critical-documents", "label": "Dokumente mit schwerwiegendem Fehler", "numerator": 1, "denominator": 107, "valuePercent": 0.935, "direction": "lower", "definition": "Ausgaben mit mindestens einem potenziell schwerwiegenden medizinischen Fehler pro abgeschlossener Ausgabe. Bewertet wird jeder Fall nach einer festgelegten Fehlerrubrik. Fehler bei Medikation oder Verneinung zählen hier nur, wenn die Rubrik die betroffene Angabe als potenziell schwerwiegend einstuft. Die Zähler je Fehlerart enthalten auch folgenlose Abweichungen.", "ci95": [ 0.09, 8.24 ], "ci95Method": "wilson-design-effect", "designEffect": 1.9642 }, { "key": "unsupported-statements", "label": "Falsche oder unbelegte Aussagen", "numerator": 102, "denominator": 3035, "valuePercent": 3.361, "direction": "lower", "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.", "ci95": [ 2.5, 4.49 ], "ci95Method": "wilson-design-effect", "designEffect": 2.3483 }, { "key": "medical-term-errors", "label": "Fehler bei Fachbegriffen", "numerator": 47, "denominator": 1176, "valuePercent": 3.997, "direction": "lower", "definition": "Fachlich falsch wiedergegebene oder ausgelassene medizinische Konzepte pro annotiertem Fachkonzept der Referenz. Synonyme gelten bei gleicher Bedeutung als korrekt.", "ci95": [ 2.57, 6.16 ], "ci95Method": "wilson-design-effect", "designEffect": 2.4604 }, { "key": "medication-errors", "label": "Fehler bei Medikamenten und Dosierungen", "numerator": 2, "denominator": 74, "valuePercent": 2.703, "direction": "lower", "definition": "Falsch wiedergegebene oder ausgelassene Angaben zu Wirkstoff, Dosis, Einheit und Einnahme pro annotierter Medikationsangabe. Jede Angabe zählt höchstens einmal.", "ci95": [ 0.44, 14.65 ], "ci95Method": "wilson-design-effect", "designEffect": 2.1972 }, { "key": "negation-errors", "label": "Fehler bei Verneinungen", "numerator": 2, "denominator": 428, "valuePercent": 0.467, "direction": "lower", "definition": "Verlorene, hinzugefügte oder umgekehrte Negationen pro Referenzaussage mit verneintem oder ausdrücklich bestätigtem Befund. Eine Aussage zählt höchstens einmal.", "ci95": [ 0.06, 3.22 ], "ci95Method": "wilson-design-effect", "designEffect": 2.7 }, { "key": "temporal-errors", "label": "Fehler bei zeitlichen Angaben", "numerator": 55, "denominator": 962, "valuePercent": 5.717, "direction": "lower", "definition": "Falsch zugeordnete oder ausgelassene Zeitpunkte, Dauern und zeitliche Beziehungen pro annotierter zeitlicher Referenzangabe.", "ci95": [ 3.81, 8.48 ], "ci95Method": "wilson-design-effect", "designEffect": 2.4609 }, { "key": "attribution-errors", "label": "Fehler bei der Zuordnung", "numerator": 70, "denominator": 1896, "valuePercent": 3.692, "direction": "lower", "definition": "Falsche oder ausgelassene Zuordnung von Aussagen zu Patient, behandelnder Person oder Drittperson pro Referenzfakt mit erforderlicher Quellenzuordnung.", "ci95": [ 2.52, 5.37 ], "ci95Method": "wilson-design-effect", "designEffect": 2.7193 }, { "key": "risk-assessment-errors", "label": "Fehler bei Risikohinweisen", "numerator": 10, "denominator": 168, "valuePercent": 5.952, "direction": "lower", "definition": "Ausgelassene, hinzugefügte oder falsch eingeordnete Aussagen zu Selbstgefährdung und Schutzfaktoren pro annotierter risikorelevanter Referenzaussage. Bewertet wird anhand des Gesprächs nach einer festgelegten Rubrik.", "ci95": [ 2.38, 14.08 ], "ci95Method": "wilson-design-effect", "designEffect": 2.3854 } ], "errorTypes": [ { "label": "Nicht erfasste Referenzfakten", "count": 468 }, { "label": "Falsche oder unbelegte Aussagen", "count": 102 }, { "label": "Zutreffende, aber nicht relevante Aussagen", "count": 99 } ], "failedRuns": [ { "scenarioId": "therapie-024", "run": 2, "reason": "Export unvollständig, Dokument nach dem dritten Abschnitt abgeschnitten" } ], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "Clara Health Desktop-Anwendung für Windows/macOS mit Audio-Upload, Stand 2. Quartal 2026", "modelVersions": null, "template": { "id": "si-therapie-verlauf", "version": "1.0" }, "instruction": { "id": "si-instr-therapie", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Dateiupload der Korpusdatei in der Desktop-Anwendung", "outputLanguage": "de-DE", "specialty": "Psychotherapie" }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": null }, "corpusMetadata": { "version": "1.0", "manifestSha256": "62780a1c05eb9562aa4bdbee3b73aedcf448ce0e8e6ba5fd85d7e17baa3b4bd8", "referenceVersion": "1.0", "referenceSha256": "62c50ae99e53e02e016470714f0a6524d90a92407fe393d48adae95f19a8ee2a", "sourceScenarioCount": 36, "evaluatedScenarioCount": 36, "totalAudioSeconds": 103620, "durationSeconds": { "minimum": 2220, "maximum": 3540 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 1 } ], "conversions": [], "exclusions": [] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 36, "resamples": 2000, "seed": 3733937332, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "0c35a46bc36056c43d2f55385441679c130a0d1ef5bcb7bd6cb2f19411cef23a" } }, { "id": "clevercast/untertitel:live-subtitles", "provider": "clevercast", "providerName": "Clevercast", "test": "untertitel:live-subtitles", "label": "Live-Untertitel", "category": "untertitel", "task": "live-subtitles", "url": "https://scribeindex.com/anbieter/clevercast/test/#live", "rankingUrl": "https://scribeindex.com/vergleich/untertitel/live/", "testPeriod": "2026-Q3", "protocol": "1.0", "corpus": "de-live-untertitel-v1", "scenarios": 30, "runs": 2, "completed": 60, "total": 60, "completionRatePercent": 100, "evaluation": { "output": "live-subtitles", "semanticRubric": null, "wordErrorRate": { "applicability": "word-aligned", "basis": "delivered-output", "explanation": "WER wird aus dem endgültigen Stand der angezeigten Untertitel gegen die normalisierte Referenz berechnet. Zwischenstände der Anzeige gehen in die Stabilität ein, nicht in die WER." } }, "score": { "version": "2.2", "value": 64.084, "ci95": [ 61.1, 67 ], "ci95Method": "paired-cluster-bootstrap", "pairedDifferences": [ { "provider": "ai-media", "ci95": [ -9.18, -4.79 ] }, { "provider": "wordly", "ci95": [ 8.14, 13.16 ] }, { "provider": "interprefy", "ci95": [ 0.59, 5.43 ] }, { "provider": "syncwords", "ci95": [ -0.88, 3.95 ] }, { "provider": "maestra", "ci95": [ 13.53, 18.49 ] } ], "rank": 2, "cohortSize": 6, "criticalRatePercent": null, "contentQuality": 89.94, "references": { "key": "live-subtitles", "qualityErrorPoints": 30, "correctionMinutes": 276, "criticalPercent": null }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 66.467, "weight": 0.75, "contribution": 49.85 }, { "key": "effort", "label": "Korrekturaufwand", "value": 46.17, "weight": 0.2, "contribution": 9.234 }, { "key": "reliability", "label": "Abschlussquote", "value": 100, "weight": 0.05, "contribution": 5 } ] }, "mainMetric": { "label": "Wortfehlerrate", "abbreviation": "WER", "value": 9.751, "direction": "lower", "ci95": [ 8.7, 10.84 ] }, "transcription": { "referenceWords": 299308, "substitutions": 14306, "deletions": 8282, "insertions": 6597, "errors": 29185, "werPercent": 9.751, "ci95": [ 8.7, 10.84 ], "comparable": true }, "facts": null, "latency": { "p50Seconds": 1.2, "p95Seconds": 2.1, "mode": "live-stream", "start": "Wortende im Ton beim Publikum", "end": "Erste Anzeige des Wortes in endgültiger Form" }, "correction": { "minutesPerAudioHour": 148.5701, "ci95": [ 139.56, 157.72 ], "estimate": { "outputs": 60, "audioSeconds": 127620, "minutes": 5266.96, "ci": [ 139.56, 157.72 ], "audioHours": 35.451 } }, "additionalMetrics": [ { "key": "cer", "label": "Zeichenfehlerrate · CER", "numerator": 77560, "denominator": 1938614, "valuePercent": 4.001, "direction": "lower", "definition": "Zeichenabweichungen pro Referenzzeichen nach NFC-Normalisierung, einheitlicher Groß- und Kleinschreibung, entfernten Satzzeichen und zu einem Leerzeichen zusammengefasstem Leerraum. Leerzeichen zählen als Zeichen.", "ci95": [ 3.58, 4.42 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "live-caption-timeliness", "label": "Rechtzeitig angezeigte Wörter", "numerator": 267091, "denominator": 299308, "valuePercent": 89.236, "direction": "higher", "definition": "Referenzwörter, deren endgültige Form höchstens 3 Sekunden vor oder nach dem Wortende im Ton beim Publikum erstmals angezeigt wird, pro Referenzwort. Fehlende und falsch erkannte Wörter zählen als nicht rechtzeitig.", "ci95": [ 88.15, 90.23 ], "ci95Method": "wilson-design-effect", "designEffect": 86.5172 }, { "key": "live-caption-stability", "label": "Stabil angezeigte Wörter", "numerator": 270044, "denominator": 299308, "valuePercent": 90.223, "direction": "higher", "definition": "Referenzwörter, die ab ihrer ersten Anzeige unverändert in endgültiger Form stehen, pro Referenzwort. Vorher anders angezeigte, später umgeschriebene oder entfernte sowie fehlende und falsch erkannte Wörter zählen als nicht stabil.", "ci95": [ 89.06, 91.27 ], "ci95Method": "wilson-design-effect", "designEffect": 106.8291 } ], "scalarMetrics": [ { "key": "live-audio-delay", "label": "Mittlere Übertragungsverzögerung", "value": 88.95, "unit": "s", "direction": "none", "definition": "Mittlere Zeit vom Wortende im Eingangston bis zum Wortende im Ton beim Publikum. Gewichtet wird je Referenzwort. Bei unverzögerter Audioausgabe beträgt sie null.", "statistic": "mean", "sampleSize": 299308, "ci": [ 84.21, 94.06 ] } ], "errorTypes": [ { "label": "Ersetzungen", "count": 14306 }, { "label": "Auslassungen", "count": 8282 }, { "label": "Einfügungen", "count": 6597 } ], "failedRuns": [], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "Clevercast, deutsche Originaluntertitel im gepufferten Live-Webplayer, Stand 3. Quartal 2026", "modelVersions": null, "template": null, "instruction": { "id": "si-instr-live-subtitles", "version": "1.0" }, "customVocabulary": null, "settings": { "language": "Deutsch", "translation": false, "customVocabularyEntries": 0, "humanCorrection": false, "capture": "Ereignisprotokoll der angezeigten Untertitel", "inputPath": "Echtzeit-RTMP aus OBS mit virtuellem Audioeingang, 1920 × 1080, 25 Bilder/s", "display": "Clevercast-Live-Webplayer, deutsche Originaluntertitel", "timeReference": "Wortende im hörbaren Playeraudio und erste korrekte Anzeige, absoluter Abstand", "export": "WebVTT aus der Cloudaufzeichnung" }, "scorer": { "name": "scribeindex-live-subtitles", "version": "1.0" }, "normalization": { "id": "de-subtitle-wer", "version": "1.0" } }, "corpusMetadata": { "version": "1.0", "manifestSha256": "82acc1a0ff5f8f62ab47815747ab1a96383fb705780eb9597c1d3c51a6b044aa", "referenceVersion": "1.0", "referenceSha256": "12f7090789671983e962a05c01cb6abb03849e6536dc9afde6de15f11454f43b", "sourceScenarioCount": 30, "evaluatedScenarioCount": 30, "totalAudioSeconds": 63840, "durationSeconds": { "minimum": 480, "maximum": 5340 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 1 } ], "conversions": [ { "description": "Einspielung der Aufnahme in Echtzeit als Audioquelle der Live-Sitzung über einen virtuellen Audioeingang mit −20 dBFS RMS", "tool": "scribeindex-playback", "version": "1.0" } ], "exclusions": [] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 30, "resamples": 2000, "seed": 3355895643, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "0f26e97bd0626cfdf95f5dee7a05315be56e31165714a518399326f79379755a" } }, { "id": "clevercast/untertitel:file-subtitles", "provider": "clevercast", "providerName": "Clevercast", "test": "untertitel:file-subtitles", "label": "Untertitel für Videodateien", "category": "untertitel", "task": "file-subtitles", "url": "https://scribeindex.com/anbieter/clevercast/test/#videodateien", "rankingUrl": "https://scribeindex.com/vergleich/untertitel/videodateien/", "testPeriod": "2026-Q3", "protocol": "1.0", "corpus": "de-untertitel-v1", "scenarios": 40, "runs": 3, "completed": 120, "total": 120, "completionRatePercent": 100, "evaluation": { "output": "subtitles", "semanticRubric": null, "wordErrorRate": { "applicability": "word-aligned", "basis": "delivered-output", "explanation": "WER wird aus dem zusammengeführten Text der exportierten SRT- oder WebVTT-Datei gegen die normalisierte Referenz berechnet. Zeitmarken und Segmentnummern zählen nicht." } }, "score": { "version": "2.2", "value": 45.1607, "ci95": [ 40.7, 49.3 ], "ci95Method": "paired-cluster-bootstrap", "pairedDifferences": [ { "provider": "ai-media", "ci95": [ -17.48, -11.68 ] }, { "provider": "happy-scribe", "ci95": [ -11.34, -4.52 ] }, { "provider": "amberscript", "ci95": [ -8.4, 2.4 ] }, { "provider": "sonix", "ci95": [ -5.17, 0.78 ] }, { "provider": "veed", "ci95": [ -2.92, 5.72 ] }, { "provider": "kapwing", "ci95": [ 3.25, 9.49 ] }, { "provider": "maestra", "ci95": [ -14.21, -7.07 ] } ], "rank": 6, "cohortSize": 8, "criticalRatePercent": null, "contentQuality": 82.159, "references": { "key": "file-subtitles", "qualityErrorPoints": 30, "correctionMinutes": 233, "criticalPercent": null }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 40.53, "weight": 0.75, "contribution": 30.398 }, { "key": "effort", "label": "Korrekturaufwand", "value": 48.814, "weight": 0.2, "contribution": 9.763 }, { "key": "reliability", "label": "Abschlussquote", "value": 100, "weight": 0.05, "contribution": 5 } ] }, "mainMetric": { "label": "Wortfehlerrate", "abbreviation": "WER", "value": 9.446, "direction": "lower", "ci95": [ 8.71, 10.32 ] }, "transcription": { "referenceWords": 287784, "substitutions": 14139, "deletions": 6890, "insertions": 6154, "errors": 27183, "werPercent": 9.446, "ci95": [ 8.71, 10.32 ], "comparable": true }, "facts": null, "latency": { "p50Seconds": 193.6, "p95Seconds": 612, "mode": "file-upload", "start": "Uploadstart", "end": "Vollständiger Export verfügbar" }, "correction": { "minutesPerAudioHour": 119.2627, "ci95": [ 108.51, 130.98 ], "estimate": { "outputs": 120, "audioSeconds": 145500, "minutes": 4820.6, "ci": [ 108.51, 130.98 ], "audioHours": 40.42 } }, "additionalMetrics": [ { "key": "cer", "label": "Zeichenfehlerrate · CER", "numerator": 71465, "denominator": 1860348, "valuePercent": 3.841, "direction": "lower", "definition": "Zeichenabweichungen pro Referenzzeichen nach NFC-Normalisierung, einheitlicher Groß- und Kleinschreibung, entfernten Satzzeichen und zu einem Leerzeichen zusammengefasstem Leerraum. Leerzeichen zählen als Zeichen.", "ci95": [ 3.55, 4.19 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "subtitle-timing-accuracy", "label": "Zeitlich passende Untertitel", "numerator": 21218, "denominator": 29448, "valuePercent": 72.052, "direction": "higher", "definition": "Vollständig abgedeckte Referenzsegmente, bei denen der früheste Beginn und das späteste Ende der zugeordneten Untertitel jeweils höchstens 200 ms von der Referenz abweichen. Fehlende Segmente zählen als nicht passend.", "ci95": [ 69.16, 74.77 ], "ci95Method": "wilson-design-effect", "designEffect": 29.9602 }, { "key": "subtitle-layout-accuracy", "label": "Lesbare Untertitel", "numerator": 22478, "denominator": 29448, "valuePercent": 76.331, "direction": "higher", "definition": "Vollständig abgedeckte Referenzsegmente mit höchstens 2 Zeilen, 42 Zeichen je Zeile und 17 Zeichen je Sekunde in allen zugeordneten Ausgabesegmenten.", "ci95": [ 74.09, 78.43 ], "ci95Method": "wilson-design-effect", "designEffect": 19.8956 } ], "scalarMetrics": [ { "key": "subtitle-timing-offset-ms", "label": "Mittlere Zeitabweichung", "value": 300.92, "unit": "ms", "direction": "lower", "definition": "Mittel der absoluten Abweichung der äußeren Start- und Endgrenzen von den zugeordneten Referenzsegmenten, gewichtet je Referenzsegment.", "statistic": "mean", "sampleSize": 29269, "ci": [ 285.83, 316.75 ] }, { "key": "subtitle-reading-speed-cps", "label": "Mittlere Lesegeschwindigkeit", "value": 14.7, "unit": "Zeichen/s", "direction": "none", "definition": "Sichtbare Zeichen einschließlich Leerzeichen innerhalb der Zeilen, geteilt durch die jeweilige Standzeit, je ausgegebenem Untertitel, gemittelt über alle ausgegebenen Untertitel.", "statistic": "mean", "sampleSize": 30703, "ci": [ 14.12, 15.3 ] }, { "key": "subtitle-line-length-cpl", "label": "Mittlere Zeilenlänge", "value": 33.67, "unit": "Zeichen/Zeile", "direction": "none", "definition": "Mittlere Zahl sichtbarer Unicode-Zeichen je ausgegebener Untertitelzeile.", "statistic": "mean", "sampleSize": 56217, "ci": [ 33.23, 34.14 ] } ], "errorTypes": [ { "label": "Ersetzungen", "count": 14139 }, { "label": "Auslassungen", "count": 6890 }, { "label": "Einfügungen", "count": 6154 } ], "failedRuns": [], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "Clevercast VoD, deutsche Originaluntertitel, Stand 3. Quartal 2026", "modelVersions": null, "template": null, "instruction": { "id": "si-instr-subtitles", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "MP4-Dateiupload in der VoD-Verwaltung", "language": "Deutsch", "translation": false, "export": "WebVTT", "manualCorrection": false, "customVocabularyEntries": 0 }, "scorer": { "name": "scribeindex-subtitles", "version": "1.0" }, "normalization": { "id": "de-subtitle-wer", "version": "1.0" } }, "corpusMetadata": { "version": "1.0", "manifestSha256": "a35c5ee698d61b365b97c82257195aeb72edbd47eab9da548608335d37899941", "referenceVersion": "1.0", "referenceSha256": "6ec7f71b2989eb19791326360ba6649b7c8c020915a316303d8763a8f58b2d45", "sourceScenarioCount": 40, "evaluatedScenarioCount": 40, "totalAudioSeconds": 48480, "durationSeconds": { "minimum": 180, "maximum": 3540 }, "audioFormats": [ { "codec": "H.264 MP4, AAC-LC", "sampleRateHertz": 48000, "channels": 2 } ], "conversions": [], "exclusions": [] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 40, "resamples": 2000, "seed": 1605653364, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "22c41832e7f4054b58c4911e41b1b961649b0482f9f511ad72891e68023bafbc" } }, { "id": "dictnow/medizinische-transkription", "provider": "dictnow", "providerName": "DictNow", "test": "medizinische-transkription", "label": "Medizinische Spracherkennung", "category": "medizinische-transkription", "url": "https://scribeindex.com/anbieter/dictnow/test/#medizinische-transkription", "rankingUrl": "https://scribeindex.com/vergleich/medizinische-spracherkennung/", "testPeriod": "2026-Q3", "protocol": "1.0", "corpus": "de-diktat-v1", "scenarios": 62, "runs": 3, "completed": 186, "total": 186, "completionRatePercent": 100, "evaluation": { "output": "verbatim-transcript", "semanticRubric": "clinical-facts-v1", "wordErrorRate": { "applicability": "word-aligned", "basis": "delivered-output", "explanation": "WER wird aus der gelieferten wortnahen Transkriptausgabe gegen die normalisierte Referenz berechnet." } }, "score": { "version": "2.2", "value": 82.0045, "ci95": [ 76.7, 84.1 ], "ci95Method": "paired-cluster-bootstrap-beta-critical", "pairedDifferences": [ { "provider": "dragon-medical-one", "ci95": [ -7.82, 1.55 ] }, { "provider": "heidi", "ci95": [ -15.81, -7.36 ] }, { "provider": "tippiti", "ci95": [ -19.35, -10.91 ] }, { "provider": "dragon-copilot", "ci95": [ -6.72, 2.65 ] }, { "provider": "mira-medical", "ci95": [ -4.54, 5.39 ] }, { "provider": "fluency-direct", "ci95": [ -2.48, 6.35 ] }, { "provider": "idana-flow", "ci95": [ -15.85, -7.63 ] }, { "provider": "healthjet", "ci95": [ -14.45, -5.1 ] } ], "rank": 7, "cohortSize": 9, "criticalRatePercent": 1.075, "contentQuality": 93.993, "references": { "key": "medizinische-transkription", "qualityErrorPoints": 30, "correctionMinutes": 141, "criticalPercent": 15 }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 79.978, "weight": 0.6, "contribution": 47.987 }, { "key": "critical", "label": "Schwerwiegende Fehler", "value": 92.832, "weight": 0.2, "contribution": 18.566 }, { "key": "effort", "label": "Korrekturaufwand", "value": 69.675, "weight": 0.15, "contribution": 10.451 }, { "key": "reliability", "label": "Abschlussquote", "value": 100, "weight": 0.05, "contribution": 5 } ] }, "mainMetric": { "label": "Fakten-F1", "abbreviation": "F1", "value": 93.993, "direction": "higher", "ci95": [ 93.13, 94.72 ] }, "transcription": { "referenceWords": 103161, "substitutions": 4089, "deletions": 2019, "insertions": 837, "errors": 6945, "werPercent": 6.732, "ci95": [ 6.15, 7.32 ], "comparable": true }, "facts": { "truePositive": 6322, "falsePositive": 425, "falseNegative": 383, "referenceFacts": 6705, "outputFacts": 6747, "precisionPercent": 93.701, "precisionCi95": [ 92.75, 94.64 ], "recallPercent": 94.288, "recallCi95": [ 93.21, 95.27 ], "f1Percent": 93.993, "f1Ci95": [ 93.13, 94.72 ] }, "latency": { "p50Seconds": 78.6, "p95Seconds": 180.7, "mode": "file-upload", "start": "Uploadstart", "end": "Vollständig verfügbares, exportierbares Ergebnis" }, "correction": { "minutesPerAudioHour": 42.7576, "ci95": [ 39.18, 46.32 ], "estimate": { "outputs": 186, "audioSeconds": 56220, "minutes": 667.66, "ci": [ 39.18, 46.32 ], "audioHours": 15.615 } }, "additionalMetrics": [ { "key": "recognition-errors", "label": "Erkennungsfehler", "numerator": 6945, "denominator": 103161, "valuePercent": 6.732, "direction": "lower", "definition": "Falsch erkannte, ausgelassene oder eingefügte Wörter pro Referenzwort, ohne zulässige Umformulierungen. Bei wortnaher Ausgabe entspricht der Wert der WER, dort zählt jede Abweichung vom Wortlaut. Bei KI-überarbeiteter Ausgabe zählen nur falsch erkannte oder inhaltlich veränderte Wörter. Für wortnahe Dienste ist die Zählung damit strenger.", "ci95": [ 6.15, 7.32 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "cer", "label": "Zeichenfehlerrate · CER", "numerator": 20590, "denominator": 743736, "valuePercent": 2.768, "direction": "lower", "definition": "Zeichenabweichungen pro Referenzzeichen nach NFC-Normalisierung, einheitlicher Groß- und Kleinschreibung, entfernten Satzzeichen und zu einem Leerzeichen zusammengefasstem Leerraum. Leerzeichen zählen als Zeichen.", "ci95": [ 2.53, 3.02 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "critical-documents", "label": "Dokumente mit schwerwiegendem Fehler", "numerator": 2, "denominator": 186, "valuePercent": 1.075, "direction": "lower", "definition": "Ausgaben mit mindestens einem potenziell schwerwiegenden medizinischen Fehler pro abgeschlossener Ausgabe. Bewertet wird jeder Fall nach einer festgelegten Fehlerrubrik. Fehler bei Medikation oder Verneinung zählen hier nur, wenn die Rubrik die betroffene Angabe als potenziell schwerwiegend einstuft. Die Zähler je Fehlerart enthalten auch folgenlose Abweichungen.", "ci95": [ 0.19, 5.8 ], "ci95Method": "wilson-design-effect", "designEffect": 1.9778 }, { "key": "unsupported-statements", "label": "Falsche oder unbelegte Aussagen", "numerator": 369, "denominator": 6747, "valuePercent": 5.469, "direction": "lower", "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.", "ci95": [ 4.66, 6.41 ], "ci95Method": "wilson-design-effect", "designEffect": 2.557 }, { "key": "medical-term-errors", "label": "Fehler bei Fachbegriffen", "numerator": 292, "denominator": 11205, "valuePercent": 2.606, "direction": "lower", "definition": "Fachlich falsch wiedergegebene oder ausgelassene medizinische Konzepte pro annotiertem Fachkonzept der Referenz. Synonyme gelten bei gleicher Bedeutung als korrekt.", "ci95": [ 2.14, 3.17 ], "ci95Method": "wilson-design-effect", "designEffect": 3.0102 }, { "key": "medication-errors", "label": "Fehler bei Medikamenten und Dosierungen", "numerator": 29, "denominator": 762, "valuePercent": 3.806, "direction": "lower", "definition": "Falsch wiedergegebene oder ausgelassene Angaben zu Wirkstoff, Dosis, Einheit und Einnahme pro annotierter Medikationsangabe. Jede Angabe zählt höchstens einmal.", "ci95": [ 2.17, 6.59 ], "ci95Method": "wilson-design-effect", "designEffect": 2.4965 }, { "key": "negation-errors", "label": "Fehler bei Verneinungen", "numerator": 19, "denominator": 1107, "valuePercent": 1.716, "direction": "lower", "definition": "Verlorene, hinzugefügte oder umgekehrte Negationen pro Referenzaussage mit verneintem oder ausdrücklich bestätigtem Befund. Eine Aussage zählt höchstens einmal.", "ci95": [ 0.84, 3.45 ], "ci95Method": "wilson-design-effect", "designEffect": 2.5899 }, { "key": "temporal-errors", "label": "Fehler bei zeitlichen Angaben", "numerator": 60, "denominator": 1455, "valuePercent": 4.124, "direction": "lower", "definition": "Falsch zugeordnete oder ausgelassene Zeitpunkte, Dauern und zeitliche Beziehungen pro annotierter zeitlicher Referenzangabe.", "ci95": [ 2.74, 6.16 ], "ci95Method": "wilson-design-effect", "designEffect": 2.6964 }, { "key": "attribution-errors", "label": "Fehler bei der Zuordnung", "numerator": 50, "denominator": 2415, "valuePercent": 2.07, "direction": "lower", "definition": "Falsche oder ausgelassene Zuordnung von Aussagen zu Patient, behandelnder Person oder Drittperson pro Referenzfakt mit erforderlicher Quellenzuordnung.", "ci95": [ 1.34, 3.17 ], "ci95Method": "wilson-design-effect", "designEffect": 2.4518 }, { "key": "dictation-command-accuracy", "label": "Umgesetzte Diktatbefehle", "numerator": 1192, "denominator": 1326, "valuePercent": 89.894, "direction": "higher", "definition": "Richtig ausgeführte festgelegte Satzzeichen-, Absatz- und Korrekturbefehle pro ausgesprochenem Referenzbefehl. Der Befehl soll wirken und nicht als Befehlswort im Text stehen.", "ci95": [ 86.4, 92.57 ], "ci95Method": "wilson-design-effect", "designEffect": 3.5814 }, { "key": "self-correction-accuracy", "label": "Umgesetzte Selbstkorrekturen", "numerator": 6, "denominator": 252, "valuePercent": 2.381, "direction": "higher", "definition": "Spontane Selbstkorrekturen, nach denen das Dokument nur die endgültige Angabe enthält, pro annotierter Selbstkorrektur der Referenz. Steht die verworfene Angabe noch im Text oder ersetzt sie die endgültige, ist die Selbstkorrektur nicht umgesetzt. Ob eine Regel oder ein Sprachmodell sie umsetzt, spielt keine Rolle.", "ci95": [ 0.75, 7.24 ], "ci95Method": "wilson-design-effect", "designEffect": 2.3037 }, { "key": "edit-instruction-accuracy", "label": "Umgesetzte Bearbeitungsanweisungen", "numerator": 0, "denominator": 90, "valuePercent": 0, "direction": "higher", "definition": "Frei formulierte Anweisungen an das Dokument, deren Wirkung das gelieferte Dokument zeigt, pro annotierter Anweisung der Referenz. Eine solche Anweisung ändert eine früher genannte Angabe, ergänzt Inhalt an einer früheren Stelle oder verschiebt einen Abschnitt. Steht sie wörtlich im Text oder bleibt sie ohne Wirkung, ist sie nicht umgesetzt. Ob eine Regel oder ein Sprachmodell sie umsetzt, spielt keine Rolle.", "ci95": [ 0, 10.23 ], "ci95Method": "wilson-design-effect", "designEffect": 2.6683 } ], "errorTypes": [ { "label": "Nicht erfasste Referenzfakten", "count": 383 }, { "label": "Falsche oder unbelegte Aussagen", "count": 369 }, { "label": "Zutreffende, aber nicht relevante Aussagen", "count": 56 }, { "label": "Ersetzungen", "count": 4089 }, { "label": "Auslassungen", "count": 2019 }, { "label": "Einfügungen", "count": 837 } ], "failedRuns": [], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "DictNow Windows-Client mit Cloud-Diktatverwaltung, Hintergrundverarbeitung importierter Diktate, Stand 3. Quartal 2026", "modelVersions": null, "template": null, "instruction": { "id": "si-instr-diktat-wortnah", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Dateiimport des Diktats per Drag-and-drop zur Hintergrundverarbeitung", "language": "Deutsch", "vocabulary": "Medizinisches Grundwörterbuch", "customVocabularyEntries": 0, "templates": false, "speechProfile": "Neues Profil ohne Training" }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": { "id": "de-med-wer", "version": "1.0" } }, "corpusMetadata": { "version": "1.0", "manifestSha256": "6768f28bb70c0457e31c2eaafd4f3c498c05b4aec26501537825bbaa22733060", "referenceVersion": "1.0", "referenceSha256": "18772162e86230bce7cfb8a2f52f90244df2b1cdf52bdb6a646494dd3596dbb9", "sourceScenarioCount": 64, "evaluatedScenarioCount": 62, "totalAudioSeconds": 18720, "durationSeconds": { "minimum": 60, "maximum": 900 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 1 }, { "codec": "MP3 128 kbit/s", "sampleRateHertz": 44100, "channels": 1 }, { "codec": "AAC-LC (M4A)", "sampleRateHertz": 44100, "channels": 1 } ], "conversions": [], "exclusions": [ { "scenarioId": "diktat-023", "reason": "Die sprechende Person nannte versehentlich einen echten Namen. Die Aufnahme wurde vor der Referenzfreigabe zurückgezogen." }, { "scenarioId": "diktat-057", "reason": "Endgültige Angabe einer Selbstkorrektur auch nach Prüfung der Aufnahme nicht eindeutig hörbar." } ] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 62, "resamples": 2000, "seed": 4214870755, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "1feb69fb1f1a9ee5134ab583a5bf6a80625f840f53d2d833da91149ac9f1550a" } }, { "id": "dictnow/diktiersoftware:general-dictation", "provider": "dictnow", "providerName": "DictNow", "test": "diktiersoftware:general-dictation", "label": "Allgemeine Diktate", "category": "diktiersoftware", "task": "general-dictation", "url": "https://scribeindex.com/anbieter/dictnow/test/#allgemein", "rankingUrl": "https://scribeindex.com/vergleich/diktiersoftware/allgemein/", "testPeriod": "2026-Q3", "protocol": "1.0", "corpus": "de-buero-diktat-v1", "scenarios": 40, "runs": 3, "completed": 120, "total": 120, "completionRatePercent": 100, "evaluation": { "output": "verbatim-transcript", "semanticRubric": null, "wordErrorRate": { "applicability": "word-aligned", "basis": "delivered-output", "explanation": "WER wird aus der gelieferten wortnahen Transkriptausgabe gegen die normalisierte Referenz berechnet." } }, "score": { "version": "2.2", "value": 75.1952, "ci95": [ 72.3, 78 ], "ci95Method": "paired-cluster-bootstrap", "pairedDifferences": [ { "provider": "audiopen", "ci95": [ 2.26, 7.93 ] }, { "provider": "wispr-flow", "ci95": [ -11.9, -5.7 ] }, { "provider": "superwhisper", "ci95": [ 11.59, 17.86 ] }, { "provider": "dragon-legal", "ci95": [ -7.7, -2.26 ] }, { "provider": "letterly", "ci95": [ 0.63, 5.77 ] } ], "rank": 3, "cohortSize": 6, "criticalRatePercent": null, "contentQuality": 92.339, "references": { "key": "general-dictation", "qualityErrorPoints": 30, "correctionMinutes": 164, "criticalPercent": null }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 74.463, "weight": 0.75, "contribution": 55.847 }, { "key": "effort", "label": "Korrekturaufwand", "value": 71.74, "weight": 0.2, "contribution": 14.348 }, { "key": "reliability", "label": "Abschlussquote", "value": 100, "weight": 0.05, "contribution": 5 } ] }, "mainMetric": { "label": "Wortfehlerrate", "abbreviation": "WER", "value": 8.034, "direction": "lower", "ci95": [ 7.18, 8.95 ] }, "transcription": { "referenceWords": 53508, "substitutions": 2028, "deletions": 976, "insertions": 1295, "errors": 4299, "werPercent": 8.034, "ci95": [ 7.18, 8.95 ], "comparable": true }, "facts": null, "latency": { "p50Seconds": 1.5, "p95Seconds": 4, "mode": "live-dictation", "start": "Ende des letzten zugespielten Wortes", "end": "Stabile nutzbare Textausgabe" }, "correction": { "minutesPerAudioHour": 46.3456, "ci95": [ 42.18, 50.81 ], "estimate": { "outputs": 120, "audioSeconds": 25080, "minutes": 322.89, "ci": [ 42.18, 50.81 ], "audioHours": 6.967 } }, "additionalMetrics": [ { "key": "cer", "label": "Zeichenfehlerrate · CER", "numerator": 14420, "denominator": 344913, "valuePercent": 4.181, "direction": "lower", "definition": "Zeichenabweichungen pro Referenzzeichen nach NFC-Normalisierung, einheitlicher Groß- und Kleinschreibung, entfernten Satzzeichen und zu einem Leerzeichen zusammengefasstem Leerraum. Leerzeichen zählen als Zeichen.", "ci95": [ 3.53, 4.94 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "name-accuracy", "label": "Korrekte Namen", "numerator": 447, "denominator": 480, "valuePercent": 93.125, "direction": "higher", "definition": "Korrekt übernommene Personen- und Firmennamen pro annotiertem Referenznamen. Vorab freigegebene Schreibvarianten zählen als richtig.", "ci95": [ 88, 96.16 ], "ci95Method": "wilson-design-effect", "designEffect": 3.1029 }, { "key": "number-accuracy", "label": "Korrekte Zahlen", "numerator": 675, "denominator": 714, "valuePercent": 94.538, "direction": "higher", "definition": "Korrekt übernommene Zahlen mit ihrer Einheit und ihrem Bezug pro annotierter Zahlenangabe. Falsche oder ausgelassene Werte zählen als nicht korrekt.", "ci95": [ 90.81, 96.81 ], "ci95Method": "wilson-design-effect", "designEffect": 3.0845 }, { "key": "dictation-command-accuracy", "label": "Umgesetzte Diktatbefehle", "numerator": 404, "denominator": 441, "valuePercent": 91.61, "direction": "higher", "definition": "Richtig ausgeführte festgelegte Satzzeichen-, Absatz- und Korrekturbefehle pro ausgesprochenem Referenzbefehl. Der Befehl soll wirken und nicht als Befehlswort im Text stehen.", "ci95": [ 85.17, 95.41 ], "ci95Method": "wilson-design-effect", "designEffect": 3.7671 }, { "key": "self-correction-accuracy", "label": "Umgesetzte Selbstkorrekturen", "numerator": 0, "denominator": 207, "valuePercent": 0, "direction": "higher", "definition": "Spontane Selbstkorrekturen, nach denen das Dokument nur die endgültige Angabe enthält, pro annotierter Selbstkorrektur der Referenz. Steht die verworfene Angabe noch im Text oder ersetzt sie die endgültige, ist die Selbstkorrektur nicht umgesetzt. Ob eine Regel oder ein Sprachmodell sie umsetzt, spielt keine Rolle.", "ci95": [ 0, 6.14 ], "ci95Method": "wilson-design-effect", "designEffect": 3.5215 }, { "key": "edit-instruction-accuracy", "label": "Umgesetzte Bearbeitungsanweisungen", "numerator": 0, "denominator": 36, "valuePercent": 0, "direction": "higher", "definition": "Frei formulierte Anweisungen an das Dokument, deren Wirkung das gelieferte Dokument zeigt, pro annotierter Anweisung der Referenz. Eine solche Anweisung ändert eine früher genannte Angabe, ergänzt Inhalt an einer früheren Stelle oder verschiebt einen Abschnitt. Steht sie wörtlich im Text oder bleibt sie ohne Wirkung, ist sie nicht umgesetzt. Ob eine Regel oder ein Sprachmodell sie umsetzt, spielt keine Rolle.", "ci95": [ 0, 25.89 ], "ci95Method": "wilson-design-effect", "designEffect": 3.2727 } ], "errorTypes": [ { "label": "Ersetzungen", "count": 2028 }, { "label": "Auslassungen", "count": 976 }, { "label": "Einfügungen", "count": 1295 } ], "failedRuns": [], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "DictNow Windows-Client, Stand 3. Quartal 2026", "modelVersions": null, "template": null, "instruction": { "id": "si-instr-diktat-wortnah", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Virtueller Mikrofoneingang in eine leere Zielanwendung", "language": "Deutsch", "customVocabularyEntries": 0, "outputStyle": "Wortnah mit Satzzeichen", "voiceCommands": true }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": { "id": "de-allg-wer", "version": "1.0" } }, "corpusMetadata": { "version": "1.0", "manifestSha256": "be86355a52a9e6e6ac547fa75797ca0c34d34b998965c77efe431e8cac1bf200", "referenceVersion": "1.0", "referenceSha256": "2f3f1976d19c5059b932063bd9b929c3ad3df1d749efd78e0060e5b1364c5f41", "sourceScenarioCount": 40, "evaluatedScenarioCount": 40, "totalAudioSeconds": 8340, "durationSeconds": { "minimum": 60, "maximum": 600 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 1 } ], "conversions": [ { "description": "Kontrollierte Wiedergabe der Referenzaufnahmen über einen virtuellen Mikrofoneingang mit −20 dBFS RMS in Echtzeit", "tool": "scribeindex-playback", "version": "1.0" } ], "exclusions": [] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 40, "resamples": 2000, "seed": 2217701174, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "5b6419a32e9fc2e489a2dae6029ddcb9e755388234d69b65a19df934ad0bdabc" } }, { "id": "dictnow/diktiersoftware:legal-dictation", "provider": "dictnow", "providerName": "DictNow", "test": "diktiersoftware:legal-dictation", "label": "Juristische Diktate", "category": "diktiersoftware", "task": "legal-dictation", "url": "https://scribeindex.com/anbieter/dictnow/test/#juristisch", "rankingUrl": "https://scribeindex.com/vergleich/diktiersoftware/juristisch/", "testPeriod": "2026-Q3", "protocol": "1.0", "corpus": "de-recht-diktat-v1", "scenarios": 40, "runs": 3, "completed": 120, "total": 120, "completionRatePercent": 100, "evaluation": { "output": "verbatim-transcript", "semanticRubric": "legal-errors-v1", "wordErrorRate": { "applicability": "word-aligned", "basis": "delivered-output", "explanation": "WER wird aus der gelieferten wortnahen Transkriptausgabe gegen die normalisierte Referenz berechnet." } }, "score": { "version": "2.2", "value": 70.5532, "ci95": [ 61.9, 80.6 ], "ci95Method": "paired-cluster-bootstrap", "pairedDifferences": [ { "provider": "speechlive-legal", "ci95": [ -11.63, 15.84 ] }, { "provider": "dragon-legal", "ci95": [ -15.17, 11.98 ] }, { "provider": "wispr-flow", "ci95": [ -8.43, 18.65 ] } ], "rank": 2, "cohortSize": 4, "criticalRatePercent": 9.167, "contentQuality": 93.542, "references": { "key": "legal-dictation", "qualityErrorPoints": 30, "correctionMinutes": 167, "criticalPercent": 15 }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 78.475, "weight": 0.6, "contribution": 47.085 }, { "key": "critical", "label": "Schwerwiegende Fehler", "value": 38.889, "weight": 0.2, "contribution": 7.778 }, { "key": "effort", "label": "Korrekturaufwand", "value": 71.271, "weight": 0.15, "contribution": 10.691 }, { "key": "reliability", "label": "Abschlussquote", "value": 100, "weight": 0.05, "contribution": 5 } ] }, "mainMetric": { "label": "Wortfehlerrate", "abbreviation": "WER", "value": 7.482, "direction": "lower", "ci95": [ 6.69, 8.22 ] }, "transcription": { "referenceWords": 95199, "substitutions": 3417, "deletions": 1570, "insertions": 2136, "errors": 7123, "werPercent": 7.482, "ci95": [ 6.69, 8.22 ], "comparable": true }, "facts": null, "latency": { "p50Seconds": 1.8, "p95Seconds": 3.7, "mode": "live-dictation", "start": "Ende des letzten zugespielten Wortes", "end": "Stabile nutzbare Textausgabe" }, "correction": { "minutesPerAudioHour": 47.977, "ci95": [ 42.77, 52.62 ], "estimate": { "outputs": 120, "audioSeconds": 43800, "minutes": 583.64, "ci": [ 42.77, 52.62 ], "audioHours": 12.165 } }, "additionalMetrics": [ { "key": "cer", "label": "Zeichenfehlerrate · CER", "numerator": 24120, "denominator": 613482, "valuePercent": 3.932, "direction": "lower", "definition": "Zeichenabweichungen pro Referenzzeichen nach NFC-Normalisierung, einheitlicher Groß- und Kleinschreibung, entfernten Satzzeichen und zu einem Leerzeichen zusammengefasstem Leerraum. Leerzeichen zählen als Zeichen.", "ci95": [ 3.48, 4.38 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "critical-documents", "label": "Dokumente mit schwerwiegendem Fehler", "numerator": 11, "denominator": 120, "valuePercent": 9.167, "direction": "lower", "definition": "Ausgaben mit mindestens einem schwerwiegenden juristischen Fehler pro abgeschlossener Ausgabe. Bewertet werden Parteien, Fristen, Forderungen und Normbezüge nach der Rubrik legal-errors-v1.", "ci95": [ 3.65, 21.18 ], "ci95Method": "wilson-design-effect", "designEffect": 2.6977 }, { "key": "legal-citation-errors", "label": "Fehler bei Normzitaten und Aktenzeichen", "numerator": 42, "denominator": 1041, "valuePercent": 4.035, "direction": "lower", "definition": "Falsche oder fehlende Paragraphen, Absätze, Gesetze und Aktenzeichen pro annotierter Referenzangabe. Vorab freigegebene typografische Varianten gelten als korrekt.", "ci95": [ 2.59, 6.23 ], "ci95Method": "wilson-design-effect", "designEffect": 2.2349 }, { "key": "deadline-errors", "label": "Fehler bei Fristen und Daten", "numerator": 8, "denominator": 639, "valuePercent": 1.252, "direction": "lower", "definition": "Falsche oder fehlende Fristen und Datumsangaben pro Referenzangabe. Zahlen und Bezugspunkte müssen zusammen stimmen.", "ci95": [ 0.4, 3.81 ], "ci95Method": "wilson-design-effect", "designEffect": 2.9579 }, { "key": "party-errors", "label": "Fehler bei Parteien und Rollen", "numerator": 33, "denominator": 1014, "valuePercent": 3.254, "direction": "lower", "definition": "Falsche oder fehlende Zuordnung einer Partei oder Rolle pro referenzierter Parteienangabe. Eine vertauschte Kläger- und Beklagtenrolle zählt als Fehler.", "ci95": [ 1.78, 5.86 ], "ci95Method": "wilson-design-effect", "designEffect": 3.2327 }, { "key": "amount-errors", "label": "Fehler bei Beträgen", "numerator": 9, "denominator": 522, "valuePercent": 1.724, "direction": "lower", "definition": "Falsche oder fehlende Geldbeträge einschließlich Währung pro annotierter Betragsangabe. Wert und Währung müssen zusammen mit der Referenz übereinstimmen.", "ci95": [ 0.72, 4.06 ], "ci95Method": "wilson-design-effect", "designEffect": 1.8964 }, { "key": "dictation-command-accuracy", "label": "Umgesetzte Diktatbefehle", "numerator": 914, "denominator": 999, "valuePercent": 91.491, "direction": "higher", "definition": "Richtig ausgeführte festgelegte Satzzeichen-, Absatz- und Korrekturbefehle pro ausgesprochenem Referenzbefehl. Der Befehl soll wirken und nicht als Befehlswort im Text stehen.", "ci95": [ 87.15, 94.46 ], "ci95Method": "wilson-design-effect", "designEffect": 4.3752 }, { "key": "self-correction-accuracy", "label": "Umgesetzte Selbstkorrekturen", "numerator": 7, "denominator": 255, "valuePercent": 2.745, "direction": "higher", "definition": "Spontane Selbstkorrekturen, nach denen das Dokument nur die endgültige Angabe enthält, pro annotierter Selbstkorrektur der Referenz. Steht die verworfene Angabe noch im Text oder ersetzt sie die endgültige, ist die Selbstkorrektur nicht umgesetzt. Ob eine Regel oder ein Sprachmodell sie umsetzt, spielt keine Rolle.", "ci95": [ 0.77, 9.31 ], "ci95Method": "wilson-design-effect", "designEffect": 3.3862 }, { "key": "edit-instruction-accuracy", "label": "Umgesetzte Bearbeitungsanweisungen", "numerator": 0, "denominator": 108, "valuePercent": 0, "direction": "higher", "definition": "Frei formulierte Anweisungen an das Dokument, deren Wirkung das gelieferte Dokument zeigt, pro annotierter Anweisung der Referenz. Eine solche Anweisung ändert eine früher genannte Angabe, ergänzt Inhalt an einer früheren Stelle oder verschiebt einen Abschnitt. Steht sie wörtlich im Text oder bleibt sie ohne Wirkung, ist sie nicht umgesetzt. Ob eine Regel oder ein Sprachmodell sie umsetzt, spielt keine Rolle.", "ci95": [ 0, 15.47 ], "ci95Method": "wilson-design-effect", "designEffect": 5.1429 } ], "errorTypes": [ { "label": "Ersetzungen", "count": 3417 }, { "label": "Auslassungen", "count": 1570 }, { "label": "Einfügungen", "count": 2136 } ], "failedRuns": [], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "DictNow Windows-Client, Stand 3. Quartal 2026", "modelVersions": null, "template": null, "instruction": { "id": "si-instr-diktat-wortnah", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Virtueller Mikrofoneingang in eine leere Zielanwendung", "language": "Deutsch", "customVocabularyEntries": 0, "outputStyle": "Wortnah mit Satzzeichen", "voiceCommands": true }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": { "id": "de-legal-wer", "version": "1.0" } }, "corpusMetadata": { "version": "1.0", "manifestSha256": "2e856c64cf093797ea7a7b27b4ac15e541a33528e55d943bde123a02d67c7e83", "referenceVersion": "1.0", "referenceSha256": "686a87e5af4681ab48fa6d1b65481ec57e9d04c2ef6bb6c22a5023b47bea5732", "sourceScenarioCount": 40, "evaluatedScenarioCount": 40, "totalAudioSeconds": 14580, "durationSeconds": { "minimum": 60, "maximum": 1080 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 1 } ], "conversions": [ { "description": "Kontrollierte Wiedergabe der Referenzaufnahmen über einen virtuellen Mikrofoneingang mit −20 dBFS RMS in Echtzeit", "tool": "scribeindex-playback", "version": "1.0" } ], "exclusions": [] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 40, "resamples": 2000, "seed": 5519911, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "1045b46bde817656db5bc6b6b8be5c8a0aa04f1b4670527079e1ac9da69ba920" } }, { "id": "doctolib-assistent/medical-scribes:clinical-notes", "provider": "doctolib-assistent", "providerName": "Doctolib KI-Sprechstundenassistent", "test": "medical-scribes:clinical-notes", "label": "Ärztliche Gesprächsdokumentation", "category": "medical-scribes", "task": "clinical-notes", "url": "https://scribeindex.com/anbieter/doctolib-assistent/test/#aerztliche-dokumentation", "rankingUrl": "https://scribeindex.com/vergleich/medical-scribes/aerztliche-dokumentation/", "testPeriod": "2026-Q3", "protocol": "1.0", "corpus": "de-klinik-v1", "scenarios": 48, "runs": 3, "completed": 144, "total": 144, "completionRatePercent": 100, "evaluation": { "output": "clinical-note", "semanticRubric": "clinical-facts-v1", "wordErrorRate": { "applicability": "not-applicable", "basis": "unavailable", "explanation": "Die gelieferte Ausgabe ist eine verdichtete Dokumentation, keine wortnahe Abschrift. Deshalb gibt es keine WER." } }, "score": { "version": "2.2", "value": 89.0518, "ci95": [ 85.5, 90.3 ], "ci95Method": "paired-cluster-bootstrap-beta-critical", "pairedDifferences": [ { "provider": "healthjet", "ci95": [ 3.89, 12.26 ] }, { "provider": "heidi", "ci95": [ 3.25, 11.83 ] }, { "provider": "tippiti", "ci95": [ -1.2, 5.44 ] }, { "provider": "tandem-health", "ci95": [ 5.13, 15.69 ] }, { "provider": "noa-notes", "ci95": [ 8.98, 19.71 ] }, { "provider": "dragon-copilot", "ci95": [ 1.76, 11.74 ] }, { "provider": "speechlive-health", "ci95": [ 4.64, 14.19 ] }, { "provider": "gospeech-medical", "ci95": [ 0.42, 7.85 ] }, { "provider": "quixxs", "ci95": [ 16.96, 28.09 ] }, { "provider": "idana-flow", "ci95": [ 3.79, 13.96 ] } ], "rank": 1, "cohortSize": 11, "criticalRatePercent": 0, "contentQuality": 95.655, "references": { "key": "clinical-notes", "qualityErrorPoints": 30, "correctionMinutes": 59, "criticalPercent": 20 }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 85.518, "weight": 0.6, "contribution": 51.311 }, { "key": "critical", "label": "Schwerwiegende Fehler", "value": 100, "weight": 0.2, "contribution": 20 }, { "key": "effort", "label": "Korrekturaufwand", "value": 84.94, "weight": 0.15, "contribution": 12.741 }, { "key": "reliability", "label": "Abschlussquote", "value": 100, "weight": 0.05, "contribution": 5 } ] }, "mainMetric": { "label": "Fakten-F1", "abbreviation": "F1", "value": 95.655, "direction": "higher", "ci95": [ 95.08, 96.27 ] }, "transcription": null, "facts": { "truePositive": 3842, "falsePositive": 54, "falseNegative": 295, "referenceFacts": 4137, "outputFacts": 3896, "precisionPercent": 98.614, "precisionCi95": [ 98.14, 99.09 ], "recallPercent": 92.869, "recallCi95": [ 91.81, 93.96 ], "f1Percent": 95.655, "f1Ci95": [ 95.08, 96.27 ] }, "latency": { "p50Seconds": 24.9, "p95Seconds": 36.2, "mode": "live-conversation", "start": "Beenden der Aufnahme", "end": "Vollständiges Dokument verfügbar" }, "correction": { "minutesPerAudioHour": 8.8854, "ci95": [ 7.5, 10.24 ], "estimate": { "outputs": 144, "audioSeconds": 104580, "minutes": 258.06, "ci": [ 7.5, 10.24 ], "audioHours": 29.043 } }, "additionalMetrics": [ { "key": "critical-documents", "label": "Dokumente mit schwerwiegendem Fehler", "numerator": 0, "denominator": 144, "valuePercent": 0, "direction": "lower", "definition": "Ausgaben mit mindestens einem potenziell schwerwiegenden medizinischen Fehler pro abgeschlossener Ausgabe. Bewertet wird jeder Fall nach einer festgelegten Fehlerrubrik. Fehler bei Medikation oder Verneinung zählen hier nur, wenn die Rubrik die betroffene Angabe als potenziell schwerwiegend einstuft. Die Zähler je Fehlerart enthalten auch folgenlose Abweichungen.", "ci95": [ 0, 5.02 ], "ci95Method": "wilson-design-effect", "designEffect": 1.9778 }, { "key": "unsupported-statements", "label": "Falsche oder unbelegte Aussagen", "numerator": 23, "denominator": 3896, "valuePercent": 0.59, "direction": "lower", "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.", "ci95": [ 0.3, 1.13 ], "ci95Method": "wilson-design-effect", "designEffect": 2.6292 }, { "key": "medical-term-errors", "label": "Fehler bei Fachbegriffen", "numerator": 114, "denominator": 3507, "valuePercent": 3.251, "direction": "lower", "definition": "Fachlich falsch wiedergegebene oder ausgelassene medizinische Konzepte pro annotiertem Fachkonzept der Referenz. Synonyme gelten bei gleicher Bedeutung als korrekt.", "ci95": [ 2.43, 4.34 ], "ci95Method": "wilson-design-effect", "designEffect": 2.5807 }, { "key": "medication-errors", "label": "Fehler bei Medikamenten und Dosierungen", "numerator": 15, "denominator": 621, "valuePercent": 2.415, "direction": "lower", "definition": "Falsch wiedergegebene oder ausgelassene Angaben zu Wirkstoff, Dosis, Einheit und Einnahme pro annotierter Medikationsangabe. Jede Angabe zählt höchstens einmal.", "ci95": [ 1.18, 4.88 ], "ci95Method": "wilson-design-effect", "designEffect": 2.1072 }, { "key": "negation-errors", "label": "Fehler bei Verneinungen", "numerator": 26, "denominator": 822, "valuePercent": 3.163, "direction": "lower", "definition": "Verlorene, hinzugefügte oder umgekehrte Negationen pro Referenzaussage mit verneintem oder ausdrücklich bestätigtem Befund. Eine Aussage zählt höchstens einmal.", "ci95": [ 1.77, 5.57 ], "ci95Method": "wilson-design-effect", "designEffect": 2.3416 }, { "key": "temporal-errors", "label": "Fehler bei zeitlichen Angaben", "numerator": 26, "denominator": 939, "valuePercent": 2.769, "direction": "lower", "definition": "Falsch zugeordnete oder ausgelassene Zeitpunkte, Dauern und zeitliche Beziehungen pro annotierter zeitlicher Referenzangabe.", "ci95": [ 1.52, 5 ], "ci95Method": "wilson-design-effect", "designEffect": 2.5451 }, { "key": "attribution-errors", "label": "Fehler bei der Zuordnung", "numerator": 30, "denominator": 2166, "valuePercent": 1.385, "direction": "lower", "definition": "Falsche oder ausgelassene Zuordnung von Aussagen zu Patient, behandelnder Person oder Drittperson pro Referenzfakt mit erforderlicher Quellenzuordnung.", "ci95": [ 0.77, 2.46 ], "ci95Method": "wilson-design-effect", "designEffect": 2.6831 } ], "errorTypes": [ { "label": "Nicht erfasste Referenzfakten", "count": 295 }, { "label": "Falsche oder unbelegte Aussagen", "count": 23 }, { "label": "Zutreffende, aber nicht relevante Aussagen", "count": 31 } ], "failedRuns": [], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "Doctolib KI-Sprechstundenassistent, Übernahme per Kopieren, Stand 3. Quartal 2026", "modelVersions": null, "template": { "id": "si-sprechstunde-notiz", "version": "1.0" }, "instruction": { "id": "si-instr-sprechstunde", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Aufnahme in der Anwendung über einen virtuellen Mikrofoneingang", "outputLanguage": "de-DE", "specialty": "Allgemeinmedizin" }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": null }, "corpusMetadata": { "version": "1.0", "manifestSha256": "07e4ff2bb9cb21c1b350d732b5e593f4f1830354a230c75954136f03552f7ba5", "referenceVersion": "1.0", "referenceSha256": "9ddba13742d943cd28b478c231a53d71ed064e1ba7681896e21faedfe2bb2207", "sourceScenarioCount": 50, "evaluatedScenarioCount": 48, "totalAudioSeconds": 34860, "durationSeconds": { "minimum": 360, "maximum": 2400 }, "audioFormats": [ { "codec": "AAC-LC (M4A)", "sampleRateHertz": 48000, "channels": 1 }, { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 2 } ], "conversions": [ { "description": "Einspielung der Gesprächsaufnahme in Echtzeit über einen virtuellen Mikrofoneingang mit −20 dBFS RMS", "tool": "scribeindex-playback", "version": "1.0" } ], "exclusions": [ { "scenarioId": "klinik-016", "reason": "Einwilligung zur Nutzung der Aufnahme vor Testbeginn widerrufen." }, { "scenarioId": "klinik-033", "reason": "Relevanzmenge auch nach fachlicher Durchsicht nicht eindeutig festlegbar." } ] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 48, "resamples": 2000, "seed": 2234884632, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "f630f8568c719864793b7aacf8e58f4627c6b7bdcdf5f3730abfda50ad6bfb37" } }, { "id": "dokudachs/medical-scribes:therapy-notes", "provider": "dokudachs", "providerName": "DokuDachs", "test": "medical-scribes:therapy-notes", "label": "Psychotherapeutische Sitzungsdokumentation", "category": "medical-scribes", "task": "therapy-notes", "url": "https://scribeindex.com/anbieter/dokudachs/test/#psychotherapie", "rankingUrl": "https://scribeindex.com/vergleich/medical-scribes/psychotherapie/", "testPeriod": "2026-Q2", "protocol": "1.0", "corpus": "de-therapie-v1", "scenarios": 36, "runs": 3, "completed": 108, "total": 108, "completionRatePercent": 100, "evaluation": { "output": "therapy-note", "semanticRubric": "clinical-facts-v1", "wordErrorRate": { "applicability": "not-applicable", "basis": "unavailable", "explanation": "Die gelieferte Ausgabe ist eine therapeutische Sitzungsnotiz. Bewertet werden dokumentationsrelevante Fakten und ihre Zuordnung, nicht die Wortfolge des Gesprächs." } }, "score": { "version": "2.2", "value": 75.9081, "ci95": [ 68.1, 79.9 ], "ci95Method": "paired-cluster-bootstrap-beta-critical", "pairedDifferences": [ { "provider": "healthjet", "ci95": [ 2.74, 21.73 ] }, { "provider": "playnvoice", "ci95": [ -3.39, 10.81 ] }, { "provider": "heidi", "ci95": [ 7.34, 25.77 ] }, { "provider": "tandem-health", "ci95": [ 2.11, 20.42 ] }, { "provider": "via-health", "ci95": [ -9.67, 5.28 ] }, { "provider": "iptas", "ci95": [ -6.38, 7.33 ] }, { "provider": "clara-health", "ci95": [ -2.71, 12.32 ] }, { "provider": "lumanote", "ci95": [ -5.55, 12.2 ] }, { "provider": "noa-notes", "ci95": [ 7.86, 22.48 ] }, { "provider": "psynex", "ci95": [ -8.42, 4.87 ] }, { "provider": "upheal", "ci95": [ 11.03, 30.93 ] } ], "rank": 3, "cohortSize": 12, "criticalRatePercent": 2.778, "contentQuality": 91.677, "references": { "key": "therapy-notes", "qualityErrorPoints": 30, "correctionMinutes": 20, "criticalPercent": 20 }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 72.257, "weight": 0.6, "contribution": 43.354 }, { "key": "critical", "label": "Schwerwiegende Fehler", "value": 86.111, "weight": 0.2, "contribution": 17.222 }, { "key": "effort", "label": "Korrekturaufwand", "value": 68.88, "weight": 0.15, "contribution": 10.332 }, { "key": "reliability", "label": "Abschlussquote", "value": 100, "weight": 0.05, "contribution": 5 } ] }, "mainMetric": { "label": "Fakten-F1", "abbreviation": "F1", "value": 91.677, "direction": "higher", "ci95": [ 90.44, 92.87 ] }, "transcription": null, "facts": { "truePositive": 2963, "falsePositive": 177, "falseNegative": 361, "referenceFacts": 3324, "outputFacts": 3140, "precisionPercent": 94.363, "precisionCi95": [ 93.05, 95.64 ], "recallPercent": 89.14, "recallCi95": [ 87.58, 90.64 ], "f1Percent": 91.677, "f1Ci95": [ 90.44, 92.87 ] }, "latency": { "p50Seconds": 44.8, "p95Seconds": 120.8, "mode": "live-conversation", "start": "Beenden der Aufnahme", "end": "Vollständiges Dokument verfügbar" }, "correction": { "minutesPerAudioHour": 6.2241, "ci95": [ 5.3, 7.15 ], "estimate": { "outputs": 108, "audioSeconds": 310800, "minutes": 537.33, "ci": [ 5.3, 7.15 ], "audioHours": 86.331 } }, "additionalMetrics": [ { "key": "critical-documents", "label": "Dokumente mit schwerwiegendem Fehler", "numerator": 3, "denominator": 108, "valuePercent": 2.778, "direction": "lower", "definition": "Ausgaben mit mindestens einem potenziell schwerwiegenden medizinischen Fehler pro abgeschlossener Ausgabe. Bewertet wird jeder Fall nach einer festgelegten Fehlerrubrik. Fehler bei Medikation oder Verneinung zählen hier nur, wenn die Rubrik die betroffene Angabe als potenziell schwerwiegend einstuft. Die Zähler je Fehlerart enthalten auch folgenlose Abweichungen.", "ci95": [ 0.64, 11.12 ], "ci95Method": "wilson-design-effect", "designEffect": 1.9778 }, { "key": "unsupported-statements", "label": "Falsche oder unbelegte Aussagen", "numerator": 61, "denominator": 3140, "valuePercent": 1.943, "direction": "lower", "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.", "ci95": [ 1.32, 2.85 ], "ci95Method": "wilson-design-effect", "designEffect": 2.3955 }, { "key": "medical-term-errors", "label": "Fehler bei Fachbegriffen", "numerator": 50, "denominator": 1185, "valuePercent": 4.219, "direction": "lower", "definition": "Fachlich falsch wiedergegebene oder ausgelassene medizinische Konzepte pro annotiertem Fachkonzept der Referenz. Synonyme gelten bei gleicher Bedeutung als korrekt.", "ci95": [ 2.75, 6.42 ], "ci95Method": "wilson-design-effect", "designEffect": 2.4719 }, { "key": "medication-errors", "label": "Fehler bei Medikamenten und Dosierungen", "numerator": 2, "denominator": 75, "valuePercent": 2.667, "direction": "lower", "definition": "Falsch wiedergegebene oder ausgelassene Angaben zu Wirkstoff, Dosis, Einheit und Einnahme pro annotierter Medikationsangabe. Jede Angabe zählt höchstens einmal.", "ci95": [ 0.43, 14.56 ], "ci95Method": "wilson-design-effect", "designEffect": 2.2198 }, { "key": "negation-errors", "label": "Fehler bei Verneinungen", "numerator": 7, "denominator": 435, "valuePercent": 1.609, "direction": "lower", "definition": "Verlorene, hinzugefügte oder umgekehrte Negationen pro Referenzaussage mit verneintem oder ausdrücklich bestätigtem Befund. Eine Aussage zählt höchstens einmal.", "ci95": [ 0.5, 5 ], "ci95Method": "wilson-design-effect", "designEffect": 2.7303 }, { "key": "temporal-errors", "label": "Fehler bei zeitlichen Angaben", "numerator": 29, "denominator": 969, "valuePercent": 2.993, "direction": "lower", "definition": "Falsch zugeordnete oder ausgelassene Zeitpunkte, Dauern und zeitliche Beziehungen pro annotierter zeitlicher Referenzangabe.", "ci95": [ 1.7, 5.19 ], "ci95Method": "wilson-design-effect", "designEffect": 2.472 }, { "key": "attribution-errors", "label": "Fehler bei der Zuordnung", "numerator": 55, "denominator": 1908, "valuePercent": 2.883, "direction": "lower", "definition": "Falsche oder ausgelassene Zuordnung von Aussagen zu Patient, behandelnder Person oder Drittperson pro Referenzfakt mit erforderlicher Quellenzuordnung.", "ci95": [ 1.87, 4.41 ], "ci95Method": "wilson-design-effect", "designEffect": 2.7304 }, { "key": "risk-assessment-errors", "label": "Fehler bei Risikohinweisen", "numerator": 7, "denominator": 171, "valuePercent": 4.094, "direction": "lower", "definition": "Ausgelassene, hinzugefügte oder falsch eingeordnete Aussagen zu Selbstgefährdung und Schutzfaktoren pro annotierter risikorelevanter Referenzaussage. Bewertet wird anhand des Gesprächs nach einer festgelegten Rubrik.", "ci95": [ 1.37, 11.53 ], "ci95Method": "wilson-design-effect", "designEffect": 2.4129 } ], "errorTypes": [ { "label": "Nicht erfasste Referenzfakten", "count": 361 }, { "label": "Falsche oder unbelegte Aussagen", "count": 61 }, { "label": "Zutreffende, aber nicht relevante Aussagen", "count": 116 } ], "failedRuns": [], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "DokuDachs mit Live-Sprechererkennung, Stand 2. Quartal 2026", "modelVersions": null, "template": { "id": "si-therapie-verlauf", "version": "1.0" }, "instruction": { "id": "si-instr-therapie", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Aufnahme in der Anwendung über einen virtuellen Mikrofoneingang", "sessionType": "Einzeltherapie oder passend zum Fall Paar-/Bezugspersonensitzung", "groupOutput": "Gemeinsame Paar-/Bezugspersonendokumentation mit allen relevanten Beteiligten", "recognitionMode": "Live mit Sprechererkennung", "outputLanguage": "de-DE", "specialty": "Psychotherapie" }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": null }, "corpusMetadata": { "version": "1.0", "manifestSha256": "62780a1c05eb9562aa4bdbee3b73aedcf448ce0e8e6ba5fd85d7e17baa3b4bd8", "referenceVersion": "1.0", "referenceSha256": "62c50ae99e53e02e016470714f0a6524d90a92407fe393d48adae95f19a8ee2a", "sourceScenarioCount": 36, "evaluatedScenarioCount": 36, "totalAudioSeconds": 103620, "durationSeconds": { "minimum": 2220, "maximum": 3540 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 1 } ], "conversions": [ { "description": "Einspielung der Gesprächsaufnahme in Echtzeit über einen virtuellen Mikrofoneingang mit −20 dBFS RMS", "tool": "scribeindex-playback", "version": "1.0" } ], "exclusions": [] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 36, "resamples": 2000, "seed": 3733937332, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "0c35a46bc36056c43d2f55385441679c130a0d1ef5bcb7bd6cb2f19411cef23a" } }, { "id": "dragon-copilot/medical-scribes:clinical-notes", "provider": "dragon-copilot", "providerName": "Microsoft Dragon Copilot", "test": "medical-scribes:clinical-notes", "label": "Ärztliche Gesprächsdokumentation", "category": "medical-scribes", "task": "clinical-notes", "url": "https://scribeindex.com/anbieter/dragon-copilot/test/#aerztliche-dokumentation", "rankingUrl": "https://scribeindex.com/vergleich/medical-scribes/aerztliche-dokumentation/", "testPeriod": "2026-Q2", "protocol": "1.0", "corpus": "de-klinik-v1", "scenarios": 48, "runs": 3, "completed": 143, "total": 144, "completionRatePercent": 99.306, "evaluation": { "output": "clinical-note", "semanticRubric": "clinical-facts-v1", "wordErrorRate": { "applicability": "not-applicable", "basis": "unavailable", "explanation": "Die gelieferte Ausgabe ist eine verdichtete Dokumentation, keine wortnahe Abschrift. Deshalb gibt es keine WER." } }, "score": { "version": "2.2", "value": 83.0438, "ci95": [ 76.7, 85.8 ], "ci95Method": "paired-cluster-bootstrap-beta-critical", "pairedDifferences": [ { "provider": "healthjet", "ci95": [ -4.21, 7.27 ] }, { "provider": "heidi", "ci95": [ -4.74, 6.59 ] }, { "provider": "tippiti", "ci95": [ -9.58, 0.74 ] }, { "provider": "tandem-health", "ci95": [ -2.82, 10.14 ] }, { "provider": "noa-notes", "ci95": [ 1.15, 14.02 ] }, { "provider": "doctolib-assistent", "ci95": [ -11.74, -1.76 ] }, { "provider": "speechlive-health", "ci95": [ -3.42, 8.72 ] }, { "provider": "gospeech-medical", "ci95": [ -7.59, 2.77 ] }, { "provider": "quixxs", "ci95": [ 9.47, 22.78 ] }, { "provider": "idana-flow", "ci95": [ -4.28, 9.03 ] } ], "rank": 4, "cohortSize": 11, "criticalRatePercent": 2.797, "contentQuality": 94.207, "references": { "key": "clinical-notes", "qualityErrorPoints": 30, "correctionMinutes": 59, "criticalPercent": 20 }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 80.689, "weight": 0.6, "contribution": 48.413 }, { "key": "critical", "label": "Schwerwiegende Fehler", "value": 86.014, "weight": 0.2, "contribution": 17.203 }, { "key": "effort", "label": "Korrekturaufwand", "value": 83.083, "weight": 0.15, "contribution": 12.462 }, { "key": "reliability", "label": "Abschlussquote", "value": 99.306, "weight": 0.05, "contribution": 4.965 } ] }, "mainMetric": { "label": "Fakten-F1", "abbreviation": "F1", "value": 94.207, "direction": "higher", "ci95": [ 93.45, 94.91 ] }, "transcription": null, "facts": { "truePositive": 3797, "falsePositive": 150, "falseNegative": 317, "referenceFacts": 4114, "outputFacts": 3947, "precisionPercent": 96.2, "precisionCi95": [ 95.32, 97.06 ], "recallPercent": 92.295, "recallCi95": [ 91.16, 93.33 ], "f1Percent": 94.207, "f1Ci95": [ 93.45, 94.91 ] }, "latency": { "p50Seconds": 37.3, "p95Seconds": 70.4, "mode": "live-conversation", "start": "Beenden der Aufnahme", "end": "Vollständiges Dokument verfügbar" }, "correction": { "minutesPerAudioHour": 9.9813, "ci95": [ 8.62, 11.53 ], "estimate": { "outputs": 143, "audioSeconds": 103920, "minutes": 288.14, "ci": [ 8.62, 11.53 ], "audioHours": 28.868 } }, "additionalMetrics": [ { "key": "critical-documents", "label": "Dokumente mit schwerwiegendem Fehler", "numerator": 4, "denominator": 143, "valuePercent": 2.797, "direction": "lower", "definition": "Ausgaben mit mindestens einem potenziell schwerwiegenden medizinischen Fehler pro abgeschlossener Ausgabe. Bewertet wird jeder Fall nach einer festgelegten Fehlerrubrik. Fehler bei Medikation oder Verneinung zählen hier nur, wenn die Rubrik die betroffene Angabe als potenziell schwerwiegend einstuft. Die Zähler je Fehlerart enthalten auch folgenlose Abweichungen.", "ci95": [ 0.77, 9.56 ], "ci95Method": "wilson-design-effect", "designEffect": 1.9676 }, { "key": "unsupported-statements", "label": "Falsche oder unbelegte Aussagen", "numerator": 56, "denominator": 3947, "valuePercent": 1.419, "direction": "lower", "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.", "ci95": [ 0.93, 2.16 ], "ci95Method": "wilson-design-effect", "designEffect": 2.6508 }, { "key": "medical-term-errors", "label": "Fehler bei Fachbegriffen", "numerator": 86, "denominator": 3490, "valuePercent": 2.464, "direction": "lower", "definition": "Fachlich falsch wiedergegebene oder ausgelassene medizinische Konzepte pro annotiertem Fachkonzept der Referenz. Synonyme gelten bei gleicher Bedeutung als korrekt.", "ci95": [ 1.76, 3.44 ], "ci95Method": "wilson-design-effect", "designEffect": 2.5729 }, { "key": "medication-errors", "label": "Fehler bei Medikamenten und Dosierungen", "numerator": 15, "denominator": 619, "valuePercent": 2.423, "direction": "lower", "definition": "Falsch wiedergegebene oder ausgelassene Angaben zu Wirkstoff, Dosis, Einheit und Einnahme pro annotierter Medikationsangabe. Jede Angabe zählt höchstens einmal.", "ci95": [ 1.18, 4.89 ], "ci95Method": "wilson-design-effect", "designEffect": 2.1033 }, { "key": "negation-errors", "label": "Fehler bei Verneinungen", "numerator": 19, "denominator": 817, "valuePercent": 2.326, "direction": "lower", "definition": "Verlorene, hinzugefügte oder umgekehrte Negationen pro Referenzaussage mit verneintem oder ausdrücklich bestätigtem Befund. Eine Aussage zählt höchstens einmal.", "ci95": [ 1.18, 4.5 ], "ci95Method": "wilson-design-effect", "designEffect": 2.333 }, { "key": "temporal-errors", "label": "Fehler bei zeitlichen Angaben", "numerator": 32, "denominator": 936, "valuePercent": 3.419, "direction": "lower", "definition": "Falsch zugeordnete oder ausgelassene Zeitpunkte, Dauern und zeitliche Beziehungen pro annotierter zeitlicher Referenzangabe.", "ci95": [ 1.99, 5.81 ], "ci95Method": "wilson-design-effect", "designEffect": 2.5399 }, { "key": "attribution-errors", "label": "Fehler bei der Zuordnung", "numerator": 72, "denominator": 2156, "valuePercent": 3.34, "direction": "lower", "definition": "Falsche oder ausgelassene Zuordnung von Aussagen zu Patient, behandelnder Person oder Drittperson pro Referenzfakt mit erforderlicher Quellenzuordnung.", "ci95": [ 2.3, 4.82 ], "ci95Method": "wilson-design-effect", "designEffect": 2.6751 } ], "errorTypes": [ { "label": "Nicht erfasste Referenzfakten", "count": 317 }, { "label": "Falsche oder unbelegte Aussagen", "count": 56 }, { "label": "Zutreffende, aber nicht relevante Aussagen", "count": 94 } ], "failedRuns": [ { "scenarioId": "klinik-046", "run": 2, "reason": "Kein Dokument innerhalb des protokollierten Zeitlimits" } ], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "Dragon Copilot, Ambient-Notizen, Stand 2. Quartal 2026", "modelVersions": null, "template": { "id": "si-sprechstunde-notiz", "version": "1.0" }, "instruction": { "id": "si-instr-sprechstunde", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Aufnahme in der Anwendung über einen virtuellen Mikrofoneingang", "outputLanguage": "de-DE", "specialty": "Allgemeinmedizin" }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": null }, "corpusMetadata": { "version": "1.0", "manifestSha256": "07e4ff2bb9cb21c1b350d732b5e593f4f1830354a230c75954136f03552f7ba5", "referenceVersion": "1.0", "referenceSha256": "9ddba13742d943cd28b478c231a53d71ed064e1ba7681896e21faedfe2bb2207", "sourceScenarioCount": 50, "evaluatedScenarioCount": 48, "totalAudioSeconds": 34860, "durationSeconds": { "minimum": 360, "maximum": 2400 }, "audioFormats": [ { "codec": "AAC-LC (M4A)", "sampleRateHertz": 48000, "channels": 1 }, { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 2 } ], "conversions": [ { "description": "Einspielung der Gesprächsaufnahme in Echtzeit über einen virtuellen Mikrofoneingang mit −20 dBFS RMS", "tool": "scribeindex-playback", "version": "1.0" } ], "exclusions": [ { "scenarioId": "klinik-016", "reason": "Einwilligung zur Nutzung der Aufnahme vor Testbeginn widerrufen." }, { "scenarioId": "klinik-033", "reason": "Relevanzmenge auch nach fachlicher Durchsicht nicht eindeutig festlegbar." } ] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 48, "resamples": 2000, "seed": 2234884632, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "f630f8568c719864793b7aacf8e58f4627c6b7bdcdf5f3730abfda50ad6bfb37" } }, { "id": "dragon-copilot/medizinische-transkription", "provider": "dragon-copilot", "providerName": "Microsoft Dragon Copilot", "test": "medizinische-transkription", "label": "Medizinische Spracherkennung", "category": "medizinische-transkription", "url": "https://scribeindex.com/anbieter/dragon-copilot/test/#medizinische-transkription", "rankingUrl": "https://scribeindex.com/vergleich/medizinische-spracherkennung/", "testPeriod": "2026-Q2", "protocol": "1.0", "corpus": "de-diktat-v1", "scenarios": 62, "runs": 3, "completed": 186, "total": 186, "completionRatePercent": 100, "evaluation": { "output": "verbatim-transcript", "semanticRubric": "clinical-facts-v1", "wordErrorRate": { "applicability": "word-aligned", "basis": "delivered-output", "explanation": "WER wird aus der gelieferten wortnahen Transkriptausgabe gegen die normalisierte Referenz berechnet." } }, "score": { "version": "2.2", "value": 84.093, "ci95": [ 79.2, 85.6 ], "ci95Method": "paired-cluster-bootstrap-beta-critical", "pairedDifferences": [ { "provider": "dragon-medical-one", "ci95": [ -5.64, 3.38 ] }, { "provider": "heidi", "ci95": [ -13.6, -5.94 ] }, { "provider": "tippiti", "ci95": [ -17.07, -9.28 ] }, { "provider": "mira-medical", "ci95": [ -2.22, 7.12 ] }, { "provider": "dictnow", "ci95": [ -2.65, 6.72 ] }, { "provider": "fluency-direct", "ci95": [ -0.19, 8.21 ] }, { "provider": "idana-flow", "ci95": [ -13.76, -5.59 ] }, { "provider": "healthjet", "ci95": [ -12.08, -3.19 ] } ], "rank": 6, "cohortSize": 9, "criticalRatePercent": 0.538, "contentQuality": 94.639, "references": { "key": "medizinische-transkription", "qualityErrorPoints": 30, "correctionMinutes": 141, "criticalPercent": 15 }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 82.131, "weight": 0.6, "contribution": 49.279 }, { "key": "critical", "label": "Schwerwiegende Fehler", "value": 96.416, "weight": 0.2, "contribution": 19.283 }, { "key": "effort", "label": "Korrekturaufwand", "value": 70.208, "weight": 0.15, "contribution": 10.531 }, { "key": "reliability", "label": "Abschlussquote", "value": 100, "weight": 0.05, "contribution": 5 } ] }, "mainMetric": { "label": "Fakten-F1", "abbreviation": "F1", "value": 94.639, "direction": "higher", "ci95": [ 94.03, 95.19 ] }, "transcription": { "referenceWords": 103161, "substitutions": 3498, "deletions": 1714, "insertions": 1636, "errors": 6848, "werPercent": 6.638, "ci95": [ 6.11, 7.2 ], "comparable": true }, "facts": { "truePositive": 6382, "falsePositive": 400, "falseNegative": 323, "referenceFacts": 6705, "outputFacts": 6782, "precisionPercent": 94.102, "precisionCi95": [ 93.24, 94.93 ], "recallPercent": 95.183, "recallCi95": [ 94.39, 95.93 ], "f1Percent": 94.639, "f1Ci95": [ 94.03, 95.19 ] }, "latency": { "p50Seconds": 1.5, "p95Seconds": 3.3, "mode": "live-dictation", "start": "Ende des letzten zugespielten Wortes", "end": "Stabile nutzbare Textausgabe" }, "correction": { "minutesPerAudioHour": 42.0064, "ci95": [ 38.57, 45.65 ], "estimate": { "outputs": 186, "audioSeconds": 56220, "minutes": 655.93, "ci": [ 38.57, 45.65 ], "audioHours": 15.615 } }, "additionalMetrics": [ { "key": "recognition-errors", "label": "Erkennungsfehler", "numerator": 6848, "denominator": 103161, "valuePercent": 6.638, "direction": "lower", "definition": "Falsch erkannte, ausgelassene oder eingefügte Wörter pro Referenzwort, ohne zulässige Umformulierungen. Bei wortnaher Ausgabe entspricht der Wert der WER, dort zählt jede Abweichung vom Wortlaut. Bei KI-überarbeiteter Ausgabe zählen nur falsch erkannte oder inhaltlich veränderte Wörter. Für wortnahe Dienste ist die Zählung damit strenger.", "ci95": [ 6.11, 7.2 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "cer", "label": "Zeichenfehlerrate · CER", "numerator": 20885, "denominator": 743736, "valuePercent": 2.808, "direction": "lower", "definition": "Zeichenabweichungen pro Referenzzeichen nach NFC-Normalisierung, einheitlicher Groß- und Kleinschreibung, entfernten Satzzeichen und zu einem Leerzeichen zusammengefasstem Leerraum. Leerzeichen zählen als Zeichen.", "ci95": [ 2.63, 3 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "critical-documents", "label": "Dokumente mit schwerwiegendem Fehler", "numerator": 1, "denominator": 186, "valuePercent": 0.538, "direction": "lower", "definition": "Ausgaben mit mindestens einem potenziell schwerwiegenden medizinischen Fehler pro abgeschlossener Ausgabe. Bewertet wird jeder Fall nach einer festgelegten Fehlerrubrik. Fehler bei Medikation oder Verneinung zählen hier nur, wenn die Rubrik die betroffene Angabe als potenziell schwerwiegend einstuft. Die Zähler je Fehlerart enthalten auch folgenlose Abweichungen.", "ci95": [ 0.05, 4.91 ], "ci95Method": "wilson-design-effect", "designEffect": 1.9778 }, { "key": "unsupported-statements", "label": "Falsche oder unbelegte Aussagen", "numerator": 369, "denominator": 6782, "valuePercent": 5.441, "direction": "lower", "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.", "ci95": [ 4.63, 6.38 ], "ci95Method": "wilson-design-effect", "designEffect": 2.5652 }, { "key": "medical-term-errors", "label": "Fehler bei Fachbegriffen", "numerator": 182, "denominator": 11205, "valuePercent": 1.624, "direction": "lower", "definition": "Fachlich falsch wiedergegebene oder ausgelassene medizinische Konzepte pro annotiertem Fachkonzept der Referenz. Synonyme gelten bei gleicher Bedeutung als korrekt.", "ci95": [ 1.26, 2.09 ], "ci95Method": "wilson-design-effect", "designEffect": 3.0102 }, { "key": "medication-errors", "label": "Fehler bei Medikamenten und Dosierungen", "numerator": 12, "denominator": 762, "valuePercent": 1.575, "direction": "lower", "definition": "Falsch wiedergegebene oder ausgelassene Angaben zu Wirkstoff, Dosis, Einheit und Einnahme pro annotierter Medikationsangabe. Jede Angabe zählt höchstens einmal.", "ci95": [ 0.66, 3.69 ], "ci95Method": "wilson-design-effect", "designEffect": 2.4965 }, { "key": "negation-errors", "label": "Fehler bei Verneinungen", "numerator": 27, "denominator": 1107, "valuePercent": 2.439, "direction": "lower", "definition": "Verlorene, hinzugefügte oder umgekehrte Negationen pro Referenzaussage mit verneintem oder ausdrücklich bestätigtem Befund. Eine Aussage zählt höchstens einmal.", "ci95": [ 1.34, 4.38 ], "ci95Method": "wilson-design-effect", "designEffect": 2.5899 }, { "key": "temporal-errors", "label": "Fehler bei zeitlichen Angaben", "numerator": 42, "denominator": 1455, "valuePercent": 2.887, "direction": "lower", "definition": "Falsch zugeordnete oder ausgelassene Zeitpunkte, Dauern und zeitliche Beziehungen pro annotierter zeitlicher Referenzangabe.", "ci95": [ 1.77, 4.67 ], "ci95Method": "wilson-design-effect", "designEffect": 2.6964 }, { "key": "attribution-errors", "label": "Fehler bei der Zuordnung", "numerator": 49, "denominator": 2415, "valuePercent": 2.029, "direction": "lower", "definition": "Falsche oder ausgelassene Zuordnung von Aussagen zu Patient, behandelnder Person oder Drittperson pro Referenzfakt mit erforderlicher Quellenzuordnung.", "ci95": [ 1.31, 3.12 ], "ci95Method": "wilson-design-effect", "designEffect": 2.4518 }, { "key": "dictation-command-accuracy", "label": "Umgesetzte Diktatbefehle", "numerator": 1232, "denominator": 1326, "valuePercent": 92.911, "direction": "higher", "definition": "Richtig ausgeführte festgelegte Satzzeichen-, Absatz- und Korrekturbefehle pro ausgesprochenem Referenzbefehl. Der Befehl soll wirken und nicht als Befehlswort im Text stehen.", "ci95": [ 89.83, 95.11 ], "ci95Method": "wilson-design-effect", "designEffect": 3.5814 }, { "key": "self-correction-accuracy", "label": "Umgesetzte Selbstkorrekturen", "numerator": 6, "denominator": 252, "valuePercent": 2.381, "direction": "higher", "definition": "Spontane Selbstkorrekturen, nach denen das Dokument nur die endgültige Angabe enthält, pro annotierter Selbstkorrektur der Referenz. Steht die verworfene Angabe noch im Text oder ersetzt sie die endgültige, ist die Selbstkorrektur nicht umgesetzt. Ob eine Regel oder ein Sprachmodell sie umsetzt, spielt keine Rolle.", "ci95": [ 0.75, 7.24 ], "ci95Method": "wilson-design-effect", "designEffect": 2.3037 }, { "key": "edit-instruction-accuracy", "label": "Umgesetzte Bearbeitungsanweisungen", "numerator": 0, "denominator": 90, "valuePercent": 0, "direction": "higher", "definition": "Frei formulierte Anweisungen an das Dokument, deren Wirkung das gelieferte Dokument zeigt, pro annotierter Anweisung der Referenz. Eine solche Anweisung ändert eine früher genannte Angabe, ergänzt Inhalt an einer früheren Stelle oder verschiebt einen Abschnitt. Steht sie wörtlich im Text oder bleibt sie ohne Wirkung, ist sie nicht umgesetzt. Ob eine Regel oder ein Sprachmodell sie umsetzt, spielt keine Rolle.", "ci95": [ 0, 10.23 ], "ci95Method": "wilson-design-effect", "designEffect": 2.6683 } ], "errorTypes": [ { "label": "Nicht erfasste Referenzfakten", "count": 323 }, { "label": "Falsche oder unbelegte Aussagen", "count": 369 }, { "label": "Zutreffende, aber nicht relevante Aussagen", "count": 31 }, { "label": "Ersetzungen", "count": 3498 }, { "label": "Auslassungen", "count": 1714 }, { "label": "Einfügungen", "count": 1636 } ], "failedRuns": [], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "Dragon Copilot Windows-Client, medizinisches Diktat, Stand 2. Quartal 2026", "modelVersions": null, "template": null, "instruction": { "id": "si-instr-diktat-wortnah", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Virtueller Mikrofoneingang", "outputLanguage": "de-DE", "speechProfile": "Neues Profil ohne individuelles Training", "specialtyVocabulary": "Medizinischer Standardwortschatz", "voiceCommands": true, "processing": "Deutscher Dragon-Copilot-Mandant" }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": { "id": "de-med-wer", "version": "1.0" } }, "corpusMetadata": { "version": "1.0", "manifestSha256": "6768f28bb70c0457e31c2eaafd4f3c498c05b4aec26501537825bbaa22733060", "referenceVersion": "1.0", "referenceSha256": "18772162e86230bce7cfb8a2f52f90244df2b1cdf52bdb6a646494dd3596dbb9", "sourceScenarioCount": 64, "evaluatedScenarioCount": 62, "totalAudioSeconds": 18720, "durationSeconds": { "minimum": 60, "maximum": 900 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 1 }, { "codec": "MP3 128 kbit/s", "sampleRateHertz": 44100, "channels": 1 }, { "codec": "AAC-LC (M4A)", "sampleRateHertz": 44100, "channels": 1 } ], "conversions": [ { "description": "Kontrollierte Wiedergabe der Referenzaufnahmen über einen virtuellen Mikrofoneingang mit −20 dBFS RMS in Echtzeit", "tool": "scribeindex-playback", "version": "1.0" }, { "description": "Dekodierung komprimierter Quelldateien zu PCM 48 kHz mono vor der Wiedergabe", "tool": "FFmpeg", "version": "7.1.1" } ], "exclusions": [ { "scenarioId": "diktat-023", "reason": "Die sprechende Person nannte versehentlich einen echten Namen. Die Aufnahme wurde vor der Referenzfreigabe zurückgezogen." }, { "scenarioId": "diktat-057", "reason": "Endgültige Angabe einer Selbstkorrektur auch nach Prüfung der Aufnahme nicht eindeutig hörbar." } ] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 62, "resamples": 2000, "seed": 4214870755, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "1feb69fb1f1a9ee5134ab583a5bf6a80625f840f53d2d833da91149ac9f1550a" } }, { "id": "dragon-legal/diktiersoftware:legal-dictation", "provider": "dragon-legal", "providerName": "Nuance Dragon Legal Group 16", "test": "diktiersoftware:legal-dictation", "label": "Juristische Diktate", "category": "diktiersoftware", "task": "legal-dictation", "url": "https://scribeindex.com/anbieter/dragon-legal/test/#juristisch", "rankingUrl": "https://scribeindex.com/vergleich/diktiersoftware/juristisch/", "testPeriod": "2026-Q3", "protocol": "1.0", "corpus": "de-recht-diktat-v1", "scenarios": 40, "runs": 3, "completed": 120, "total": 120, "completionRatePercent": 100, "evaluation": { "output": "verbatim-transcript", "semanticRubric": "legal-errors-v1", "wordErrorRate": { "applicability": "word-aligned", "basis": "delivered-output", "explanation": "WER wird aus der gelieferten wortnahen Transkriptausgabe gegen die normalisierte Referenz berechnet." } }, "score": { "version": "2.2", "value": 73.9988, "ci95": [ 63.6, 81 ], "ci95Method": "paired-cluster-bootstrap-beta-critical", "pairedDifferences": [ { "provider": "speechlive-legal", "ci95": [ -10.31, 16.39 ] }, { "provider": "dictnow", "ci95": [ -11.98, 15.17 ] }, { "provider": "wispr-flow", "ci95": [ -5.64, 19.25 ] } ], "rank": 1, "cohortSize": 4, "criticalRatePercent": 7.5, "contentQuality": 94.019, "references": { "key": "legal-dictation", "qualityErrorPoints": 30, "correctionMinutes": 167, "criticalPercent": 15 }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 80.064, "weight": 0.6, "contribution": 48.039 }, { "key": "critical", "label": "Schwerwiegende Fehler", "value": 50, "weight": 0.2, "contribution": 10 }, { "key": "effort", "label": "Korrekturaufwand", "value": 73.067, "weight": 0.15, "contribution": 10.96 }, { "key": "reliability", "label": "Abschlussquote", "value": 100, "weight": 0.05, "contribution": 5 } ] }, "mainMetric": { "label": "Wortfehlerrate", "abbreviation": "WER", "value": 7.04, "direction": "lower", "ci95": [ 6.46, 7.63 ] }, "transcription": { "referenceWords": 95199, "substitutions": 2929, "deletions": 1253, "insertions": 2520, "errors": 6702, "werPercent": 7.04, "ci95": [ 6.46, 7.63 ], "comparable": true }, "facts": null, "latency": { "p50Seconds": 1.1, "p95Seconds": 2.1, "mode": "live-dictation", "start": "Ende des letzten zugespielten Wortes", "end": "Stabile nutzbare Textausgabe" }, "correction": { "minutesPerAudioHour": 44.9774, "ci95": [ 41.19, 48.24 ], "estimate": { "outputs": 120, "audioSeconds": 43800, "minutes": 547.15, "ci": [ 41.19, 48.24 ], "audioHours": 12.165 } }, "additionalMetrics": [ { "key": "cer", "label": "Zeichenfehlerrate · CER", "numerator": 23451, "denominator": 613482, "valuePercent": 3.823, "direction": "lower", "definition": "Zeichenabweichungen pro Referenzzeichen nach NFC-Normalisierung, einheitlicher Groß- und Kleinschreibung, entfernten Satzzeichen und zu einem Leerzeichen zusammengefasstem Leerraum. Leerzeichen zählen als Zeichen.", "ci95": [ 3.42, 4.25 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "critical-documents", "label": "Dokumente mit schwerwiegendem Fehler", "numerator": 9, "denominator": 120, "valuePercent": 7.5, "direction": "lower", "definition": "Ausgaben mit mindestens einem schwerwiegenden juristischen Fehler pro abgeschlossener Ausgabe. Bewertet werden Parteien, Fristen, Forderungen und Normbezüge nach der Rubrik legal-errors-v1.", "ci95": [ 2.71, 19.04 ], "ci95Method": "wilson-design-effect", "designEffect": 2.6977 }, { "key": "legal-citation-errors", "label": "Fehler bei Normzitaten und Aktenzeichen", "numerator": 32, "denominator": 1041, "valuePercent": 3.074, "direction": "lower", "definition": "Falsche oder fehlende Paragraphen, Absätze, Gesetze und Aktenzeichen pro annotierter Referenzangabe. Vorab freigegebene typografische Varianten gelten als korrekt.", "ci95": [ 1.85, 5.07 ], "ci95Method": "wilson-design-effect", "designEffect": 2.2349 }, { "key": "deadline-errors", "label": "Fehler bei Fristen und Daten", "numerator": 9, "denominator": 639, "valuePercent": 1.408, "direction": "lower", "definition": "Falsche oder fehlende Fristen und Datumsangaben pro Referenzangabe. Zahlen und Bezugspunkte müssen zusammen stimmen.", "ci95": [ 0.48, 4.04 ], "ci95Method": "wilson-design-effect", "designEffect": 2.9579 }, { "key": "party-errors", "label": "Fehler bei Parteien und Rollen", "numerator": 24, "denominator": 1014, "valuePercent": 2.367, "direction": "lower", "definition": "Falsche oder fehlende Zuordnung einer Partei oder Rolle pro referenzierter Parteienangabe. Eine vertauschte Kläger- und Beklagtenrolle zählt als Fehler.", "ci95": [ 1.17, 4.72 ], "ci95Method": "wilson-design-effect", "designEffect": 3.2327 }, { "key": "amount-errors", "label": "Fehler bei Beträgen", "numerator": 4, "denominator": 522, "valuePercent": 0.766, "direction": "lower", "definition": "Falsche oder fehlende Geldbeträge einschließlich Währung pro annotierter Betragsangabe. Wert und Währung müssen zusammen mit der Referenz übereinstimmen.", "ci95": [ 0.21, 2.68 ], "ci95Method": "wilson-design-effect", "designEffect": 1.8964 }, { "key": "dictation-command-accuracy", "label": "Umgesetzte Diktatbefehle", "numerator": 923, "denominator": 999, "valuePercent": 92.392, "direction": "higher", "definition": "Richtig ausgeführte festgelegte Satzzeichen-, Absatz- und Korrekturbefehle pro ausgesprochenem Referenzbefehl. Der Befehl soll wirken und nicht als Befehlswort im Text stehen.", "ci95": [ 88.2, 95.18 ], "ci95Method": "wilson-design-effect", "designEffect": 4.3752 }, { "key": "self-correction-accuracy", "label": "Umgesetzte Selbstkorrekturen", "numerator": 5, "denominator": 255, "valuePercent": 1.961, "direction": "higher", "definition": "Spontane Selbstkorrekturen, nach denen das Dokument nur die endgültige Angabe enthält, pro annotierter Selbstkorrektur der Referenz. Steht die verworfene Angabe noch im Text oder ersetzt sie die endgültige, ist die Selbstkorrektur nicht umgesetzt. Ob eine Regel oder ein Sprachmodell sie umsetzt, spielt keine Rolle.", "ci95": [ 0.44, 8.14 ], "ci95Method": "wilson-design-effect", "designEffect": 3.3862 }, { "key": "edit-instruction-accuracy", "label": "Umgesetzte Bearbeitungsanweisungen", "numerator": 0, "denominator": 108, "valuePercent": 0, "direction": "higher", "definition": "Frei formulierte Anweisungen an das Dokument, deren Wirkung das gelieferte Dokument zeigt, pro annotierter Anweisung der Referenz. Eine solche Anweisung ändert eine früher genannte Angabe, ergänzt Inhalt an einer früheren Stelle oder verschiebt einen Abschnitt. Steht sie wörtlich im Text oder bleibt sie ohne Wirkung, ist sie nicht umgesetzt. Ob eine Regel oder ein Sprachmodell sie umsetzt, spielt keine Rolle.", "ci95": [ 0, 15.47 ], "ci95Method": "wilson-design-effect", "designEffect": 5.1429 } ], "errorTypes": [ { "label": "Ersetzungen", "count": 2929 }, { "label": "Auslassungen", "count": 1253 }, { "label": "Einfügungen", "count": 2520 } ], "failedRuns": [], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "Dragon Legal Group 16, Stand 3. Quartal 2026", "modelVersions": null, "template": null, "instruction": { "id": "si-instr-diktat-wortnah", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Virtueller Mikrofoneingang in eine leere Zielanwendung", "language": "Deutsch", "customVocabularyEntries": 0, "outputStyle": "Wortnah mit Satzzeichen", "voiceCommands": true, "speechProfile": "Neues Profil ohne Training", "hardware": "Windows 11 Pro, AMD Ryzen 7 7700, 32 GB RAM, NVIDIA RTX 4070 12 GB VRAM" }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": { "id": "de-legal-wer", "version": "1.0" } }, "corpusMetadata": { "version": "1.0", "manifestSha256": "2e856c64cf093797ea7a7b27b4ac15e541a33528e55d943bde123a02d67c7e83", "referenceVersion": "1.0", "referenceSha256": "686a87e5af4681ab48fa6d1b65481ec57e9d04c2ef6bb6c22a5023b47bea5732", "sourceScenarioCount": 40, "evaluatedScenarioCount": 40, "totalAudioSeconds": 14580, "durationSeconds": { "minimum": 60, "maximum": 1080 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 1 } ], "conversions": [ { "description": "Kontrollierte Wiedergabe der Referenzaufnahmen über einen virtuellen Mikrofoneingang mit −20 dBFS RMS in Echtzeit", "tool": "scribeindex-playback", "version": "1.0" } ], "exclusions": [] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 40, "resamples": 2000, "seed": 5519911, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "1045b46bde817656db5bc6b6b8be5c8a0aa04f1b4670527079e1ac9da69ba920" } }, { "id": "dragon-legal/diktiersoftware:general-dictation", "provider": "dragon-legal", "providerName": "Nuance Dragon Legal Group 16", "test": "diktiersoftware:general-dictation", "label": "Allgemeine Diktate", "category": "diktiersoftware", "task": "general-dictation", "url": "https://scribeindex.com/anbieter/dragon-legal/test/#allgemein", "rankingUrl": "https://scribeindex.com/vergleich/diktiersoftware/allgemein/", "testPeriod": "2026-Q3", "protocol": "1.0", "corpus": "de-buero-diktat-v1", "scenarios": 40, "runs": 3, "completed": 120, "total": 120, "completionRatePercent": 100, "evaluation": { "output": "verbatim-transcript", "semanticRubric": null, "wordErrorRate": { "applicability": "word-aligned", "basis": "delivered-output", "explanation": "WER wird aus der gelieferten wortnahen Transkriptausgabe gegen die normalisierte Referenz berechnet." } }, "score": { "version": "2.2", "value": 80.2244, "ci95": [ 77.8, 82.6 ], "ci95Method": "paired-cluster-bootstrap", "pairedDifferences": [ { "provider": "audiopen", "ci95": [ 7.14, 13.48 ] }, { "provider": "wispr-flow", "ci95": [ -6.14, -1.38 ] }, { "provider": "superwhisper", "ci95": [ 16.58, 23.03 ] }, { "provider": "letterly", "ci95": [ 5.74, 10.49 ] }, { "provider": "dictnow", "ci95": [ 2.26, 7.7 ] } ], "rank": 2, "cohortSize": 6, "criticalRatePercent": null, "contentQuality": 93.852, "references": { "key": "general-dictation", "qualityErrorPoints": 30, "correctionMinutes": 164, "criticalPercent": null }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 79.506, "weight": 0.75, "contribution": 59.629 }, { "key": "effort", "label": "Korrekturaufwand", "value": 77.975, "weight": 0.2, "contribution": 15.595 }, { "key": "reliability", "label": "Abschlussquote", "value": 100, "weight": 0.05, "contribution": 5 } ] }, "mainMetric": { "label": "Wortfehlerrate", "abbreviation": "WER", "value": 6.352, "direction": "lower", "ci95": [ 5.63, 7.1 ] }, "transcription": { "referenceWords": 53508, "substitutions": 1383, "deletions": 633, "insertions": 1383, "errors": 3399, "werPercent": 6.352, "ci95": [ 5.63, 7.1 ], "comparable": true }, "facts": null, "latency": { "p50Seconds": 1.1, "p95Seconds": 2, "mode": "live-dictation", "start": "Ende des letzten zugespielten Wortes", "end": "Stabile nutzbare Textausgabe" }, "correction": { "minutesPerAudioHour": 36.1217, "ci95": [ 32.55, 39.63 ], "estimate": { "outputs": 120, "audioSeconds": 25080, "minutes": 251.66, "ci": [ 32.55, 39.63 ], "audioHours": 6.967 } }, "additionalMetrics": [ { "key": "cer", "label": "Zeichenfehlerrate · CER", "numerator": 12472, "denominator": 344913, "valuePercent": 3.616, "direction": "lower", "definition": "Zeichenabweichungen pro Referenzzeichen nach NFC-Normalisierung, einheitlicher Groß- und Kleinschreibung, entfernten Satzzeichen und zu einem Leerzeichen zusammengefasstem Leerraum. Leerzeichen zählen als Zeichen.", "ci95": [ 3.01, 4.34 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "name-accuracy", "label": "Korrekte Namen", "numerator": 451, "denominator": 480, "valuePercent": 93.958, "direction": "higher", "definition": "Korrekt übernommene Personen- und Firmennamen pro annotiertem Referenznamen. Vorab freigegebene Schreibvarianten zählen als richtig.", "ci95": [ 89.03, 96.76 ], "ci95Method": "wilson-design-effect", "designEffect": 3.1029 }, { "key": "number-accuracy", "label": "Korrekte Zahlen", "numerator": 681, "denominator": 714, "valuePercent": 95.378, "direction": "higher", "definition": "Korrekt übernommene Zahlen mit ihrer Einheit und ihrem Bezug pro annotierter Zahlenangabe. Falsche oder ausgelassene Werte zählen als nicht korrekt.", "ci95": [ 91.85, 97.43 ], "ci95Method": "wilson-design-effect", "designEffect": 3.0845 }, { "key": "dictation-command-accuracy", "label": "Umgesetzte Diktatbefehle", "numerator": 413, "denominator": 441, "valuePercent": 93.651, "direction": "higher", "definition": "Richtig ausgeführte festgelegte Satzzeichen-, Absatz- und Korrekturbefehle pro ausgesprochenem Referenzbefehl. Der Befehl soll wirken und nicht als Befehlswort im Text stehen.", "ci95": [ 87.7, 96.83 ], "ci95Method": "wilson-design-effect", "designEffect": 3.7671 }, { "key": "self-correction-accuracy", "label": "Umgesetzte Selbstkorrekturen", "numerator": 3, "denominator": 207, "valuePercent": 1.449, "direction": "higher", "definition": "Spontane Selbstkorrekturen, nach denen das Dokument nur die endgültige Angabe enthält, pro annotierter Selbstkorrektur der Referenz. Steht die verworfene Angabe noch im Text oder ersetzt sie die endgültige, ist die Selbstkorrektur nicht umgesetzt. Ob eine Regel oder ein Sprachmodell sie umsetzt, spielt keine Rolle.", "ci95": [ 0.22, 8.63 ], "ci95Method": "wilson-design-effect", "designEffect": 3.5215 }, { "key": "edit-instruction-accuracy", "label": "Umgesetzte Bearbeitungsanweisungen", "numerator": 0, "denominator": 36, "valuePercent": 0, "direction": "higher", "definition": "Frei formulierte Anweisungen an das Dokument, deren Wirkung das gelieferte Dokument zeigt, pro annotierter Anweisung der Referenz. Eine solche Anweisung ändert eine früher genannte Angabe, ergänzt Inhalt an einer früheren Stelle oder verschiebt einen Abschnitt. Steht sie wörtlich im Text oder bleibt sie ohne Wirkung, ist sie nicht umgesetzt. Ob eine Regel oder ein Sprachmodell sie umsetzt, spielt keine Rolle.", "ci95": [ 0, 25.89 ], "ci95Method": "wilson-design-effect", "designEffect": 3.2727 } ], "errorTypes": [ { "label": "Ersetzungen", "count": 1383 }, { "label": "Auslassungen", "count": 633 }, { "label": "Einfügungen", "count": 1383 } ], "failedRuns": [], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "Dragon Legal Group 16, Stand 3. Quartal 2026", "modelVersions": null, "template": null, "instruction": { "id": "si-instr-diktat-wortnah", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Virtueller Mikrofoneingang in eine leere Zielanwendung", "language": "Deutsch", "customVocabularyEntries": 0, "outputStyle": "Wortnah mit Satzzeichen", "voiceCommands": true, "speechProfile": "Neues Profil ohne Training", "hardware": "Windows 11 Pro, AMD Ryzen 7 7700, 32 GB RAM, NVIDIA RTX 4070 12 GB VRAM" }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": { "id": "de-allg-wer", "version": "1.0" } }, "corpusMetadata": { "version": "1.0", "manifestSha256": "be86355a52a9e6e6ac547fa75797ca0c34d34b998965c77efe431e8cac1bf200", "referenceVersion": "1.0", "referenceSha256": "2f3f1976d19c5059b932063bd9b929c3ad3df1d749efd78e0060e5b1364c5f41", "sourceScenarioCount": 40, "evaluatedScenarioCount": 40, "totalAudioSeconds": 8340, "durationSeconds": { "minimum": 60, "maximum": 600 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 1 } ], "conversions": [ { "description": "Kontrollierte Wiedergabe der Referenzaufnahmen über einen virtuellen Mikrofoneingang mit −20 dBFS RMS in Echtzeit", "tool": "scribeindex-playback", "version": "1.0" } ], "exclusions": [] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 40, "resamples": 2000, "seed": 2217701174, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "5b6419a32e9fc2e489a2dae6029ddcb9e755388234d69b65a19df934ad0bdabc" } }, { "id": "dragon-medical-one/medizinische-transkription", "provider": "dragon-medical-one", "providerName": "Dragon Medical One", "test": "medizinische-transkription", "label": "Medizinische Spracherkennung", "category": "medizinische-transkription", "url": "https://scribeindex.com/anbieter/dragon-medical-one/test/#medizinische-transkription", "rankingUrl": "https://scribeindex.com/vergleich/medizinische-spracherkennung/", "testPeriod": "2026-Q2", "protocol": "1.0", "corpus": "de-diktat-v1", "scenarios": 62, "runs": 3, "completed": 186, "total": 186, "completionRatePercent": 100, "evaluation": { "output": "verbatim-transcript", "semanticRubric": "clinical-facts-v1", "wordErrorRate": { "applicability": "word-aligned", "basis": "delivered-output", "explanation": "WER wird aus der gelieferten wortnahen Transkriptausgabe gegen die normalisierte Referenz berechnet." } }, "score": { "version": "2.2", "value": 85.0798, "ci95": [ 80.3, 86.9 ], "ci95Method": "paired-cluster-bootstrap-beta-critical", "pairedDifferences": [ { "provider": "heidi", "ci95": [ -12.54, -4.76 ] }, { "provider": "tippiti", "ci95": [ -15.88, -8.12 ] }, { "provider": "dragon-copilot", "ci95": [ -3.38, 5.64 ] }, { "provider": "mira-medical", "ci95": [ -1.03, 8.34 ] }, { "provider": "dictnow", "ci95": [ -1.55, 7.82 ] }, { "provider": "fluency-direct", "ci95": [ 0.79, 9.32 ] }, { "provider": "idana-flow", "ci95": [ -12.32, -4.57 ] }, { "provider": "healthjet", "ci95": [ -10.81, -1.92 ] } ], "rank": 5, "cohortSize": 9, "criticalRatePercent": 0.538, "contentQuality": 95.137, "references": { "key": "medizinische-transkription", "qualityErrorPoints": 30, "correctionMinutes": 141, "criticalPercent": 15 }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 83.789, "weight": 0.6, "contribution": 50.273 }, { "key": "critical", "label": "Schwerwiegende Fehler", "value": 96.416, "weight": 0.2, "contribution": 19.283 }, { "key": "effort", "label": "Korrekturaufwand", "value": 70.155, "weight": 0.15, "contribution": 10.523 }, { "key": "reliability", "label": "Abschlussquote", "value": 100, "weight": 0.05, "contribution": 5 } ] }, "mainMetric": { "label": "Fakten-F1", "abbreviation": "F1", "value": 95.137, "direction": "higher", "ci95": [ 94.35, 95.89 ] }, "transcription": { "referenceWords": 103161, "substitutions": 4170, "deletions": 1701, "insertions": 773, "errors": 6644, "werPercent": 6.44, "ci95": [ 6.05, 6.86 ], "comparable": true }, "facts": { "truePositive": 6436, "falsePositive": 389, "falseNegative": 269, "referenceFacts": 6705, "outputFacts": 6825, "precisionPercent": 94.3, "precisionCi95": [ 93.38, 95.24 ], "recallPercent": 95.988, "recallCi95": [ 95.03, 96.87 ], "f1Percent": 95.137, "f1Ci95": [ 94.35, 95.89 ] }, "latency": { "p50Seconds": 1.2, "p95Seconds": 2.1, "mode": "live-dictation", "start": "Ende des letzten zugespielten Wortes", "end": "Stabile nutzbare Textausgabe" }, "correction": { "minutesPerAudioHour": 42.082, "ci95": [ 39.13, 45.16 ], "estimate": { "outputs": 186, "audioSeconds": 56220, "minutes": 657.11, "ci": [ 39.13, 45.16 ], "audioHours": 15.615 } }, "additionalMetrics": [ { "key": "recognition-errors", "label": "Erkennungsfehler", "numerator": 6644, "denominator": 103161, "valuePercent": 6.44, "direction": "lower", "definition": "Falsch erkannte, ausgelassene oder eingefügte Wörter pro Referenzwort, ohne zulässige Umformulierungen. Bei wortnaher Ausgabe entspricht der Wert der WER, dort zählt jede Abweichung vom Wortlaut. Bei KI-überarbeiteter Ausgabe zählen nur falsch erkannte oder inhaltlich veränderte Wörter. Für wortnahe Dienste ist die Zählung damit strenger.", "ci95": [ 6.05, 6.86 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "cer", "label": "Zeichenfehlerrate · CER", "numerator": 18462, "denominator": 743736, "valuePercent": 2.482, "direction": "lower", "definition": "Zeichenabweichungen pro Referenzzeichen nach NFC-Normalisierung, einheitlicher Groß- und Kleinschreibung, entfernten Satzzeichen und zu einem Leerzeichen zusammengefasstem Leerraum. Leerzeichen zählen als Zeichen.", "ci95": [ 2.34, 2.64 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "critical-documents", "label": "Dokumente mit schwerwiegendem Fehler", "numerator": 1, "denominator": 186, "valuePercent": 0.538, "direction": "lower", "definition": "Ausgaben mit mindestens einem potenziell schwerwiegenden medizinischen Fehler pro abgeschlossener Ausgabe. Bewertet wird jeder Fall nach einer festgelegten Fehlerrubrik. Fehler bei Medikation oder Verneinung zählen hier nur, wenn die Rubrik die betroffene Angabe als potenziell schwerwiegend einstuft. Die Zähler je Fehlerart enthalten auch folgenlose Abweichungen.", "ci95": [ 0.05, 4.91 ], "ci95Method": "wilson-design-effect", "designEffect": 1.9778 }, { "key": "unsupported-statements", "label": "Falsche oder unbelegte Aussagen", "numerator": 364, "denominator": 6825, "valuePercent": 5.333, "direction": "lower", "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.", "ci95": [ 4.54, 6.26 ], "ci95Method": "wilson-design-effect", "designEffect": 2.5752 }, { "key": "medical-term-errors", "label": "Fehler bei Fachbegriffen", "numerator": 148, "denominator": 11205, "valuePercent": 1.321, "direction": "lower", "definition": "Fachlich falsch wiedergegebene oder ausgelassene medizinische Konzepte pro annotiertem Fachkonzept der Referenz. Synonyme gelten bei gleicher Bedeutung als korrekt.", "ci95": [ 1, 1.75 ], "ci95Method": "wilson-design-effect", "designEffect": 3.0102 }, { "key": "medication-errors", "label": "Fehler bei Medikamenten und Dosierungen", "numerator": 4, "denominator": 762, "valuePercent": 0.525, "direction": "lower", "definition": "Falsch wiedergegebene oder ausgelassene Angaben zu Wirkstoff, Dosis, Einheit und Einnahme pro annotierter Medikationsangabe. Jede Angabe zählt höchstens einmal.", "ci95": [ 0.12, 2.16 ], "ci95Method": "wilson-design-effect", "designEffect": 2.4965 }, { "key": "negation-errors", "label": "Fehler bei Verneinungen", "numerator": 10, "denominator": 1107, "valuePercent": 0.903, "direction": "lower", "definition": "Verlorene, hinzugefügte oder umgekehrte Negationen pro Referenzaussage mit verneintem oder ausdrücklich bestätigtem Befund. Eine Aussage zählt höchstens einmal.", "ci95": [ 0.34, 2.34 ], "ci95Method": "wilson-design-effect", "designEffect": 2.5899 }, { "key": "temporal-errors", "label": "Fehler bei zeitlichen Angaben", "numerator": 33, "denominator": 1455, "valuePercent": 2.268, "direction": "lower", "definition": "Falsch zugeordnete oder ausgelassene Zeitpunkte, Dauern und zeitliche Beziehungen pro annotierter zeitlicher Referenzangabe.", "ci95": [ 1.3, 3.91 ], "ci95Method": "wilson-design-effect", "designEffect": 2.6964 }, { "key": "attribution-errors", "label": "Fehler bei der Zuordnung", "numerator": 33, "denominator": 2415, "valuePercent": 1.366, "direction": "lower", "definition": "Falsche oder ausgelassene Zuordnung von Aussagen zu Patient, behandelnder Person oder Drittperson pro Referenzfakt mit erforderlicher Quellenzuordnung.", "ci95": [ 0.8, 2.31 ], "ci95Method": "wilson-design-effect", "designEffect": 2.4518 }, { "key": "dictation-command-accuracy", "label": "Umgesetzte Diktatbefehle", "numerator": 1253, "denominator": 1326, "valuePercent": 94.495, "direction": "higher", "definition": "Richtig ausgeführte festgelegte Satzzeichen-, Absatz- und Korrekturbefehle pro ausgesprochenem Referenzbefehl. Der Befehl soll wirken und nicht als Befehlswort im Text stehen.", "ci95": [ 91.68, 96.4 ], "ci95Method": "wilson-design-effect", "designEffect": 3.5814 }, { "key": "self-correction-accuracy", "label": "Umgesetzte Selbstkorrekturen", "numerator": 7, "denominator": 252, "valuePercent": 2.778, "direction": "higher", "definition": "Spontane Selbstkorrekturen, nach denen das Dokument nur die endgültige Angabe enthält, pro annotierter Selbstkorrektur der Referenz. Steht die verworfene Angabe noch im Text oder ersetzt sie die endgültige, ist die Selbstkorrektur nicht umgesetzt. Ob eine Regel oder ein Sprachmodell sie umsetzt, spielt keine Rolle.", "ci95": [ 0.95, 7.81 ], "ci95Method": "wilson-design-effect", "designEffect": 2.3037 }, { "key": "edit-instruction-accuracy", "label": "Umgesetzte Bearbeitungsanweisungen", "numerator": 0, "denominator": 90, "valuePercent": 0, "direction": "higher", "definition": "Frei formulierte Anweisungen an das Dokument, deren Wirkung das gelieferte Dokument zeigt, pro annotierter Anweisung der Referenz. Eine solche Anweisung ändert eine früher genannte Angabe, ergänzt Inhalt an einer früheren Stelle oder verschiebt einen Abschnitt. Steht sie wörtlich im Text oder bleibt sie ohne Wirkung, ist sie nicht umgesetzt. Ob eine Regel oder ein Sprachmodell sie umsetzt, spielt keine Rolle.", "ci95": [ 0, 10.23 ], "ci95Method": "wilson-design-effect", "designEffect": 2.6683 } ], "errorTypes": [ { "label": "Nicht erfasste Referenzfakten", "count": 269 }, { "label": "Falsche oder unbelegte Aussagen", "count": 364 }, { "label": "Zutreffende, aber nicht relevante Aussagen", "count": 25 }, { "label": "Ersetzungen", "count": 4170 }, { "label": "Auslassungen", "count": 1701 }, { "label": "Einfügungen", "count": 773 } ], "failedRuns": [], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "Windows-Client, Stand 2. Quartal 2026", "modelVersions": null, "template": null, "instruction": { "id": "si-instr-diktat-wortnah", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Virtueller Mikrofoneingang", "speechProfile": "Neues Profil ohne Training", "specialtyVocabulary": "Allgemeinmedizin (Standard)", "voiceCommands": true }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": { "id": "de-med-wer", "version": "1.0" } }, "corpusMetadata": { "version": "1.0", "manifestSha256": "6768f28bb70c0457e31c2eaafd4f3c498c05b4aec26501537825bbaa22733060", "referenceVersion": "1.0", "referenceSha256": "18772162e86230bce7cfb8a2f52f90244df2b1cdf52bdb6a646494dd3596dbb9", "sourceScenarioCount": 64, "evaluatedScenarioCount": 62, "totalAudioSeconds": 18720, "durationSeconds": { "minimum": 60, "maximum": 900 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 1 }, { "codec": "MP3 128 kbit/s", "sampleRateHertz": 44100, "channels": 1 }, { "codec": "AAC-LC (M4A)", "sampleRateHertz": 44100, "channels": 1 } ], "conversions": [ { "description": "Kontrollierte Wiedergabe der Referenzaufnahmen über einen virtuellen Mikrofoneingang mit −20 dBFS RMS in Echtzeit", "tool": "scribeindex-playback", "version": "1.0" }, { "description": "Dekodierung komprimierter Quelldateien zu PCM 48 kHz mono vor der Wiedergabe", "tool": "FFmpeg", "version": "7.1.1" } ], "exclusions": [ { "scenarioId": "diktat-023", "reason": "Die sprechende Person nannte versehentlich einen echten Namen. Die Aufnahme wurde vor der Referenzfreigabe zurückgezogen." }, { "scenarioId": "diktat-057", "reason": "Endgültige Angabe einer Selbstkorrektur auch nach Prüfung der Aufnahme nicht eindeutig hörbar." } ] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 62, "resamples": 2000, "seed": 4214870755, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "1feb69fb1f1a9ee5134ab583a5bf6a80625f840f53d2d833da91149ac9f1550a" } }, { "id": "f4/audio-transkription", "provider": "f4", "providerName": "f4", "test": "audio-transkription", "label": "Audiotranskription", "category": "audio-transkription", "url": "https://scribeindex.com/anbieter/f4/test/#audio-transkription", "rankingUrl": "https://scribeindex.com/vergleich/audio-transkription/", "testPeriod": "2026-Q2", "protocol": "1.0", "corpus": "de-audio-v1", "scenarios": 44, "runs": 3, "completed": 132, "total": 132, "completionRatePercent": 100, "evaluation": { "output": "verbatim-transcript", "semanticRubric": null, "wordErrorRate": { "applicability": "word-aligned", "basis": "delivered-output", "explanation": "WER wird aus der gelieferten wortnahen Transkriptausgabe gegen die normalisierte Referenz berechnet." } }, "score": { "version": "2.2", "value": 58.2615, "ci95": [ 54.2, 62.2 ], "ci95Method": "paired-cluster-bootstrap", "pairedDifferences": [ { "provider": "amberscript", "ci95": [ -9.45, -2.64 ] }, { "provider": "happy-scribe", "ci95": [ -10.46, -5.01 ] }, { "provider": "turboscribe", "ci95": [ -5.92, -0.01 ] }, { "provider": "sonix", "ci95": [ -7.04, 1.27 ] }, { "provider": "notta", "ci95": [ -1.44, 6.48 ] }, { "provider": "noscribe", "ci95": [ -7.31, 0.62 ] }, { "provider": "maxqda-transcription", "ci95": [ -20.4, -14.38 ] }, { "provider": "trint", "ci95": [ -4.55, 2.11 ] } ], "rank": 8, "cohortSize": 9, "criticalRatePercent": null, "contentQuality": 87.503, "references": { "key": "audio-transkription", "qualityErrorPoints": 30, "correctionMinutes": 220, "criticalPercent": null }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 58.344, "weight": 0.75, "contribution": 43.758 }, { "key": "effort", "label": "Korrekturaufwand", "value": 47.518, "weight": 0.2, "contribution": 9.504 }, { "key": "reliability", "label": "Abschlussquote", "value": 100, "weight": 0.05, "contribution": 5 } ] }, "mainMetric": { "label": "Wortfehlerrate", "abbreviation": "WER", "value": 11.303, "direction": "lower", "ci95": [ 10.22, 12.39 ] }, "transcription": { "referenceWords": 563238, "substitutions": 35438, "deletions": 15957, "insertions": 12270, "errors": 63665, "werPercent": 11.303, "ci95": [ 10.22, 12.39 ], "comparable": true }, "facts": null, "latency": { "p50Seconds": 347.9, "p95Seconds": 1011.8, "mode": "file-upload", "start": "Uploadstart", "end": "Vollständiger Export verfügbar" }, "correction": { "minutesPerAudioHour": 115.4614, "ci95": [ 105.4, 125.79 ], "estimate": { "outputs": 132, "audioSeconds": 238560, "minutes": 7651.28, "ci": [ 105.4, 125.79 ], "audioHours": 66.267 } }, "additionalMetrics": [ { "key": "cer", "label": "Zeichenfehlerrate · CER", "numerator": 167376, "denominator": 3608808, "valuePercent": 4.638, "direction": "lower", "definition": "Zeichenabweichungen pro Referenzzeichen nach NFC-Normalisierung, einheitlicher Groß- und Kleinschreibung, entfernten Satzzeichen und zu einem Leerzeichen zusammengefasstem Leerraum. Leerzeichen zählen als Zeichen.", "ci95": [ 4.2, 5.08 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "der", "label": "Diarisierungsfehlerrate · DER", "numerator": 3422986, "denominator": 22399644, "valuePercent": 15.281, "direction": "lower", "definition": "Verpasste Sprache, fälschlich erkannte Sprache und falsch zugeordnete Sprecherzeit pro Referenzsprechzeit. Toleranz 250 ms um Referenzgrenzen, überlappende Sprache eingeschlossen. Liefert ein Dienst Sprecherkennungen ohne eigene Zeitmarken, bestimmt ScribeIndex die Zeitmarken durch erzwungene Ausrichtung (Forced Alignment) des gelieferten Texts an der Aufnahme. Die DER berechnet ScribeIndex daraus wie bei allen anderen Diensten, mit verpasster und fälschlich erkannter Sprache und Fehlern an Segmentgrenzen.", "ci95": [ 13.72, 16.85 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "der-strict", "label": "DER ohne Toleranz", "numerator": 4874936, "denominator": 22399644, "valuePercent": 21.763, "direction": "lower", "definition": "Diarisierungsfehlerrate wie DER, jedoch ohne Toleranzbereich um Referenzgrenzen. Die Differenz zur DER zeigt den Anteil der Fehler an Segmentgrenzen.", "ci95": [ 19.57, 24 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null } ], "errorTypes": [ { "label": "Ersetzungen", "count": 35438 }, { "label": "Auslassungen", "count": 15957 }, { "label": "Einfügungen", "count": 12270 } ], "failedRuns": [], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "Browseroberfläche für automatische Transkription, Stand 2. Quartal 2026", "modelVersions": null, "template": null, "instruction": { "id": "si-instr-audio-wortgetreu", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Dateiupload im Browser", "language": "Deutsch", "speakerRecognition": true, "customVocabularyEntries": 0, "transcriptStyle": "Wortgetreu mit Sprecherlabels und Zeitmarken" }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": { "id": "de-allg-wer", "version": "1.0" } }, "corpusMetadata": { "version": "1.0", "manifestSha256": "3bfaff5fa8338156ad4c6bef800ed2cec7c625802242a9f638e07991384aeffc", "referenceVersion": "1.0", "referenceSha256": "903e4e0cc118b16f9d63c460d4f5845b497a1f1d276c2c82b9a2294b542018b4", "sourceScenarioCount": 46, "evaluatedScenarioCount": 44, "totalAudioSeconds": 79500, "durationSeconds": { "minimum": 360, "maximum": 5280 }, "audioFormats": [ { "codec": "FLAC", "sampleRateHertz": 48000, "channels": 1 }, { "codec": "AAC-LC (M4A)", "sampleRateHertz": 44100, "channels": 1 }, { "codec": "Opus (WebM)", "sampleRateHertz": 48000, "channels": 1 }, { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 2 }, { "codec": "G.711 A-law (WAV)", "sampleRateHertz": 8000, "channels": 1 } ], "conversions": [ { "description": "FLAC, Opus-WebM und G.711 A-law werden mit FFmpeg zu PCM-WAV mit 24 Bit bei 48 kHz dekodiert. Die ursprüngliche Kanalzahl und der Sprachinhalt bleiben erhalten.", "tool": "FFmpeg", "version": "7.1.1" } ], "exclusions": [ { "scenarioId": "audio-038", "reason": "Eine mitwirkende Person widerrief die Einwilligung zur Nutzung der Aufnahme." }, { "scenarioId": "audio-041", "reason": "Referenz enthielt mehr als 5 % unverständliche Passagen." } ] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 44, "resamples": 2000, "seed": 1146018123, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "f8a6a79fd7ce74ec952adb5978dd20f46986d1fd5dc8a1502862be03c2f8e886" } }, { "id": "fathom/meeting-scribes", "provider": "fathom", "providerName": "Fathom AI Notetaker", "test": "meeting-scribes", "label": "Meeting-Scribes", "category": "meeting-scribes", "url": "https://scribeindex.com/anbieter/fathom/test/#meeting-scribes", "rankingUrl": "https://scribeindex.com/vergleich/meeting-scribes/", "testPeriod": "2026-Q2", "protocol": "1.0", "corpus": "de-meeting-v1", "scenarios": 38, "runs": 2, "completed": 75, "total": 76, "completionRatePercent": 98.684, "evaluation": { "output": "meeting-summary", "semanticRubric": "meeting-facts-v1", "wordErrorRate": { "applicability": "not-applicable", "basis": "unavailable", "explanation": "Bewertet werden das gelieferte Protokoll und die Sprecherzuordnung im exportierten Transkript. Die Transkript-WER gilt nur für dieses Transkript und zählt nicht zum ScribeIndex-Score." } }, "score": { "version": "2.2", "value": 69.3906, "ci95": [ 65.4, 72.9 ], "ci95Method": "paired-cluster-bootstrap", "pairedDifferences": [ { "provider": "jamie", "ci95": [ 5.4, 12.88 ] }, { "provider": "otter", "ci95": [ 8.58, 17.64 ] }, { "provider": "fireflies", "ci95": [ 3.7, 12.16 ] }, { "provider": "granola", "ci95": [ 6.74, 16.81 ] }, { "provider": "tldv", "ci95": [ 10.17, 18.15 ] }, { "provider": "happy-scribe", "ci95": [ 6.24, 14.7 ] }, { "provider": "notta", "ci95": [ 16.3, 28.92 ] }, { "provider": "read-ai", "ci95": [ 6.69, 15.19 ] }, { "provider": "meetgeek", "ci95": [ 5.08, 12.58 ] }, { "provider": "bluedot", "ci95": [ 14.64, 22.88 ] }, { "provider": "sembly", "ci95": [ 16.8, 24.73 ] }, { "provider": "plaud", "ci95": [ 9.45, 19.05 ] }, { "provider": "sally", "ci95": [ 10.36, 20.13 ] } ], "rank": 1, "cohortSize": 14, "criticalRatePercent": null, "contentQuality": 90.077, "references": { "key": "meeting-scribes", "qualityErrorPoints": 30, "correctionMinutes": 35, "criticalPercent": null }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 66.924, "weight": 0.75, "contribution": 50.193 }, { "key": "effort", "label": "Korrekturaufwand", "value": 71.315, "weight": 0.2, "contribution": 14.263 }, { "key": "reliability", "label": "Abschlussquote", "value": 98.684, "weight": 0.05, "contribution": 4.934 } ] }, "mainMetric": { "label": "Fakten-F1", "abbreviation": "F1", "value": 90.499, "direction": "higher", "ci95": [ 89.07, 91.83 ] }, "transcription": null, "facts": { "truePositive": 2548, "falsePositive": 241, "falseNegative": 294, "referenceFacts": 2842, "outputFacts": 2789, "precisionPercent": 91.359, "precisionCi95": [ 89.56, 93 ], "recallPercent": 89.655, "recallCi95": [ 88.07, 91.3 ], "f1Percent": 90.499, "f1Ci95": [ 89.07, 91.83 ] }, "latency": { "p50Seconds": 89.9, "p95Seconds": 235.6, "mode": "live-conversation", "start": "Ende der Gesprächserfassung", "end": "Vollständiges Protokoll verfügbar" }, "correction": { "minutesPerAudioHour": 10.0397, "ci95": [ 8.75, 11.52 ], "estimate": { "outputs": 75, "audioSeconds": 179340, "minutes": 500.13, "ci": [ 8.75, 11.52 ], "audioHours": 49.815 } }, "additionalMetrics": [ { "key": "transcript-wer", "label": "Transkript-WER", "numerator": 45520, "denominator": 382893, "valuePercent": 11.888, "direction": "lower", "definition": "Wortersetzungen, Auslassungen und Einfügungen im exportierten Transkript pro Referenzwort nach Normalisierungsprofil de-allg-wer. Bewertet das Transkript, nicht die Zusammenfassung.", "ci95": [ 10.41, 13.31 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "der", "label": "Diarisierungsfehlerrate · DER", "numerator": 1788474, "denominator": 16398134, "valuePercent": 10.907, "direction": "lower", "definition": "Verpasste Sprache, fälschlich erkannte Sprache und falsch zugeordnete Sprecherzeit pro Referenzsprechzeit. Toleranz 250 ms um Referenzgrenzen, überlappende Sprache eingeschlossen. Liefert ein Dienst Sprecherkennungen ohne eigene Zeitmarken, bestimmt ScribeIndex die Zeitmarken durch erzwungene Ausrichtung (Forced Alignment) des gelieferten Texts an der Aufnahme. Die DER berechnet ScribeIndex daraus wie bei allen anderen Diensten, mit verpasster und fälschlich erkannter Sprache und Fehlern an Segmentgrenzen.", "ci95": [ 9.59, 12.15 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "der-strict", "label": "DER ohne Toleranz", "numerator": 2341031, "denominator": 16398134, "valuePercent": 14.276, "direction": "lower", "definition": "Diarisierungsfehlerrate wie DER, jedoch ohne Toleranzbereich um Referenzgrenzen. Die Differenz zur DER zeigt den Anteil der Fehler an Segmentgrenzen.", "ci95": [ 12.51, 15.92 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "unsupported-statements", "label": "Falsche oder unbelegte Aussagen", "numerator": 77, "denominator": 2789, "valuePercent": 2.761, "direction": "lower", "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.", "ci95": [ 1.97, 3.85 ], "ci95Method": "wilson-design-effect", "designEffect": 2.3227 }, { "key": "decision-recall", "label": "Erfasste Beschlüsse", "numerator": 272, "denominator": 297, "valuePercent": 91.582, "direction": "higher", "definition": "Korrekt als Beschluss wiedergegebene Referenzbeschlüsse mit Geltungsbereich und Status pro Referenzbeschluss. Als Beschluss ausgegebene Vorschläge zählen nicht als Treffer.", "ci95": [ 86.69, 94.79 ], "ci95Method": "wilson-design-effect", "designEffect": 1.6003 }, { "key": "action-item-recall", "label": "Erkannte Aufgaben", "numerator": 405, "denominator": 448, "valuePercent": 90.402, "direction": "higher", "definition": "Referenzaufgaben, die im Protokoll als Aufgabe erscheinen, pro Referenzaufgabe. Zuständigkeit und Frist werden getrennt bewertet.", "ci95": [ 86.64, 93.19 ], "ci95Method": "wilson-design-effect", "designEffect": 1.4257 }, { "key": "action-owner-accuracy", "label": "Korrekte Zuständigkeiten", "numerator": 261, "denominator": 326, "valuePercent": 80.061, "direction": "higher", "definition": "Korrekt wiedergegebene verantwortliche Personen pro Referenzaufgabe mit ausdrücklich genannter Zuständigkeit. Nicht erkannte Aufgaben zählen als Fehler.", "ci95": [ 74.39, 84.74 ], "ci95Method": "wilson-design-effect", "designEffect": 1.4327 }, { "key": "action-deadline-accuracy", "label": "Korrekte Fristen", "numerator": 170, "denominator": 232, "valuePercent": 73.276, "direction": "higher", "definition": "Korrekt wiedergegebene Fristen pro Referenzaufgabe mit ausdrücklich genannter Frist. Nicht erkannte Aufgaben zählen als Fehler.", "ci95": [ 65.8, 79.63 ], "ci95Method": "wilson-design-effect", "designEffect": 1.4988 }, { "key": "action-tuple-accuracy", "label": "Vollständig korrekte Aufgaben", "numerator": 327, "denominator": 448, "valuePercent": 72.991, "direction": "higher", "definition": "Aufgaben, deren Tätigkeit, Zuständigkeit und Frist vollständig korrekt wiedergegeben werden, pro Referenzaufgabe. Nicht genannte Zuständigkeiten oder Fristen müssen als nicht genannt erscheinen.", "ci95": [ 67.89, 77.55 ], "ci95Method": "wilson-design-effect", "designEffect": 1.3876 } ], "errorTypes": [ { "label": "Nicht erfasste Referenzfakten", "count": 294 }, { "label": "Falsche oder unbelegte Aussagen", "count": 77 }, { "label": "Zutreffende, aber nicht relevante Aussagen", "count": 164 } ], "failedRuns": [ { "scenarioId": "meeting-026", "run": 2, "reason": "Meeting-Bot verließ die Konferenz vorzeitig" } ], "configuration": { "locale": "de-DE", "automaticLanguageDetection": true, "productVersion": "Meeting-Bot und Web-App, Stand 2. Quartal 2026", "modelVersions": null, "template": { "id": "si-meeting-protokoll", "version": "1.0" }, "instruction": { "id": "si-instr-meeting", "version": "1.0" }, "customVocabulary": null, "settings": { "capture": "Meeting-Bot", "participantList": true }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": { "id": "de-allg-wer", "version": "1.0" } }, "corpusMetadata": { "version": "1.0", "manifestSha256": "1a25115bb8a34e284f1d01d3860260a21cb8f5847004facb1596738bbac7ddab", "referenceVersion": "1.0", "referenceSha256": "eab8be0ab42fa45d7c98cb94b1a700dfc141ed5d7e96d67f4d9349c7d3a84d70", "sourceScenarioCount": 40, "evaluatedScenarioCount": 38, "totalAudioSeconds": 91260, "durationSeconds": { "minimum": 780, "maximum": 5220 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 2 }, { "codec": "Opus (WebM)", "sampleRateHertz": 48000, "channels": 1 } ], "conversions": [ { "description": "Einspielung über virtuelle Konferenzteilnehmende aus den getrennten ursprünglichen Sprecheraufnahmen. Hybride Raumsprecher bleiben gemeinsam auf einer unveränderten Raumspur. Aus der Korpusmischung werden keine Sprecher mit Hilfe der Referenz separiert.", "tool": "scribeindex-meeting-replay", "version": "1.0" } ], "exclusions": [ { "scenarioId": "meeting-012", "reason": "Sprecherreferenz wegen Übersprechen zweier Raummikrofone nicht belastbar." }, { "scenarioId": "meeting-029", "reason": "Teilnehmende widerriefen die Nutzung der Aufnahme." } ] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 38, "resamples": 2000, "seed": 4134088586, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "3ee50ed01707c6c0c1902b3d172d67b6fe4b33360c81d07433d846f0fcbe3781" } }, { "id": "fireflies/meeting-scribes", "provider": "fireflies", "providerName": "Fireflies.ai", "test": "meeting-scribes", "label": "Meeting-Scribes", "category": "meeting-scribes", "url": "https://scribeindex.com/anbieter/fireflies/test/#meeting-scribes", "rankingUrl": "https://scribeindex.com/vergleich/meeting-scribes/", "testPeriod": "2026-Q3", "protocol": "1.0", "corpus": "de-meeting-v1", "scenarios": 38, "runs": 2, "completed": 74, "total": 76, "completionRatePercent": 97.368, "evaluation": { "output": "meeting-summary", "semanticRubric": "meeting-facts-v1", "wordErrorRate": { "applicability": "not-applicable", "basis": "unavailable", "explanation": "Bewertet werden das gelieferte Protokoll und die Sprecherzuordnung im exportierten Transkript. Die Transkript-WER gilt nur für dieses Transkript und zählt nicht zum ScribeIndex-Score." } }, "score": { "version": "2.2", "value": 61.4985, "ci95": [ 55.8, 66.7 ], "ci95Method": "paired-cluster-bootstrap", "pairedDifferences": [ { "provider": "jamie", "ci95": [ -2.57, 5.11 ] }, { "provider": "otter", "ci95": [ 1.52, 9.16 ] }, { "provider": "fathom", "ci95": [ -12.16, -3.7 ] }, { "provider": "granola", "ci95": [ -0.58, 8.47 ] }, { "provider": "tldv", "ci95": [ 1.32, 11.37 ] }, { "provider": "happy-scribe", "ci95": [ -1.94, 7.19 ] }, { "provider": "notta", "ci95": [ 9.31, 20.31 ] }, { "provider": "read-ai", "ci95": [ -1.97, 7.59 ] }, { "provider": "meetgeek", "ci95": [ -3.66, 5.7 ] }, { "provider": "bluedot", "ci95": [ 5.41, 16.09 ] }, { "provider": "sembly", "ci95": [ 7.59, 18.08 ] }, { "provider": "plaud", "ci95": [ 1.59, 10.81 ] }, { "provider": "sally", "ci95": [ 2.49, 11.86 ] } ], "rank": 2, "cohortSize": 14, "criticalRatePercent": null, "contentQuality": 87.404, "references": { "key": "meeting-scribes", "qualityErrorPoints": 30, "correctionMinutes": 35, "criticalPercent": null }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 58.014, "weight": 0.75, "contribution": 43.51 }, { "key": "effort", "label": "Korrekturaufwand", "value": 65.598, "weight": 0.2, "contribution": 13.12 }, { "key": "reliability", "label": "Abschlussquote", "value": 97.368, "weight": 0.05, "contribution": 4.868 } ] }, "mainMetric": { "label": "Fakten-F1", "abbreviation": "F1", "value": 86.608, "direction": "higher", "ci95": [ 84.23, 88.87 ] }, "transcription": null, "facts": { "truePositive": 2367, "falsePositive": 317, "falseNegative": 415, "referenceFacts": 2782, "outputFacts": 2684, "precisionPercent": 88.189, "precisionCi95": [ 85.64, 90.69 ], "recallPercent": 85.083, "recallCi95": [ 82.03, 87.75 ], "f1Percent": 86.608, "f1Ci95": [ 84.23, 88.87 ] }, "latency": { "p50Seconds": 458.3, "p95Seconds": 980.9, "mode": "live-conversation", "start": "Ende der Gesprächserfassung", "end": "Vollständiges Protokoll verfügbar" }, "correction": { "minutesPerAudioHour": 12.0406, "ci95": [ 10.4, 13.88 ], "estimate": { "outputs": 74, "audioSeconds": 176580, "minutes": 590.69, "ci": [ 10.4, 13.88 ], "audioHours": 49.058 } }, "additionalMetrics": [ { "key": "transcript-wer", "label": "Transkript-WER", "numerator": 45259, "denominator": 376860, "valuePercent": 12.009, "direction": "lower", "definition": "Wortersetzungen, Auslassungen und Einfügungen im exportierten Transkript pro Referenzwort nach Normalisierungsprofil de-allg-wer. Bewertet das Transkript, nicht die Zusammenfassung.", "ci95": [ 10.54, 13.75 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "der", "label": "Diarisierungsfehlerrate · DER", "numerator": 1734853, "denominator": 16155578, "valuePercent": 10.738, "direction": "lower", "definition": "Verpasste Sprache, fälschlich erkannte Sprache und falsch zugeordnete Sprecherzeit pro Referenzsprechzeit. Toleranz 250 ms um Referenzgrenzen, überlappende Sprache eingeschlossen. Liefert ein Dienst Sprecherkennungen ohne eigene Zeitmarken, bestimmt ScribeIndex die Zeitmarken durch erzwungene Ausrichtung (Forced Alignment) des gelieferten Texts an der Aufnahme. Die DER berechnet ScribeIndex daraus wie bei allen anderen Diensten, mit verpasster und fälschlich erkannter Sprache und Fehlern an Segmentgrenzen.", "ci95": [ 9.55, 11.92 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "der-strict", "label": "DER ohne Toleranz", "numerator": 2088259, "denominator": 16155578, "valuePercent": 12.926, "direction": "lower", "definition": "Diarisierungsfehlerrate wie DER, jedoch ohne Toleranzbereich um Referenzgrenzen. Die Differenz zur DER zeigt den Anteil der Fehler an Segmentgrenzen.", "ci95": [ 11.45, 14.36 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "unsupported-statements", "label": "Falsche oder unbelegte Aussagen", "numerator": 101, "denominator": 2684, "valuePercent": 3.763, "direction": "lower", "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.", "ci95": [ 2.81, 5.01 ], "ci95Method": "wilson-design-effect", "designEffect": 2.2722 }, { "key": "decision-recall", "label": "Erfasste Beschlüsse", "numerator": 250, "denominator": 293, "valuePercent": 85.324, "direction": "higher", "definition": "Korrekt als Beschluss wiedergegebene Referenzbeschlüsse mit Geltungsbereich und Status pro Referenzbeschluss. Als Beschluss ausgegebene Vorschläge zählen nicht als Treffer.", "ci95": [ 79.49, 89.72 ], "ci95Method": "wilson-design-effect", "designEffect": 1.5911 }, { "key": "action-item-recall", "label": "Erkannte Aufgaben", "numerator": 415, "denominator": 442, "valuePercent": 93.891, "direction": "higher", "definition": "Referenzaufgaben, die im Protokoll als Aufgabe erscheinen, pro Referenzaufgabe. Zuständigkeit und Frist werden getrennt bewertet.", "ci95": [ 90.65, 96.06 ], "ci95Method": "wilson-design-effect", "designEffect": 1.4195 }, { "key": "action-owner-accuracy", "label": "Korrekte Zuständigkeiten", "numerator": 266, "denominator": 318, "valuePercent": 83.648, "direction": "higher", "definition": "Korrekt wiedergegebene verantwortliche Personen pro Referenzaufgabe mit ausdrücklich genannter Zuständigkeit. Nicht erkannte Aufgaben zählen als Fehler.", "ci95": [ 78.24, 87.92 ], "ci95Method": "wilson-design-effect", "designEffect": 1.4208 }, { "key": "action-deadline-accuracy", "label": "Korrekte Fristen", "numerator": 187, "denominator": 225, "valuePercent": 83.111, "direction": "higher", "definition": "Korrekt wiedergegebene Fristen pro Referenzaufgabe mit ausdrücklich genannter Frist. Nicht erkannte Aufgaben zählen als Fehler.", "ci95": [ 76.35, 88.24 ], "ci95Method": "wilson-design-effect", "designEffect": 1.4813 }, { "key": "action-tuple-accuracy", "label": "Vollständig korrekte Aufgaben", "numerator": 349, "denominator": 442, "valuePercent": 78.959, "direction": "higher", "definition": "Aufgaben, deren Tätigkeit, Zuständigkeit und Frist vollständig korrekt wiedergegeben werden, pro Referenzaufgabe. Nicht genannte Zuständigkeiten oder Fristen müssen als nicht genannt erscheinen.", "ci95": [ 74.16, 83.07 ], "ci95Method": "wilson-design-effect", "designEffect": 1.382 } ], "errorTypes": [ { "label": "Nicht erfasste Referenzfakten", "count": 415 }, { "label": "Falsche oder unbelegte Aussagen", "count": 101 }, { "label": "Zutreffende, aber nicht relevante Aussagen", "count": 216 } ], "failedRuns": [ { "scenarioId": "meeting-037", "run": 1, "reason": "Meeting-Bot nicht in die Konferenz zugelassen" }, { "scenarioId": "meeting-038", "run": 1, "reason": "Leere Zusammenfassung ausgegeben" } ], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "Web-App mit Meeting-Bot, Stand 3. Quartal 2026", "modelVersions": null, "template": { "id": "si-meeting-protokoll", "version": "1.0" }, "instruction": { "id": "si-instr-meeting", "version": "1.0" }, "customVocabulary": null, "settings": { "capture": "Meeting-Bot", "transcriptLanguage": "de-DE", "participantList": true }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": { "id": "de-allg-wer", "version": "1.0" } }, "corpusMetadata": { "version": "1.0", "manifestSha256": "1a25115bb8a34e284f1d01d3860260a21cb8f5847004facb1596738bbac7ddab", "referenceVersion": "1.0", "referenceSha256": "eab8be0ab42fa45d7c98cb94b1a700dfc141ed5d7e96d67f4d9349c7d3a84d70", "sourceScenarioCount": 40, "evaluatedScenarioCount": 38, "totalAudioSeconds": 91260, "durationSeconds": { "minimum": 780, "maximum": 5220 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 2 }, { "codec": "Opus (WebM)", "sampleRateHertz": 48000, "channels": 1 } ], "conversions": [ { "description": "Einspielung über virtuelle Konferenzteilnehmende aus den getrennten ursprünglichen Sprecheraufnahmen. Hybride Raumsprecher bleiben gemeinsam auf einer unveränderten Raumspur. Aus der Korpusmischung werden keine Sprecher mit Hilfe der Referenz separiert.", "tool": "scribeindex-meeting-replay", "version": "1.0" } ], "exclusions": [ { "scenarioId": "meeting-012", "reason": "Sprecherreferenz wegen Übersprechen zweier Raummikrofone nicht belastbar." }, { "scenarioId": "meeting-029", "reason": "Teilnehmende widerriefen die Nutzung der Aufnahme." } ] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 38, "resamples": 2000, "seed": 4134088586, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "3ee50ed01707c6c0c1902b3d172d67b6fe4b33360c81d07433d846f0fcbe3781" } }, { "id": "fluency-direct/medizinische-transkription", "provider": "fluency-direct", "providerName": "Solventum Fluency Direct", "test": "medizinische-transkription", "label": "Medizinische Spracherkennung", "category": "medizinische-transkription", "url": "https://scribeindex.com/anbieter/fluency-direct/test/#medizinische-transkription", "rankingUrl": "https://scribeindex.com/vergleich/medizinische-spracherkennung/", "testPeriod": "2026-Q2", "protocol": "1.0", "corpus": "de-diktat-v1", "scenarios": 62, "runs": 3, "completed": 186, "total": 186, "completionRatePercent": 100, "evaluation": { "output": "verbatim-transcript", "semanticRubric": "clinical-facts-v1", "wordErrorRate": { "applicability": "word-aligned", "basis": "delivered-output", "explanation": "WER wird aus der gelieferten wortnahen Transkriptausgabe gegen die normalisierte Referenz berechnet." } }, "score": { "version": "2.2", "value": 79.9001, "ci95": [ 75.7, 81.4 ], "ci95Method": "paired-cluster-bootstrap-beta-critical", "pairedDifferences": [ { "provider": "dragon-medical-one", "ci95": [ -9.32, -0.79 ] }, { "provider": "heidi", "ci95": [ -17.04, -9.99 ] }, { "provider": "tippiti", "ci95": [ -20.64, -13.48 ] }, { "provider": "dragon-copilot", "ci95": [ -8.21, 0.19 ] }, { "provider": "mira-medical", "ci95": [ -5.98, 2.78 ] }, { "provider": "dictnow", "ci95": [ -6.35, 2.48 ] }, { "provider": "idana-flow", "ci95": [ -16.84, -10.03 ] }, { "provider": "healthjet", "ci95": [ -15.72, -7.4 ] } ], "rank": 9, "cohortSize": 9, "criticalRatePercent": 0, "contentQuality": 92.851, "references": { "key": "medizinische-transkription", "qualityErrorPoints": 30, "correctionMinutes": 141, "criticalPercent": 15 }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 76.169, "weight": 0.6, "contribution": 45.701 }, { "key": "critical", "label": "Schwerwiegende Fehler", "value": 100, "weight": 0.2, "contribution": 20 }, { "key": "effort", "label": "Korrekturaufwand", "value": 61.325, "weight": 0.15, "contribution": 9.199 }, { "key": "reliability", "label": "Abschlussquote", "value": 100, "weight": 0.05, "contribution": 5 } ] }, "mainMetric": { "label": "Fakten-F1", "abbreviation": "F1", "value": 92.851, "direction": "higher", "ci95": [ 91.82, 93.74 ] }, "transcription": { "referenceWords": 103161, "substitutions": 5418, "deletions": 2426, "insertions": 1232, "errors": 9076, "werPercent": 8.798, "ci95": [ 8.17, 9.45 ], "comparable": true }, "facts": { "truePositive": 6182, "falsePositive": 429, "falseNegative": 523, "referenceFacts": 6705, "outputFacts": 6611, "precisionPercent": 93.511, "precisionCi95": [ 92.57, 94.42 ], "recallPercent": 92.2, "recallCi95": [ 90.66, 93.47 ], "f1Percent": 92.851, "f1Ci95": [ 91.82, 93.74 ] }, "latency": { "p50Seconds": 0.7, "p95Seconds": 1.3, "mode": "live-dictation", "start": "Ende des letzten zugespielten Wortes", "end": "Stabile nutzbare Textausgabe" }, "correction": { "minutesPerAudioHour": 54.5322, "ci95": [ 50.55, 58.67 ], "estimate": { "outputs": 186, "audioSeconds": 56220, "minutes": 851.52, "ci": [ 50.55, 58.67 ], "audioHours": 15.615 } }, "additionalMetrics": [ { "key": "recognition-errors", "label": "Erkennungsfehler", "numerator": 9076, "denominator": 103161, "valuePercent": 8.798, "direction": "lower", "definition": "Falsch erkannte, ausgelassene oder eingefügte Wörter pro Referenzwort, ohne zulässige Umformulierungen. Bei wortnaher Ausgabe entspricht der Wert der WER, dort zählt jede Abweichung vom Wortlaut. Bei KI-überarbeiteter Ausgabe zählen nur falsch erkannte oder inhaltlich veränderte Wörter. Für wortnahe Dienste ist die Zählung damit strenger.", "ci95": [ 8.17, 9.45 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "cer", "label": "Zeichenfehlerrate · CER", "numerator": 24229, "denominator": 743736, "valuePercent": 3.258, "direction": "lower", "definition": "Zeichenabweichungen pro Referenzzeichen nach NFC-Normalisierung, einheitlicher Groß- und Kleinschreibung, entfernten Satzzeichen und zu einem Leerzeichen zusammengefasstem Leerraum. Leerzeichen zählen als Zeichen.", "ci95": [ 3, 3.53 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "critical-documents", "label": "Dokumente mit schwerwiegendem Fehler", "numerator": 0, "denominator": 186, "valuePercent": 0, "direction": "lower", "definition": "Ausgaben mit mindestens einem potenziell schwerwiegenden medizinischen Fehler pro abgeschlossener Ausgabe. Bewertet wird jeder Fall nach einer festgelegten Fehlerrubrik. Fehler bei Medikation oder Verneinung zählen hier nur, wenn die Rubrik die betroffene Angabe als potenziell schwerwiegend einstuft. Die Zähler je Fehlerart enthalten auch folgenlose Abweichungen.", "ci95": [ 0, 3.93 ], "ci95Method": "wilson-design-effect", "designEffect": 1.9778 }, { "key": "unsupported-statements", "label": "Falsche oder unbelegte Aussagen", "numerator": 368, "denominator": 6611, "valuePercent": 5.566, "direction": "lower", "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.", "ci95": [ 4.75, 6.52 ], "ci95Method": "wilson-design-effect", "designEffect": 2.5254 }, { "key": "medical-term-errors", "label": "Fehler bei Fachbegriffen", "numerator": 332, "denominator": 11205, "valuePercent": 2.963, "direction": "lower", "definition": "Fachlich falsch wiedergegebene oder ausgelassene medizinische Konzepte pro annotiertem Fachkonzept der Referenz. Synonyme gelten bei gleicher Bedeutung als korrekt.", "ci95": [ 2.46, 3.56 ], "ci95Method": "wilson-design-effect", "designEffect": 3.0102 }, { "key": "medication-errors", "label": "Fehler bei Medikamenten und Dosierungen", "numerator": 19, "denominator": 762, "valuePercent": 2.493, "direction": "lower", "definition": "Falsch wiedergegebene oder ausgelassene Angaben zu Wirkstoff, Dosis, Einheit und Einnahme pro annotierter Medikationsangabe. Jede Angabe zählt höchstens einmal.", "ci95": [ 1.24, 4.92 ], "ci95Method": "wilson-design-effect", "designEffect": 2.4965 }, { "key": "negation-errors", "label": "Fehler bei Verneinungen", "numerator": 31, "denominator": 1107, "valuePercent": 2.8, "direction": "lower", "definition": "Verlorene, hinzugefügte oder umgekehrte Negationen pro Referenzaussage mit verneintem oder ausdrücklich bestätigtem Befund. Eine Aussage zählt höchstens einmal.", "ci95": [ 1.6, 4.84 ], "ci95Method": "wilson-design-effect", "designEffect": 2.5899 }, { "key": "temporal-errors", "label": "Fehler bei zeitlichen Angaben", "numerator": 60, "denominator": 1455, "valuePercent": 4.124, "direction": "lower", "definition": "Falsch zugeordnete oder ausgelassene Zeitpunkte, Dauern und zeitliche Beziehungen pro annotierter zeitlicher Referenzangabe.", "ci95": [ 2.74, 6.16 ], "ci95Method": "wilson-design-effect", "designEffect": 2.6964 }, { "key": "attribution-errors", "label": "Fehler bei der Zuordnung", "numerator": 61, "denominator": 2415, "valuePercent": 2.526, "direction": "lower", "definition": "Falsche oder ausgelassene Zuordnung von Aussagen zu Patient, behandelnder Person oder Drittperson pro Referenzfakt mit erforderlicher Quellenzuordnung.", "ci95": [ 1.71, 3.71 ], "ci95Method": "wilson-design-effect", "designEffect": 2.4518 }, { "key": "dictation-command-accuracy", "label": "Umgesetzte Diktatbefehle", "numerator": 1200, "denominator": 1326, "valuePercent": 90.498, "direction": "higher", "definition": "Richtig ausgeführte festgelegte Satzzeichen-, Absatz- und Korrekturbefehle pro ausgesprochenem Referenzbefehl. Der Befehl soll wirken und nicht als Befehlswort im Text stehen.", "ci95": [ 87.08, 93.09 ], "ci95Method": "wilson-design-effect", "designEffect": 3.5814 }, { "key": "self-correction-accuracy", "label": "Umgesetzte Selbstkorrekturen", "numerator": 4, "denominator": 252, "valuePercent": 1.587, "direction": "higher", "definition": "Spontane Selbstkorrekturen, nach denen das Dokument nur die endgültige Angabe enthält, pro annotierter Selbstkorrektur der Referenz. Steht die verworfene Angabe noch im Text oder ersetzt sie die endgültige, ist die Selbstkorrektur nicht umgesetzt. Ob eine Regel oder ein Sprachmodell sie umsetzt, spielt keine Rolle.", "ci95": [ 0.4, 6.06 ], "ci95Method": "wilson-design-effect", "designEffect": 2.3037 }, { "key": "edit-instruction-accuracy", "label": "Umgesetzte Bearbeitungsanweisungen", "numerator": 0, "denominator": 90, "valuePercent": 0, "direction": "higher", "definition": "Frei formulierte Anweisungen an das Dokument, deren Wirkung das gelieferte Dokument zeigt, pro annotierter Anweisung der Referenz. Eine solche Anweisung ändert eine früher genannte Angabe, ergänzt Inhalt an einer früheren Stelle oder verschiebt einen Abschnitt. Steht sie wörtlich im Text oder bleibt sie ohne Wirkung, ist sie nicht umgesetzt. Ob eine Regel oder ein Sprachmodell sie umsetzt, spielt keine Rolle.", "ci95": [ 0, 10.23 ], "ci95Method": "wilson-design-effect", "designEffect": 2.6683 } ], "errorTypes": [ { "label": "Nicht erfasste Referenzfakten", "count": 523 }, { "label": "Falsche oder unbelegte Aussagen", "count": 368 }, { "label": "Zutreffende, aber nicht relevante Aussagen", "count": 61 }, { "label": "Ersetzungen", "count": 5418 }, { "label": "Auslassungen", "count": 2426 }, { "label": "Einfügungen", "count": 1232 } ], "failedRuns": [], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "Fluency Direct, Windows-Client mit aktivem Cloud-Profil, Stand 2. Quartal 2026", "modelVersions": null, "template": null, "instruction": { "id": "si-instr-diktat-wortnah", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Live-Diktat in ein leeres Windows-Zieltextfeld", "language": "Deutsch", "vocabulary": "Medizinischer Grundwortschatz", "customVocabularyEntries": 0, "voiceMacros": false, "llmPrompts": false, "speechProfile": "Neues Profil ohne Training", "offlineMode": false }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": { "id": "de-med-wer", "version": "1.0" } }, "corpusMetadata": { "version": "1.0", "manifestSha256": "6768f28bb70c0457e31c2eaafd4f3c498c05b4aec26501537825bbaa22733060", "referenceVersion": "1.0", "referenceSha256": "18772162e86230bce7cfb8a2f52f90244df2b1cdf52bdb6a646494dd3596dbb9", "sourceScenarioCount": 64, "evaluatedScenarioCount": 62, "totalAudioSeconds": 18720, "durationSeconds": { "minimum": 60, "maximum": 900 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 1 }, { "codec": "MP3 128 kbit/s", "sampleRateHertz": 44100, "channels": 1 }, { "codec": "AAC-LC (M4A)", "sampleRateHertz": 44100, "channels": 1 } ], "conversions": [ { "description": "Kontrollierte Wiedergabe der Referenzaufnahmen über einen virtuellen Mikrofoneingang mit −20 dBFS RMS in Echtzeit", "tool": "scribeindex-playback", "version": "1.0" }, { "description": "Dekodierung komprimierter Quelldateien zu PCM 48 kHz mono vor der Wiedergabe", "tool": "FFmpeg", "version": "7.1.1" } ], "exclusions": [ { "scenarioId": "diktat-023", "reason": "Die sprechende Person nannte versehentlich einen echten Namen. Die Aufnahme wurde vor der Referenzfreigabe zurückgezogen." }, { "scenarioId": "diktat-057", "reason": "Endgültige Angabe einer Selbstkorrektur auch nach Prüfung der Aufnahme nicht eindeutig hörbar." } ] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 62, "resamples": 2000, "seed": 4214870755, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "1feb69fb1f1a9ee5134ab583a5bf6a80625f840f53d2d833da91149ac9f1550a" } }, { "id": "gospeech-medical/medical-scribes:clinical-notes", "provider": "gospeech-medical", "providerName": "GoSpeech Medical", "test": "medical-scribes:clinical-notes", "label": "Ärztliche Gesprächsdokumentation", "category": "medical-scribes", "task": "clinical-notes", "url": "https://scribeindex.com/anbieter/gospeech-medical/test/#aerztliche-dokumentation", "rankingUrl": "https://scribeindex.com/vergleich/medical-scribes/aerztliche-dokumentation/", "testPeriod": "2026-Q3", "protocol": "1.0", "corpus": "de-klinik-v1", "scenarios": 48, "runs": 3, "completed": 143, "total": 144, "completionRatePercent": 99.306, "evaluation": { "output": "clinical-note", "semanticRubric": "clinical-facts-v1", "wordErrorRate": { "applicability": "not-applicable", "basis": "unavailable", "explanation": "Die gelieferte Ausgabe ist eine verdichtete Dokumentation, keine wortnahe Abschrift. Deshalb gibt es keine WER." } }, "score": { "version": "2.2", "value": 84.8778, "ci95": [ 80.9, 87 ], "ci95Method": "paired-cluster-bootstrap-beta-critical", "pairedDifferences": [ { "provider": "healthjet", "ci95": [ -0.37, 8.03 ] }, { "provider": "heidi", "ci95": [ -1.26, 7.95 ] }, { "provider": "tippiti", "ci95": [ -5.62, 1.78 ] }, { "provider": "tandem-health", "ci95": [ 1.04, 11.09 ] }, { "provider": "noa-notes", "ci95": [ 4.93, 15.48 ] }, { "provider": "doctolib-assistent", "ci95": [ -7.85, -0.42 ] }, { "provider": "dragon-copilot", "ci95": [ -2.77, 7.59 ] }, { "provider": "speechlive-health", "ci95": [ -0.12, 9.86 ] }, { "provider": "quixxs", "ci95": [ 12.62, 23.92 ] }, { "provider": "idana-flow", "ci95": [ -0.76, 9.99 ] } ], "rank": 3, "cohortSize": 11, "criticalRatePercent": 0, "contentQuality": 93.826, "references": { "key": "clinical-notes", "qualityErrorPoints": 30, "correctionMinutes": 59, "criticalPercent": 20 }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 79.419, "weight": 0.6, "contribution": 47.651 }, { "key": "critical", "label": "Schwerwiegende Fehler", "value": 100, "weight": 0.2, "contribution": 20 }, { "key": "effort", "label": "Korrekturaufwand", "value": 81.742, "weight": 0.15, "contribution": 12.261 }, { "key": "reliability", "label": "Abschlussquote", "value": 99.306, "weight": 0.05, "contribution": 4.965 } ] }, "mainMetric": { "label": "Fakten-F1", "abbreviation": "F1", "value": 93.826, "direction": "higher", "ci95": [ 92.85, 94.83 ] }, "transcription": null, "facts": { "truePositive": 3761, "falsePositive": 161, "falseNegative": 334, "referenceFacts": 4095, "outputFacts": 3922, "precisionPercent": 95.895, "precisionCi95": [ 94.82, 97.06 ], "recallPercent": 91.844, "recallCi95": [ 90.49, 93.17 ], "f1Percent": 93.826, "f1Ci95": [ 92.85, 94.83 ] }, "latency": { "p50Seconds": 58.6, "p95Seconds": 166, "mode": "live-conversation", "start": "Beenden der Aufnahme", "end": "Vollständiges Dokument verfügbar" }, "correction": { "minutesPerAudioHour": 10.7722, "ci95": [ 9, 12.85 ], "estimate": { "outputs": 143, "audioSeconds": 103680, "minutes": 310.26, "ci": [ 9, 12.85 ], "audioHours": 28.802 } }, "additionalMetrics": [ { "key": "critical-documents", "label": "Dokumente mit schwerwiegendem Fehler", "numerator": 0, "denominator": 143, "valuePercent": 0, "direction": "lower", "definition": "Ausgaben mit mindestens einem potenziell schwerwiegenden medizinischen Fehler pro abgeschlossener Ausgabe. Bewertet wird jeder Fall nach einer festgelegten Fehlerrubrik. Fehler bei Medikation oder Verneinung zählen hier nur, wenn die Rubrik die betroffene Angabe als potenziell schwerwiegend einstuft. Die Zähler je Fehlerart enthalten auch folgenlose Abweichungen.", "ci95": [ 0, 5.03 ], "ci95Method": "wilson-design-effect", "designEffect": 1.9676 }, { "key": "unsupported-statements", "label": "Falsche oder unbelegte Aussagen", "numerator": 85, "denominator": 3922, "valuePercent": 2.167, "direction": "lower", "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.", "ci95": [ 1.54, 3.05 ], "ci95Method": "wilson-design-effect", "designEffect": 2.6402 }, { "key": "medical-term-errors", "label": "Fehler bei Fachbegriffen", "numerator": 112, "denominator": 3466, "valuePercent": 3.231, "direction": "lower", "definition": "Fachlich falsch wiedergegebene oder ausgelassene medizinische Konzepte pro annotiertem Fachkonzept der Referenz. Synonyme gelten bei gleicher Bedeutung als korrekt.", "ci95": [ 2.41, 4.32 ], "ci95Method": "wilson-design-effect", "designEffect": 2.5619 }, { "key": "medication-errors", "label": "Fehler bei Medikamenten und Dosierungen", "numerator": 18, "denominator": 620, "valuePercent": 2.903, "direction": "lower", "definition": "Falsch wiedergegebene oder ausgelassene Angaben zu Wirkstoff, Dosis, Einheit und Einnahme pro annotierter Medikationsangabe. Jede Angabe zählt höchstens einmal.", "ci95": [ 1.51, 5.51 ], "ci95Method": "wilson-design-effect", "designEffect": 2.1052 }, { "key": "negation-errors", "label": "Fehler bei Verneinungen", "numerator": 15, "denominator": 815, "valuePercent": 1.84, "direction": "lower", "definition": "Verlorene, hinzugefügte oder umgekehrte Negationen pro Referenzaussage mit verneintem oder ausdrücklich bestätigtem Befund. Eine Aussage zählt höchstens einmal.", "ci95": [ 0.86, 3.86 ], "ci95Method": "wilson-design-effect", "designEffect": 2.3295 }, { "key": "temporal-errors", "label": "Fehler bei zeitlichen Angaben", "numerator": 35, "denominator": 928, "valuePercent": 3.772, "direction": "lower", "definition": "Falsch zugeordnete oder ausgelassene Zeitpunkte, Dauern und zeitliche Beziehungen pro annotierter zeitlicher Referenzangabe.", "ci95": [ 2.25, 6.25 ], "ci95Method": "wilson-design-effect", "designEffect": 2.5261 }, { "key": "attribution-errors", "label": "Fehler bei der Zuordnung", "numerator": 56, "denominator": 2146, "valuePercent": 2.61, "direction": "lower", "definition": "Falsche oder ausgelassene Zuordnung von Aussagen zu Patient, behandelnder Person oder Drittperson pro Referenzfakt mit erforderlicher Quellenzuordnung.", "ci95": [ 1.71, 3.96 ], "ci95Method": "wilson-design-effect", "designEffect": 2.6672 } ], "errorTypes": [ { "label": "Nicht erfasste Referenzfakten", "count": 334 }, { "label": "Falsche oder unbelegte Aussagen", "count": 85 }, { "label": "Zutreffende, aber nicht relevante Aussagen", "count": 76 } ], "failedRuns": [ { "scenarioId": "klinik-044", "run": 3, "reason": "Kein Dokument innerhalb des protokollierten Zeitlimits" } ], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "GoSpeech Medical im Browser, Stand 3. Quartal 2026", "modelVersions": null, "template": { "id": "si-sprechstunde-notiz", "version": "1.0" }, "instruction": { "id": "si-instr-sprechstunde", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Aufnahme in der Anwendung über einen virtuellen Mikrofoneingang", "language": "Deutsch", "factsLanguage": "Deutsch", "documentLanguage": "Deutsch", "speakers": "Mehrsprecheroption", "factsReview": "Unkorrigierte Facts vollständig übernehmen", "latencyIncludes": "Facts-Erstellung, unmittelbare Auswahl der eigenen Vorlage und Dokumentgenerierung", "template": "Eigene Vorlage für klinische Gesprächsdokumentation", "patientContext": "Ohne zusätzliche Angaben außerhalb des Gesprächs" }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": null }, "corpusMetadata": { "version": "1.0", "manifestSha256": "07e4ff2bb9cb21c1b350d732b5e593f4f1830354a230c75954136f03552f7ba5", "referenceVersion": "1.0", "referenceSha256": "9ddba13742d943cd28b478c231a53d71ed064e1ba7681896e21faedfe2bb2207", "sourceScenarioCount": 50, "evaluatedScenarioCount": 48, "totalAudioSeconds": 34860, "durationSeconds": { "minimum": 360, "maximum": 2400 }, "audioFormats": [ { "codec": "AAC-LC (M4A)", "sampleRateHertz": 48000, "channels": 1 }, { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 2 } ], "conversions": [ { "description": "Einspielung der Gesprächsaufnahme in Echtzeit über einen virtuellen Mikrofoneingang mit −20 dBFS RMS", "tool": "scribeindex-playback", "version": "1.0" } ], "exclusions": [ { "scenarioId": "klinik-016", "reason": "Einwilligung zur Nutzung der Aufnahme vor Testbeginn widerrufen." }, { "scenarioId": "klinik-033", "reason": "Relevanzmenge auch nach fachlicher Durchsicht nicht eindeutig festlegbar." } ] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 48, "resamples": 2000, "seed": 2234884632, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "f630f8568c719864793b7aacf8e58f4627c6b7bdcdf5f3730abfda50ad6bfb37" } }, { "id": "gospeech-medical/medical-scribes:nursing-notes", "provider": "gospeech-medical", "providerName": "GoSpeech Medical", "test": "medical-scribes:nursing-notes", "label": "Pflegedokumentation", "category": "medical-scribes", "task": "nursing-notes", "url": "https://scribeindex.com/anbieter/gospeech-medical/test/#pflegedokumentation", "rankingUrl": "https://scribeindex.com/vergleich/medical-scribes/pflegedokumentation/", "testPeriod": "2026-Q3", "protocol": "1.0", "corpus": "de-pflege-v1", "scenarios": 40, "runs": 3, "completed": 119, "total": 120, "completionRatePercent": 99.167, "evaluation": { "output": "nursing-note", "semanticRubric": "nursing-facts-v1", "wordErrorRate": { "applicability": "not-applicable", "basis": "unavailable", "explanation": "Bewertet werden die gelieferten Einträge der Pflegedokumentation. Strukturierte Felder und umformulierte Berichte werden über die Faktenrubrik abgeglichen, nicht gegen die Wortfolge der Aufnahme." } }, "score": { "version": "2.2", "value": 73.6989, "ci95": [ 66.5, 77.9 ], "ci95Method": "paired-cluster-bootstrap-beta-critical", "pairedDifferences": [ { "provider": "heidi", "ci95": [ -6.37, 7.7 ] }, { "provider": "tandem-health", "ci95": [ -16.52, -2.43 ] } ], "rank": 2, "cohortSize": 3, "criticalRatePercent": 1.681, "contentQuality": 90.094, "references": { "key": "nursing-notes", "qualityErrorPoints": 30, "correctionMinutes": 72, "criticalPercent": 20 }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 66.981, "weight": 0.6, "contribution": 40.188 }, { "key": "critical", "label": "Schwerwiegende Fehler", "value": 91.597, "weight": 0.2, "contribution": 18.319 }, { "key": "effort", "label": "Korrekturaufwand", "value": 68.219, "weight": 0.15, "contribution": 10.233 }, { "key": "reliability", "label": "Abschlussquote", "value": 99.167, "weight": 0.05, "contribution": 4.958 } ] }, "mainMetric": { "label": "Fakten-F1", "abbreviation": "F1", "value": 90.094, "direction": "higher", "ci95": [ 88.47, 91.68 ] }, "transcription": null, "facts": { "truePositive": 3156, "falsePositive": 199, "falseNegative": 495, "referenceFacts": 3651, "outputFacts": 3355, "precisionPercent": 94.069, "precisionCi95": [ 92.62, 95.37 ], "recallPercent": 86.442, "recallCi95": [ 84.17, 88.74 ], "f1Percent": 90.094, "f1Ci95": [ 88.47, 91.68 ] }, "latency": { "p50Seconds": 36.4, "p95Seconds": 78, "mode": "live-conversation", "start": "Beenden der Aufnahme", "end": "Vollständiges Dokument verfügbar" }, "correction": { "minutesPerAudioHour": 22.8824, "ci95": [ 18.03, 28.25 ], "estimate": { "outputs": 119, "audioSeconds": 42000, "minutes": 267.06, "ci": [ 18.03, 28.25 ], "audioHours": 11.671 } }, "additionalMetrics": [ { "key": "critical-documents", "label": "Dokumente mit schwerwiegendem Fehler", "numerator": 2, "denominator": 119, "valuePercent": 1.681, "direction": "lower", "definition": "Ausgaben mit mindestens einem potenziell schwerwiegenden medizinischen Fehler pro abgeschlossener Ausgabe. Bewertet wird jeder Fall nach einer festgelegten Fehlerrubrik. Fehler bei Medikation oder Verneinung zählen hier nur, wenn die Rubrik die betroffene Angabe als potenziell schwerwiegend einstuft. Die Zähler je Fehlerart enthalten auch folgenlose Abweichungen.", "ci95": [ 0.3, 8.83 ], "ci95Method": "wilson-design-effect", "designEffect": 1.9656 }, { "key": "unsupported-statements", "label": "Falsche oder unbelegte Aussagen", "numerator": 73, "denominator": 3355, "valuePercent": 2.176, "direction": "lower", "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.", "ci95": [ 1.52, 3.09 ], "ci95Method": "wilson-design-effect", "designEffect": 2.4186 }, { "key": "medical-term-errors", "label": "Fehler bei Fachbegriffen", "numerator": 48, "denominator": 1221, "valuePercent": 3.931, "direction": "lower", "definition": "Fachlich falsch wiedergegebene oder ausgelassene medizinische Konzepte pro annotiertem Fachkonzept der Referenz. Synonyme gelten bei gleicher Bedeutung als korrekt.", "ci95": [ 2.73, 5.62 ], "ci95Method": "wilson-design-effect", "designEffect": 1.7043 }, { "key": "medication-errors", "label": "Fehler bei Medikamenten und Dosierungen", "numerator": 17, "denominator": 299, "valuePercent": 5.686, "direction": "lower", "definition": "Falsch wiedergegebene oder ausgelassene Angaben zu Wirkstoff, Dosis, Einheit und Einnahme pro annotierter Medikationsangabe. Jede Angabe zählt höchstens einmal.", "ci95": [ 2.85, 11 ], "ci95Method": "wilson-design-effect", "designEffect": 2.2451 }, { "key": "negation-errors", "label": "Fehler bei Verneinungen", "numerator": 24, "denominator": 567, "valuePercent": 4.233, "direction": "lower", "definition": "Verlorene, hinzugefügte oder umgekehrte Negationen pro Referenzaussage mit verneintem oder ausdrücklich bestätigtem Befund. Eine Aussage zählt höchstens einmal.", "ci95": [ 2.21, 7.94 ], "ci95Method": "wilson-design-effect", "designEffect": 2.7704 }, { "key": "temporal-errors", "label": "Fehler bei zeitlichen Angaben", "numerator": 56, "denominator": 918, "valuePercent": 6.1, "direction": "lower", "definition": "Falsch zugeordnete oder ausgelassene Zeitpunkte, Dauern und zeitliche Beziehungen pro annotierter zeitlicher Referenzangabe.", "ci95": [ 4.09, 9 ], "ci95Method": "wilson-design-effect", "designEffect": 2.4458 }, { "key": "attribution-errors", "label": "Fehler bei der Zuordnung", "numerator": 65, "denominator": 1730, "valuePercent": 3.757, "direction": "lower", "definition": "Falsche oder ausgelassene Zuordnung von Aussagen zu Patient, behandelnder Person oder Drittperson pro Referenzfakt mit erforderlicher Quellenzuordnung.", "ci95": [ 2.41, 5.81 ], "ci95Method": "wilson-design-effect", "designEffect": 3.4617 }, { "key": "vital-sign-errors", "label": "Fehler bei Vitalwerten", "numerator": 11, "denominator": 423, "valuePercent": 2.6, "direction": "lower", "definition": "Falsch übernommene oder ausgelassene Vitalwerte pro annotiertem Vitalwert der Referenz. Wert, Einheit, Messzeitpunkt und versorgte Person müssen zusammen stimmen.", "ci95": [ 1.05, 6.28 ], "ci95Method": "wilson-design-effect", "designEffect": 2.5305 }, { "key": "dictation-command-accuracy", "label": "Umgesetzte Diktatbefehle", "numerator": 76, "denominator": 90, "valuePercent": 84.444, "direction": "higher", "definition": "Richtig ausgeführte festgelegte Satzzeichen-, Absatz- und Korrekturbefehle pro ausgesprochenem Referenzbefehl. Der Befehl soll wirken und nicht als Befehlswort im Text stehen.", "ci95": [ 70.57, 92.48 ], "ci95Method": "wilson-design-effect", "designEffect": 2.1706 }, { "key": "self-correction-accuracy", "label": "Umgesetzte Selbstkorrekturen", "numerator": 24, "denominator": 29, "valuePercent": 82.759, "direction": "higher", "definition": "Spontane Selbstkorrekturen, nach denen das Dokument nur die endgültige Angabe enthält, pro annotierter Selbstkorrektur der Referenz. Steht die verworfene Angabe noch im Text oder ersetzt sie die endgültige, ist die Selbstkorrektur nicht umgesetzt. Ob eine Regel oder ein Sprachmodell sie umsetzt, spielt keine Rolle.", "ci95": [ 50.09, 95.83 ], "ci95Method": "wilson-design-effect", "designEffect": 3.2222 }, { "key": "edit-instruction-accuracy", "label": "Umgesetzte Bearbeitungsanweisungen", "numerator": 7, "denominator": 11, "valuePercent": 63.636, "direction": "higher", "definition": "Frei formulierte Anweisungen an das Dokument, deren Wirkung das gelieferte Dokument zeigt, pro annotierter Anweisung der Referenz. Eine solche Anweisung ändert eine früher genannte Angabe, ergänzt Inhalt an einer früheren Stelle oder verschiebt einen Abschnitt. Steht sie wörtlich im Text oder bleibt sie ohne Wirkung, ist sie nicht umgesetzt. Ob eine Regel oder ein Sprachmodell sie umsetzt, spielt keine Rolle.", "ci95": [ 26.29, 89.57 ], "ci95Method": "wilson-design-effect", "designEffect": 2.0605 } ], "errorTypes": [ { "label": "Nicht erfasste Referenzfakten", "count": 495 }, { "label": "Falsche oder unbelegte Aussagen", "count": 73 }, { "label": "Zutreffende, aber nicht relevante Aussagen", "count": 126 } ], "failedRuns": [ { "scenarioId": "pflege-005", "run": 1, "reason": "Kein Dokument innerhalb des protokollierten Zeitlimits" } ], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "GoSpeech Medical im Browser, Stand 3. Quartal 2026", "modelVersions": null, "template": { "id": "si-pflegebericht", "version": "1.0" }, "instruction": { "id": "si-instr-pflege", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Aufnahme in der Anwendung über einen virtuellen Mikrofoneingang", "language": "Deutsch", "factsLanguage": "Deutsch", "documentLanguage": "Deutsch", "speakers": "Mehrsprecheroption", "factsReview": "Unkorrigierte Facts vollständig übernehmen", "latencyIncludes": "Facts-Erstellung, unmittelbare Auswahl der eigenen Vorlage und Dokumentgenerierung", "template": "Eigene Vorlage für Pflegeberichte mit getrennten Personen, Vitalwerten, Maßnahmen und Verlauf", "patientContext": "Ohne zusätzliche Angaben außerhalb der Aufnahme" }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": null }, "corpusMetadata": { "version": "1.0", "manifestSha256": "7502ed0b4f30247995e97f03b1a7a0cd3f54907c6b780831019a233cbd092a84", "referenceVersion": "1.0", "referenceSha256": "81561a613839ad570ef1ff39ee99889d0210625a97c37e39de452ea787a783ad", "sourceScenarioCount": 41, "evaluatedScenarioCount": 40, "totalAudioSeconds": 14040, "durationSeconds": { "minimum": 60, "maximum": 1680 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 1 } ], "conversions": [ { "description": "Einspielung der Gesprächsaufnahme in Echtzeit über einen virtuellen Mikrofoneingang mit −20 dBFS RMS", "tool": "scribeindex-playback", "version": "1.0" } ], "exclusions": [ { "scenarioId": "pflege-028", "reason": "Eine mitwirkende Person nannte in der Übergabe versehentlich echte Namen. Die Aufnahme wurde vor der Referenzfreigabe zurückgezogen." } ] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 40, "resamples": 2000, "seed": 1588450526, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "d4572266c17fe472c4e040fee447b07920271bd3b5b3838b241e77b8839549a9" } }, { "id": "granola/meeting-scribes", "provider": "granola", "providerName": "Granola", "test": "meeting-scribes", "label": "Meeting-Scribes", "category": "meeting-scribes", "url": "https://scribeindex.com/anbieter/granola/test/#meeting-scribes", "rankingUrl": "https://scribeindex.com/vergleich/meeting-scribes/", "testPeriod": "2026-Q3", "protocol": "1.0", "corpus": "de-meeting-v1", "scenarios": 38, "runs": 2, "completed": 76, "total": 76, "completionRatePercent": 100, "evaluation": { "output": "meeting-summary", "semanticRubric": "meeting-facts-v1", "wordErrorRate": { "applicability": "not-applicable", "basis": "unavailable", "explanation": "Bewertet werden das gelieferte Protokoll und die Sprecherzuordnung im exportierten Transkript. Die Transkript-WER gilt nur für dieses Transkript und zählt nicht zum ScribeIndex-Score." } }, "score": { "version": "2.2", "value": 57.6988, "ci95": [ 51.3, 63 ], "ci95Method": "paired-cluster-bootstrap", "pairedDifferences": [ { "provider": "jamie", "ci95": [ -7.76, 2.35 ] }, { "provider": "otter", "ci95": [ -2.89, 5.85 ] }, { "provider": "fireflies", "ci95": [ -8.47, 0.58 ] }, { "provider": "fathom", "ci95": [ -16.81, -6.74 ] }, { "provider": "tldv", "ci95": [ -1.98, 6.51 ] }, { "provider": "happy-scribe", "ci95": [ -6.5, 3.93 ] }, { "provider": "notta", "ci95": [ 3.8, 17.75 ] }, { "provider": "read-ai", "ci95": [ -6.43, 4.67 ] }, { "provider": "meetgeek", "ci95": [ -8.19, 2.45 ] }, { "provider": "bluedot", "ci95": [ 1.27, 12.85 ] }, { "provider": "sembly", "ci95": [ 3.9, 14.05 ] }, { "provider": "plaud", "ci95": [ -2.38, 6.54 ] }, { "provider": "sally", "ci95": [ -3.08, 9.84 ] } ], "rank": 7, "cohortSize": 14, "criticalRatePercent": null, "contentQuality": 85.506, "references": { "key": "meeting-scribes", "qualityErrorPoints": 30, "correctionMinutes": 35, "criticalPercent": null }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 51.686, "weight": 0.75, "contribution": 38.765 }, { "key": "effort", "label": "Korrekturaufwand", "value": 69.671, "weight": 0.2, "contribution": 13.934 }, { "key": "reliability", "label": "Abschlussquote", "value": 100, "weight": 0.05, "contribution": 5 } ] }, "mainMetric": { "label": "Fakten-F1", "abbreviation": "F1", "value": 88.776, "direction": "higher", "ci95": [ 87.21, 90.28 ] }, "transcription": null, "facts": { "truePositive": 2527, "falsePositive": 282, "falseNegative": 357, "referenceFacts": 2884, "outputFacts": 2809, "precisionPercent": 89.961, "precisionCi95": [ 88.1, 91.72 ], "recallPercent": 87.621, "recallCi95": [ 85.72, 89.34 ], "f1Percent": 88.776, "f1Ci95": [ 87.21, 90.28 ] }, "latency": { "p50Seconds": 54.1, "p95Seconds": 82.2, "mode": "live-conversation", "start": "Ende der Gesprächserfassung", "end": "Vollständiges Protokoll verfügbar" }, "correction": { "minutesPerAudioHour": 10.615, "ci95": [ 9.44, 11.85 ], "estimate": { "outputs": 76, "audioSeconds": 182520, "minutes": 538.18, "ci": [ 9.44, 11.85 ], "audioHours": 50.7 } }, "additionalMetrics": [ { "key": "transcript-wer", "label": "Transkript-WER", "numerator": 47097, "denominator": 389306, "valuePercent": 12.098, "direction": "lower", "definition": "Wortersetzungen, Auslassungen und Einfügungen im exportierten Transkript pro Referenzwort nach Normalisierungsprofil de-allg-wer. Bewertet das Transkript, nicht die Zusammenfassung.", "ci95": [ 11.03, 13.21 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "der", "label": "Diarisierungsfehlerrate · DER", "numerator": 3692784, "denominator": 16691388, "valuePercent": 22.124, "direction": "lower", "definition": "Verpasste Sprache, fälschlich erkannte Sprache und falsch zugeordnete Sprecherzeit pro Referenzsprechzeit. Toleranz 250 ms um Referenzgrenzen, überlappende Sprache eingeschlossen. Liefert ein Dienst Sprecherkennungen ohne eigene Zeitmarken, bestimmt ScribeIndex die Zeitmarken durch erzwungene Ausrichtung (Forced Alignment) des gelieferten Texts an der Aufnahme. Die DER berechnet ScribeIndex daraus wie bei allen anderen Diensten, mit verpasster und fälschlich erkannter Sprache und Fehlern an Segmentgrenzen.", "ci95": [ 17.41, 28.14 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "der-strict", "label": "DER ohne Toleranz", "numerator": 5288954, "denominator": 16691388, "valuePercent": 31.687, "direction": "lower", "definition": "Diarisierungsfehlerrate wie DER, jedoch ohne Toleranzbereich um Referenzgrenzen. Die Differenz zur DER zeigt den Anteil der Fehler an Segmentgrenzen.", "ci95": [ 24.92, 40.44 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "unsupported-statements", "label": "Falsche oder unbelegte Aussagen", "numerator": 91, "denominator": 2809, "valuePercent": 3.24, "direction": "lower", "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.", "ci95": [ 2.37, 4.4 ], "ci95Method": "wilson-design-effect", "designEffect": 2.3323 }, { "key": "decision-recall", "label": "Erfasste Beschlüsse", "numerator": 261, "denominator": 302, "valuePercent": 86.424, "direction": "higher", "definition": "Korrekt als Beschluss wiedergegebene Referenzbeschlüsse mit Geltungsbereich und Status pro Referenzbeschluss. Als Beschluss ausgegebene Vorschläge zählen nicht als Treffer.", "ci95": [ 80.78, 90.61 ], "ci95Method": "wilson-design-effect", "designEffect": 1.6119 }, { "key": "action-item-recall", "label": "Erkannte Aufgaben", "numerator": 416, "denominator": 456, "valuePercent": 91.228, "direction": "higher", "definition": "Referenzaufgaben, die im Protokoll als Aufgabe erscheinen, pro Referenzaufgabe. Zuständigkeit und Frist werden getrennt bewertet.", "ci95": [ 87.6, 93.87 ], "ci95Method": "wilson-design-effect", "designEffect": 1.4339 }, { "key": "action-owner-accuracy", "label": "Korrekte Zuständigkeiten", "numerator": 268, "denominator": 332, "valuePercent": 80.723, "direction": "higher", "definition": "Korrekt wiedergegebene verantwortliche Personen pro Referenzaufgabe mit ausdrücklich genannter Zuständigkeit. Nicht erkannte Aufgaben zählen als Fehler.", "ci95": [ 75.14, 85.3 ], "ci95Method": "wilson-design-effect", "designEffect": 1.4415 }, { "key": "action-deadline-accuracy", "label": "Korrekte Fristen", "numerator": 188, "denominator": 234, "valuePercent": 80.342, "direction": "higher", "definition": "Korrekt wiedergegebene Fristen pro Referenzaufgabe mit ausdrücklich genannter Frist. Nicht erkannte Aufgaben zählen als Fehler.", "ci95": [ 73.39, 85.83 ], "ci95Method": "wilson-design-effect", "designEffect": 1.5037 }, { "key": "action-tuple-accuracy", "label": "Vollständig korrekte Aufgaben", "numerator": 350, "denominator": 456, "valuePercent": 76.754, "direction": "higher", "definition": "Aufgaben, deren Tätigkeit, Zuständigkeit und Frist vollständig korrekt wiedergegeben werden, pro Referenzaufgabe. Nicht genannte Zuständigkeiten oder Fristen müssen als nicht genannt erscheinen.", "ci95": [ 71.88, 81.01 ], "ci95Method": "wilson-design-effect", "designEffect": 1.3951 } ], "errorTypes": [ { "label": "Nicht erfasste Referenzfakten", "count": 357 }, { "label": "Falsche oder unbelegte Aussagen", "count": 91 }, { "label": "Zutreffende, aber nicht relevante Aussagen", "count": 191 } ], "failedRuns": [], "configuration": { "locale": "de-DE", "automaticLanguageDetection": true, "productVersion": "Desktop-App (macOS), Stand 3. Quartal 2026", "modelVersions": null, "template": { "id": "si-meeting-protokoll", "version": "1.0" }, "instruction": { "id": "si-instr-meeting", "version": "1.0" }, "customVocabulary": null, "settings": { "capture": "Desktop-Aufnahme von Mikrofon und Systemaudio ohne Bot", "transcriptLanguage": "Mehrsprachig (Einstellung „Multi-language“)", "noteLanguage": "Automatisch, deutschsprachiger Gesprächsinhalt", "mode": "Eigene Stichpunkte leer gelassen, Notiz nur aus dem Gespräch", "participantList": true, "speakerTags": "Aktiv, Teilnehmernamen aus der Videokonferenz, Raumteilnehmende hybrider Besprechungen ohne eigene Namen", "speakerExport": "Transkript über die API mit Start- und Endzeit und Audioquelle je Eintrag" }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": { "id": "de-allg-wer", "version": "1.0" } }, "corpusMetadata": { "version": "1.0", "manifestSha256": "1a25115bb8a34e284f1d01d3860260a21cb8f5847004facb1596738bbac7ddab", "referenceVersion": "1.0", "referenceSha256": "eab8be0ab42fa45d7c98cb94b1a700dfc141ed5d7e96d67f4d9349c7d3a84d70", "sourceScenarioCount": 40, "evaluatedScenarioCount": 38, "totalAudioSeconds": 91260, "durationSeconds": { "minimum": 780, "maximum": 5220 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 2 }, { "codec": "Opus (WebM)", "sampleRateHertz": 48000, "channels": 1 } ], "conversions": [ { "description": "Teilnahme an derselben Videokonferenz auf einem Testrechner, Einspielung über virtuelle Konferenzteilnehmende wie bei Meeting-Bots. Die übrigen Teilnehmenden kommen als Systemaudio an, der Mikrofonkanal trägt den Sprechanteil der Person am Testrechner.", "tool": "scribeindex-meeting-replay", "version": "1.0" } ], "exclusions": [ { "scenarioId": "meeting-012", "reason": "Sprecherreferenz wegen Übersprechen zweier Raummikrofone nicht belastbar." }, { "scenarioId": "meeting-029", "reason": "Teilnehmende widerriefen die Nutzung der Aufnahme." } ] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 38, "resamples": 2000, "seed": 4134088586, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "3ee50ed01707c6c0c1902b3d172d67b6fe4b33360c81d07433d846f0fcbe3781" } }, { "id": "happy-scribe/audio-transkription", "provider": "happy-scribe", "providerName": "HappyScribe", "test": "audio-transkription", "label": "Audiotranskription", "category": "audio-transkription", "url": "https://scribeindex.com/anbieter/happy-scribe/test/#audio-transkription", "rankingUrl": "https://scribeindex.com/vergleich/audio-transkription/", "testPeriod": "2026-Q3", "protocol": "1.0", "corpus": "de-audio-v1", "scenarios": 44, "runs": 3, "completed": 132, "total": 132, "completionRatePercent": 100, "evaluation": { "output": "verbatim-transcript", "semanticRubric": null, "wordErrorRate": { "applicability": "word-aligned", "basis": "delivered-output", "explanation": "WER wird aus der gelieferten wortnahen Transkriptausgabe gegen die normalisierte Referenz berechnet." } }, "score": { "version": "2.2", "value": 66.0672, "ci95": [ 63.5, 68.9 ], "ci95Method": "paired-cluster-bootstrap", "pairedDifferences": [ { "provider": "amberscript", "ci95": [ -1.1, 4.35 ] }, { "provider": "turboscribe", "ci95": [ 1.65, 7.77 ] }, { "provider": "f4", "ci95": [ 5.01, 10.46 ] }, { "provider": "sonix", "ci95": [ 1.89, 8.06 ] }, { "provider": "notta", "ci95": [ 7.82, 13.35 ] }, { "provider": "noscribe", "ci95": [ 0.58, 8.17 ] }, { "provider": "maxqda-transcription", "ci95": [ -11.75, -7.19 ] }, { "provider": "trint", "ci95": [ 3.96, 9.2 ] } ], "rank": 2, "cohortSize": 9, "criticalRatePercent": null, "contentQuality": 89.929, "references": { "key": "audio-transkription", "qualityErrorPoints": 30, "correctionMinutes": 220, "criticalPercent": null }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 66.43, "weight": 0.75, "contribution": 49.823 }, { "key": "effort", "label": "Korrekturaufwand", "value": 56.222, "weight": 0.2, "contribution": 11.244 }, { "key": "reliability", "label": "Abschlussquote", "value": 100, "weight": 0.05, "contribution": 5 } ] }, "mainMetric": { "label": "Wortfehlerrate", "abbreviation": "WER", "value": 8.91, "direction": "lower", "ci95": [ 8.17, 9.6 ] }, "transcription": { "referenceWords": 563238, "substitutions": 26983, "deletions": 15684, "insertions": 7516, "errors": 50183, "werPercent": 8.91, "ci95": [ 8.17, 9.6 ], "comparable": true }, "facts": null, "latency": { "p50Seconds": 566.4, "p95Seconds": 1665.2, "mode": "file-upload", "start": "Uploadstart", "end": "Vollständiger Export verfügbar" }, "correction": { "minutesPerAudioHour": 96.312, "ci95": [ 88.63, 103.3 ], "estimate": { "outputs": 132, "audioSeconds": 238560, "minutes": 6382.31, "ci": [ 88.63, 103.3 ], "audioHours": 66.267 } }, "additionalMetrics": [ { "key": "cer", "label": "Zeichenfehlerrate · CER", "numerator": 132641, "denominator": 3608808, "valuePercent": 3.675, "direction": "lower", "definition": "Zeichenabweichungen pro Referenzzeichen nach NFC-Normalisierung, einheitlicher Groß- und Kleinschreibung, entfernten Satzzeichen und zu einem Leerzeichen zusammengefasstem Leerraum. Leerzeichen zählen als Zeichen.", "ci95": [ 3.38, 3.96 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "der", "label": "Diarisierungsfehlerrate · DER", "numerator": 2862717, "denominator": 22399644, "valuePercent": 12.78, "direction": "lower", "definition": "Verpasste Sprache, fälschlich erkannte Sprache und falsch zugeordnete Sprecherzeit pro Referenzsprechzeit. Toleranz 250 ms um Referenzgrenzen, überlappende Sprache eingeschlossen. Liefert ein Dienst Sprecherkennungen ohne eigene Zeitmarken, bestimmt ScribeIndex die Zeitmarken durch erzwungene Ausrichtung (Forced Alignment) des gelieferten Texts an der Aufnahme. Die DER berechnet ScribeIndex daraus wie bei allen anderen Diensten, mit verpasster und fälschlich erkannter Sprache und Fehlern an Segmentgrenzen.", "ci95": [ 11.68, 13.85 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "der-strict", "label": "DER ohne Toleranz", "numerator": 3847400, "denominator": 22399644, "valuePercent": 17.176, "direction": "lower", "definition": "Diarisierungsfehlerrate wie DER, jedoch ohne Toleranzbereich um Referenzgrenzen. Die Differenz zur DER zeigt den Anteil der Fehler an Segmentgrenzen.", "ci95": [ 15.71, 18.64 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null } ], "errorTypes": [ { "label": "Ersetzungen", "count": 26983 }, { "label": "Auslassungen", "count": 15684 }, { "label": "Einfügungen", "count": 7516 } ], "failedRuns": [], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "Web-App, Stand 3. Quartal 2026", "modelVersions": null, "template": null, "instruction": { "id": "si-instr-audio-wortgetreu", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Dateiupload im Browser", "language": "Deutsch", "transcriptStyle": "Maschinelles Transkript ohne menschliche Nachbearbeitung", "speakerExport": "Strukturierter JSON-Export", "speakerCount": "Automatisch" }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": { "id": "de-allg-wer", "version": "1.0" } }, "corpusMetadata": { "version": "1.0", "manifestSha256": "3bfaff5fa8338156ad4c6bef800ed2cec7c625802242a9f638e07991384aeffc", "referenceVersion": "1.0", "referenceSha256": "903e4e0cc118b16f9d63c460d4f5845b497a1f1d276c2c82b9a2294b542018b4", "sourceScenarioCount": 46, "evaluatedScenarioCount": 44, "totalAudioSeconds": 79500, "durationSeconds": { "minimum": 360, "maximum": 5280 }, "audioFormats": [ { "codec": "FLAC", "sampleRateHertz": 48000, "channels": 1 }, { "codec": "AAC-LC (M4A)", "sampleRateHertz": 44100, "channels": 1 }, { "codec": "Opus (WebM)", "sampleRateHertz": 48000, "channels": 1 }, { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 2 }, { "codec": "G.711 A-law (WAV)", "sampleRateHertz": 8000, "channels": 1 } ], "conversions": [], "exclusions": [ { "scenarioId": "audio-038", "reason": "Eine mitwirkende Person widerrief die Einwilligung zur Nutzung der Aufnahme." }, { "scenarioId": "audio-041", "reason": "Referenz enthielt mehr als 5 % unverständliche Passagen." } ] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 44, "resamples": 2000, "seed": 1146018123, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "f8a6a79fd7ce74ec952adb5978dd20f46986d1fd5dc8a1502862be03c2f8e886" } }, { "id": "happy-scribe/meeting-scribes", "provider": "happy-scribe", "providerName": "HappyScribe", "test": "meeting-scribes", "label": "Meeting-Scribes", "category": "meeting-scribes", "url": "https://scribeindex.com/anbieter/happy-scribe/test/#meeting-scribes", "rankingUrl": "https://scribeindex.com/vergleich/meeting-scribes/", "testPeriod": "2026-Q3", "protocol": "1.0", "corpus": "de-meeting-v1", "scenarios": 38, "runs": 2, "completed": 75, "total": 76, "completionRatePercent": 98.684, "evaluation": { "output": "meeting-summary", "semanticRubric": "meeting-facts-v1", "wordErrorRate": { "applicability": "not-applicable", "basis": "unavailable", "explanation": "Bewertet werden das gelieferte Protokoll und die Sprecherzuordnung im exportierten Transkript. Die Transkript-WER gilt nur für dieses Transkript und zählt nicht zum ScribeIndex-Score." } }, "score": { "version": "2.2", "value": 58.8738, "ci95": [ 54, 63.2 ], "ci95Method": "paired-cluster-bootstrap", "pairedDifferences": [ { "provider": "jamie", "ci95": [ -5.89, 3.02 ] }, { "provider": "otter", "ci95": [ -2.08, 7.21 ] }, { "provider": "fireflies", "ci95": [ -7.19, 1.94 ] }, { "provider": "fathom", "ci95": [ -14.7, -6.24 ] }, { "provider": "granola", "ci95": [ -3.93, 6.5 ] }, { "provider": "tldv", "ci95": [ -0.96, 7.89 ] }, { "provider": "notta", "ci95": [ 6.29, 17.87 ] }, { "provider": "read-ai", "ci95": [ -4.1, 4.51 ] }, { "provider": "meetgeek", "ci95": [ -6.7, 3.2 ] }, { "provider": "bluedot", "ci95": [ 2.53, 13.46 ] }, { "provider": "sembly", "ci95": [ 5.78, 14.54 ] }, { "provider": "plaud", "ci95": [ -2.24, 9.7 ] }, { "provider": "sally", "ci95": [ -1.05, 9.74 ] } ], "rank": 5, "cohortSize": 14, "criticalRatePercent": null, "contentQuality": 86.642, "references": { "key": "meeting-scribes", "qualityErrorPoints": 30, "correctionMinutes": 35, "criticalPercent": null }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 55.474, "weight": 0.75, "contribution": 41.606 }, { "key": "effort", "label": "Korrekturaufwand", "value": 61.67, "weight": 0.2, "contribution": 12.334 }, { "key": "reliability", "label": "Abschlussquote", "value": 98.684, "weight": 0.05, "contribution": 4.934 } ] }, "mainMetric": { "label": "Fakten-F1", "abbreviation": "F1", "value": 87.337, "direction": "higher", "ci95": [ 85.29, 89.1 ] }, "transcription": null, "facts": { "truePositive": 2407, "falsePositive": 290, "falseNegative": 408, "referenceFacts": 2815, "outputFacts": 2697, "precisionPercent": 89.247, "precisionCi95": [ 86.86, 91.37 ], "recallPercent": 85.506, "recallCi95": [ 83.16, 87.57 ], "f1Percent": 87.337, "f1Ci95": [ 85.29, 89.1 ] }, "latency": { "p50Seconds": 270.6, "p95Seconds": 482.5, "mode": "live-conversation", "start": "Ende der Gesprächserfassung", "end": "Vollständiges Protokoll verfügbar" }, "correction": { "minutesPerAudioHour": 13.4156, "ci95": [ 12.11, 15.02 ], "estimate": { "outputs": 75, "audioSeconds": 177720, "minutes": 662.25, "ci": [ 12.11, 15.02 ], "audioHours": 49.364 } }, "additionalMetrics": [ { "key": "transcript-wer", "label": "Transkript-WER", "numerator": 38619, "denominator": 378052, "valuePercent": 10.215, "direction": "lower", "definition": "Wortersetzungen, Auslassungen und Einfügungen im exportierten Transkript pro Referenzwort nach Normalisierungsprofil de-allg-wer. Bewertet das Transkript, nicht die Zusammenfassung.", "ci95": [ 9.33, 11.13 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "der", "label": "Diarisierungsfehlerrate · DER", "numerator": 2429747, "denominator": 16222016, "valuePercent": 14.978, "direction": "lower", "definition": "Verpasste Sprache, fälschlich erkannte Sprache und falsch zugeordnete Sprecherzeit pro Referenzsprechzeit. Toleranz 250 ms um Referenzgrenzen, überlappende Sprache eingeschlossen. Liefert ein Dienst Sprecherkennungen ohne eigene Zeitmarken, bestimmt ScribeIndex die Zeitmarken durch erzwungene Ausrichtung (Forced Alignment) des gelieferten Texts an der Aufnahme. Die DER berechnet ScribeIndex daraus wie bei allen anderen Diensten, mit verpasster und fälschlich erkannter Sprache und Fehlern an Segmentgrenzen.", "ci95": [ 13.24, 16.89 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "der-strict", "label": "DER ohne Toleranz", "numerator": 3245289, "denominator": 16222016, "valuePercent": 20.005, "direction": "lower", "definition": "Diarisierungsfehlerrate wie DER, jedoch ohne Toleranzbereich um Referenzgrenzen. Die Differenz zur DER zeigt den Anteil der Fehler an Segmentgrenzen.", "ci95": [ 17.6, 22.54 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "unsupported-statements", "label": "Falsche oder unbelegte Aussagen", "numerator": 151, "denominator": 2697, "valuePercent": 5.599, "direction": "lower", "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.", "ci95": [ 4.42, 7.06 ], "ci95Method": "wilson-design-effect", "designEffect": 2.2784 }, { "key": "decision-recall", "label": "Erfasste Beschlüsse", "numerator": 227, "denominator": 295, "valuePercent": 76.949, "direction": "higher", "definition": "Korrekt als Beschluss wiedergegebene Referenzbeschlüsse mit Geltungsbereich und Status pro Referenzbeschluss. Als Beschluss ausgegebene Vorschläge zählen nicht als Treffer.", "ci95": [ 70.36, 82.44 ], "ci95Method": "wilson-design-effect", "designEffect": 1.5957 }, { "key": "action-item-recall", "label": "Erkannte Aufgaben", "numerator": 412, "denominator": 450, "valuePercent": 91.556, "direction": "higher", "definition": "Referenzaufgaben, die im Protokoll als Aufgabe erscheinen, pro Referenzaufgabe. Zuständigkeit und Frist werden getrennt bewertet.", "ci95": [ 87.96, 94.15 ], "ci95Method": "wilson-design-effect", "designEffect": 1.4277 }, { "key": "action-owner-accuracy", "label": "Korrekte Zuständigkeiten", "numerator": 259, "denominator": 328, "valuePercent": 78.963, "direction": "higher", "definition": "Korrekt wiedergegebene verantwortliche Personen pro Referenzaufgabe mit ausdrücklich genannter Zuständigkeit. Nicht erkannte Aufgaben zählen als Fehler.", "ci95": [ 73.22, 83.75 ], "ci95Method": "wilson-design-effect", "designEffect": 1.4356 }, { "key": "action-deadline-accuracy", "label": "Korrekte Fristen", "numerator": 191, "denominator": 232, "valuePercent": 82.328, "direction": "higher", "definition": "Korrekt wiedergegebene Fristen pro Referenzaufgabe mit ausdrücklich genannter Frist. Nicht erkannte Aufgaben zählen als Fehler.", "ci95": [ 75.55, 87.54 ], "ci95Method": "wilson-design-effect", "designEffect": 1.4988 }, { "key": "action-tuple-accuracy", "label": "Vollständig korrekte Aufgaben", "numerator": 332, "denominator": 450, "valuePercent": 73.778, "direction": "higher", "definition": "Aufgaben, deren Tätigkeit, Zuständigkeit und Frist vollständig korrekt wiedergegeben werden, pro Referenzaufgabe. Nicht genannte Zuständigkeiten oder Fristen müssen als nicht genannt erscheinen.", "ci95": [ 68.72, 78.27 ], "ci95Method": "wilson-design-effect", "designEffect": 1.3895 } ], "errorTypes": [ { "label": "Nicht erfasste Referenzfakten", "count": 408 }, { "label": "Falsche oder unbelegte Aussagen", "count": 151 }, { "label": "Zutreffende, aber nicht relevante Aussagen", "count": 139 } ], "failedRuns": [ { "scenarioId": "meeting-027", "run": 1, "reason": "Kein Protokoll innerhalb des festgelegten Zeitlimits" } ], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "Web-App mit Meeting-Bot, Stand 3. Quartal 2026", "modelVersions": null, "template": { "id": "si-meeting-protokoll", "version": "1.0" }, "instruction": { "id": "si-instr-meeting", "version": "1.0" }, "customVocabulary": null, "settings": { "capture": "Meeting-Bot", "transcriptLanguage": "de-DE" }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": { "id": "de-allg-wer", "version": "1.0" } }, "corpusMetadata": { "version": "1.0", "manifestSha256": "1a25115bb8a34e284f1d01d3860260a21cb8f5847004facb1596738bbac7ddab", "referenceVersion": "1.0", "referenceSha256": "eab8be0ab42fa45d7c98cb94b1a700dfc141ed5d7e96d67f4d9349c7d3a84d70", "sourceScenarioCount": 40, "evaluatedScenarioCount": 38, "totalAudioSeconds": 91260, "durationSeconds": { "minimum": 780, "maximum": 5220 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 2 }, { "codec": "Opus (WebM)", "sampleRateHertz": 48000, "channels": 1 } ], "conversions": [ { "description": "Einspielung über virtuelle Konferenzteilnehmende aus den getrennten ursprünglichen Sprecheraufnahmen. Hybride Raumsprecher bleiben gemeinsam auf einer unveränderten Raumspur. Aus der Korpusmischung werden keine Sprecher mit Hilfe der Referenz separiert.", "tool": "scribeindex-meeting-replay", "version": "1.0" } ], "exclusions": [ { "scenarioId": "meeting-012", "reason": "Sprecherreferenz wegen Übersprechen zweier Raummikrofone nicht belastbar." }, { "scenarioId": "meeting-029", "reason": "Teilnehmende widerriefen die Nutzung der Aufnahme." } ] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 38, "resamples": 2000, "seed": 4134088586, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "3ee50ed01707c6c0c1902b3d172d67b6fe4b33360c81d07433d846f0fcbe3781" } }, { "id": "happy-scribe/untertitel:file-subtitles", "provider": "happy-scribe", "providerName": "HappyScribe", "test": "untertitel:file-subtitles", "label": "Untertitel für Videodateien", "category": "untertitel", "task": "file-subtitles", "url": "https://scribeindex.com/anbieter/happy-scribe/test/#videodateien", "rankingUrl": "https://scribeindex.com/vergleich/untertitel/videodateien/", "testPeriod": "2026-Q3", "protocol": "1.0", "corpus": "de-untertitel-v1", "scenarios": 40, "runs": 3, "completed": 120, "total": 120, "completionRatePercent": 100, "evaluation": { "output": "subtitles", "semanticRubric": null, "wordErrorRate": { "applicability": "word-aligned", "basis": "delivered-output", "explanation": "WER wird aus dem zusammengeführten Text der exportierten SRT- oder WebVTT-Datei gegen die normalisierte Referenz berechnet. Zeitmarken und Segmentnummern zählen nicht." } }, "score": { "version": "2.2", "value": 52.8183, "ci95": [ 49.6, 56 ], "ci95Method": "paired-cluster-bootstrap", "pairedDifferences": [ { "provider": "ai-media", "ci95": [ -8.93, -4.4 ] }, { "provider": "clevercast", "ci95": [ 4.52, 11.34 ] }, { "provider": "amberscript", "ci95": [ -0.5, 9.67 ] }, { "provider": "sonix", "ci95": [ 2.38, 9.29 ] }, { "provider": "veed", "ci95": [ 4.95, 13.4 ] }, { "provider": "kapwing", "ci95": [ 10.45, 17.58 ] }, { "provider": "maestra", "ci95": [ -5.76, 0.25 ] } ], "rank": 3, "cohortSize": 8, "criticalRatePercent": null, "contentQuality": 84.695, "references": { "key": "file-subtitles", "qualityErrorPoints": 30, "correctionMinutes": 233, "criticalPercent": null }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 48.984, "weight": 0.75, "contribution": 36.738 }, { "key": "effort", "label": "Korrekturaufwand", "value": 55.4, "weight": 0.2, "contribution": 11.08 }, { "key": "reliability", "label": "Abschlussquote", "value": 100, "weight": 0.05, "contribution": 5 } ] }, "mainMetric": { "label": "Wortfehlerrate", "abbreviation": "WER", "value": 7.521, "direction": "lower", "ci95": [ 6.86, 8.16 ] }, "transcription": { "referenceWords": 287784, "substitutions": 11661, "deletions": 6823, "insertions": 3161, "errors": 21645, "werPercent": 7.521, "ci95": [ 6.86, 8.16 ], "comparable": true }, "facts": null, "latency": { "p50Seconds": 407.4, "p95Seconds": 1186.7, "mode": "file-upload", "start": "Uploadstart", "end": "Vollständiger Export verfügbar" }, "correction": { "minutesPerAudioHour": 103.9171, "ci95": [ 94.45, 113.62 ], "estimate": { "outputs": 120, "audioSeconds": 145500, "minutes": 4200.33, "ci": [ 94.45, 113.62 ], "audioHours": 40.42 } }, "additionalMetrics": [ { "key": "cer", "label": "Zeichenfehlerrate · CER", "numerator": 57674, "denominator": 1860348, "valuePercent": 3.1, "direction": "lower", "definition": "Zeichenabweichungen pro Referenzzeichen nach NFC-Normalisierung, einheitlicher Groß- und Kleinschreibung, entfernten Satzzeichen und zu einem Leerzeichen zusammengefasstem Leerraum. Leerzeichen zählen als Zeichen.", "ci95": [ 2.84, 3.37 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "subtitle-timing-accuracy", "label": "Zeitlich passende Untertitel", "numerator": 22537, "denominator": 29448, "valuePercent": 76.532, "direction": "higher", "definition": "Vollständig abgedeckte Referenzsegmente, bei denen der früheste Beginn und das späteste Ende der zugeordneten Untertitel jeweils höchstens 200 ms von der Referenz abweichen. Fehlende Segmente zählen als nicht passend.", "ci95": [ 73.78, 79.08 ], "ci95Method": "wilson-design-effect", "designEffect": 29.9602 }, { "key": "subtitle-layout-accuracy", "label": "Lesbare Untertitel", "numerator": 22817, "denominator": 29448, "valuePercent": 77.482, "direction": "higher", "definition": "Vollständig abgedeckte Referenzsegmente mit höchstens 2 Zeilen, 42 Zeichen je Zeile und 17 Zeichen je Sekunde in allen zugeordneten Ausgabesegmenten.", "ci95": [ 75.28, 79.54 ], "ci95Method": "wilson-design-effect", "designEffect": 19.8956 } ], "scalarMetrics": [ { "key": "subtitle-timing-offset-ms", "label": "Mittlere Zeitabweichung", "value": 267.66, "unit": "ms", "direction": "lower", "definition": "Mittel der absoluten Abweichung der äußeren Start- und Endgrenzen von den zugeordneten Referenzsegmenten, gewichtet je Referenzsegment.", "statistic": "mean", "sampleSize": 29277, "ci": [ 256.72, 278.72 ] }, { "key": "subtitle-reading-speed-cps", "label": "Mittlere Lesegeschwindigkeit", "value": 14.19, "unit": "Zeichen/s", "direction": "none", "definition": "Sichtbare Zeichen einschließlich Leerzeichen innerhalb der Zeilen, geteilt durch die jeweilige Standzeit, je ausgegebenem Untertitel, gemittelt über alle ausgegebenen Untertitel.", "statistic": "mean", "sampleSize": 37625, "ci": [ 13.6, 14.79 ] }, { "key": "subtitle-line-length-cpl", "label": "Mittlere Zeilenlänge", "value": 29.61, "unit": "Zeichen/Zeile", "direction": "none", "definition": "Mittlere Zahl sichtbarer Unicode-Zeichen je ausgegebener Untertitelzeile.", "statistic": "mean", "sampleSize": 63264, "ci": [ 29.28, 29.96 ] } ], "errorTypes": [ { "label": "Ersetzungen", "count": 11661 }, { "label": "Auslassungen", "count": 6823 }, { "label": "Einfügungen", "count": 3161 } ], "failedRuns": [], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "Web-App, deutsche Videountertitel, Stand 3. Quartal 2026", "modelVersions": null, "template": null, "instruction": { "id": "si-instr-subtitles", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "MP4-Dateiupload", "language": "Deutsch", "translation": false, "export": "SRT", "manualCorrection": false }, "scorer": { "name": "scribeindex-subtitles", "version": "1.0" }, "normalization": { "id": "de-subtitle-wer", "version": "1.0" } }, "corpusMetadata": { "version": "1.0", "manifestSha256": "a35c5ee698d61b365b97c82257195aeb72edbd47eab9da548608335d37899941", "referenceVersion": "1.0", "referenceSha256": "6ec7f71b2989eb19791326360ba6649b7c8c020915a316303d8763a8f58b2d45", "sourceScenarioCount": 40, "evaluatedScenarioCount": 40, "totalAudioSeconds": 48480, "durationSeconds": { "minimum": 180, "maximum": 3540 }, "audioFormats": [ { "codec": "H.264 MP4, AAC-LC", "sampleRateHertz": 48000, "channels": 2 } ], "conversions": [], "exclusions": [] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 40, "resamples": 2000, "seed": 1605653364, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "22c41832e7f4054b58c4911e41b1b961649b0482f9f511ad72891e68023bafbc" } }, { "id": "healthjet/medical-scribes:clinical-notes", "provider": "healthjet", "providerName": "HealthJet", "test": "medical-scribes:clinical-notes", "label": "Ärztliche Gesprächsdokumentation", "category": "medical-scribes", "task": "clinical-notes", "url": "https://scribeindex.com/anbieter/healthjet/test/#aerztliche-dokumentation", "rankingUrl": "https://scribeindex.com/vergleich/medical-scribes/aerztliche-dokumentation/", "testPeriod": "2026-Q2", "protocol": "1.0", "corpus": "de-klinik-v1", "scenarios": 48, "runs": 3, "completed": 143, "total": 144, "completionRatePercent": 99.306, "evaluation": { "output": "clinical-note", "semanticRubric": "clinical-facts-v1", "wordErrorRate": { "applicability": "not-applicable", "basis": "unavailable", "explanation": "Die gelieferte Ausgabe ist eine verdichtete Dokumentation, keine wortnahe Abschrift. Deshalb gibt es keine WER." } }, "score": { "version": "2.2", "value": 81.3791, "ci95": [ 76.2, 83.6 ], "ci95Method": "paired-cluster-bootstrap-beta-critical", "pairedDifferences": [ { "provider": "heidi", "ci95": [ -5.73, 4.86 ] }, { "provider": "tippiti", "ci95": [ -9.94, -1.66 ] }, { "provider": "tandem-health", "ci95": [ -3.2, 7.72 ] }, { "provider": "noa-notes", "ci95": [ 0.51, 12.69 ] }, { "provider": "doctolib-assistent", "ci95": [ -12.26, -3.89 ] }, { "provider": "dragon-copilot", "ci95": [ -7.27, 4.21 ] }, { "provider": "speechlive-health", "ci95": [ -3.97, 6.57 ] }, { "provider": "gospeech-medical", "ci95": [ -8.03, 0.37 ] }, { "provider": "quixxs", "ci95": [ 8.47, 20.59 ] }, { "provider": "idana-flow", "ci95": [ -4.83, 6.93 ] } ], "rank": 6, "cohortSize": 11, "criticalRatePercent": 0.699, "contentQuality": 92.744, "references": { "key": "clinical-notes", "qualityErrorPoints": 30, "correctionMinutes": 59, "criticalPercent": 20 }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 75.814, "weight": 0.6, "contribution": 45.488 }, { "key": "critical", "label": "Schwerwiegende Fehler", "value": 96.503, "weight": 0.2, "contribution": 19.301 }, { "key": "effort", "label": "Korrekturaufwand", "value": 77.498, "weight": 0.15, "contribution": 11.625 }, { "key": "reliability", "label": "Abschlussquote", "value": 99.306, "weight": 0.05, "contribution": 4.965 } ] }, "mainMetric": { "label": "Fakten-F1", "abbreviation": "F1", "value": 92.744, "direction": "higher", "ci95": [ 91.87, 93.62 ] }, "transcription": null, "facts": { "truePositive": 3694, "falsePositive": 153, "falseNegative": 425, "referenceFacts": 4119, "outputFacts": 3847, "precisionPercent": 96.023, "precisionCi95": [ 94.98, 97.07 ], "recallPercent": 89.682, "recallCi95": [ 88.52, 90.81 ], "f1Percent": 92.744, "f1Ci95": [ 91.87, 93.62 ] }, "latency": { "p50Seconds": 29.3, "p95Seconds": 74.7, "mode": "live-conversation", "start": "Beenden der Aufnahme", "end": "Vollständiges Dokument verfügbar" }, "correction": { "minutesPerAudioHour": 13.2759, "ci95": [ 11.45, 15.28 ], "estimate": { "outputs": 143, "audioSeconds": 104040, "minutes": 383.78, "ci": [ 11.45, 15.28 ], "audioHours": 28.908 } }, "additionalMetrics": [ { "key": "critical-documents", "label": "Dokumente mit schwerwiegendem Fehler", "numerator": 1, "denominator": 143, "valuePercent": 0.699, "direction": "lower", "definition": "Ausgaben mit mindestens einem potenziell schwerwiegenden medizinischen Fehler pro abgeschlossener Ausgabe. Bewertet wird jeder Fall nach einer festgelegten Fehlerrubrik. Fehler bei Medikation oder Verneinung zählen hier nur, wenn die Rubrik die betroffene Angabe als potenziell schwerwiegend einstuft. Die Zähler je Fehlerart enthalten auch folgenlose Abweichungen.", "ci95": [ 0.07, 6.28 ], "ci95Method": "wilson-design-effect", "designEffect": 1.9676 }, { "key": "unsupported-statements", "label": "Falsche oder unbelegte Aussagen", "numerator": 74, "denominator": 3847, "valuePercent": 1.924, "direction": "lower", "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.", "ci95": [ 1.33, 2.76 ], "ci95Method": "wilson-design-effect", "designEffect": 2.6085 }, { "key": "medical-term-errors", "label": "Fehler bei Fachbegriffen", "numerator": 149, "denominator": 3492, "valuePercent": 4.267, "direction": "lower", "definition": "Fachlich falsch wiedergegebene oder ausgelassene medizinische Konzepte pro annotiertem Fachkonzept der Referenz. Synonyme gelten bei gleicher Bedeutung als korrekt.", "ci95": [ 3.31, 5.48 ], "ci95Method": "wilson-design-effect", "designEffect": 2.5738 }, { "key": "medication-errors", "label": "Fehler bei Medikamenten und Dosierungen", "numerator": 25, "denominator": 620, "valuePercent": 4.032, "direction": "lower", "definition": "Falsch wiedergegebene oder ausgelassene Angaben zu Wirkstoff, Dosis, Einheit und Einnahme pro annotierter Medikationsangabe. Jede Angabe zählt höchstens einmal.", "ci95": [ 2.31, 6.94 ], "ci95Method": "wilson-design-effect", "designEffect": 2.1052 }, { "key": "negation-errors", "label": "Fehler bei Verneinungen", "numerator": 24, "denominator": 817, "valuePercent": 2.938, "direction": "lower", "definition": "Verlorene, hinzugefügte oder umgekehrte Negationen pro Referenzaussage mit verneintem oder ausdrücklich bestätigtem Befund. Eine Aussage zählt höchstens einmal.", "ci95": [ 1.61, 5.28 ], "ci95Method": "wilson-design-effect", "designEffect": 2.333 }, { "key": "temporal-errors", "label": "Fehler bei zeitlichen Angaben", "numerator": 45, "denominator": 937, "valuePercent": 4.803, "direction": "lower", "definition": "Falsch zugeordnete oder ausgelassene Zeitpunkte, Dauern und zeitliche Beziehungen pro annotierter zeitlicher Referenzangabe.", "ci95": [ 3.04, 7.49 ], "ci95Method": "wilson-design-effect", "designEffect": 2.5417 }, { "key": "attribution-errors", "label": "Fehler bei der Zuordnung", "numerator": 57, "denominator": 2156, "valuePercent": 2.644, "direction": "lower", "definition": "Falsche oder ausgelassene Zuordnung von Aussagen zu Patient, behandelnder Person oder Drittperson pro Referenzfakt mit erforderlicher Quellenzuordnung.", "ci95": [ 1.74, 4 ], "ci95Method": "wilson-design-effect", "designEffect": 2.6751 } ], "errorTypes": [ { "label": "Nicht erfasste Referenzfakten", "count": 425 }, { "label": "Falsche oder unbelegte Aussagen", "count": 74 }, { "label": "Zutreffende, aber nicht relevante Aussagen", "count": 79 } ], "failedRuns": [ { "scenarioId": "klinik-045", "run": 2, "reason": "Dokumenterstellung mit Fehlermeldung abgebrochen" } ], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "HealthJet Web-Dashboard mit Browseraufnahme, Stand 2. Quartal 2026", "modelVersions": null, "template": { "id": "si-sprechstunde-notiz", "version": "1.0" }, "instruction": { "id": "si-instr-sprechstunde", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Aufnahme in der Anwendung über einen virtuellen Mikrofoneingang", "language": "Deutsch", "outputLanguage": "Deutsch", "template": "Eigene Vorlage für klinische Gesprächsdokumentation", "mode": "Gespräch aufnehmen, Vorlage auswählen und Dokumenterstellung auslösen", "extraContext": false, "manualCorrection": false }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": null }, "corpusMetadata": { "version": "1.0", "manifestSha256": "07e4ff2bb9cb21c1b350d732b5e593f4f1830354a230c75954136f03552f7ba5", "referenceVersion": "1.0", "referenceSha256": "9ddba13742d943cd28b478c231a53d71ed064e1ba7681896e21faedfe2bb2207", "sourceScenarioCount": 50, "evaluatedScenarioCount": 48, "totalAudioSeconds": 34860, "durationSeconds": { "minimum": 360, "maximum": 2400 }, "audioFormats": [ { "codec": "AAC-LC (M4A)", "sampleRateHertz": 48000, "channels": 1 }, { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 2 } ], "conversions": [ { "description": "Einspielung der Gesprächsaufnahme in Echtzeit über einen virtuellen Mikrofoneingang mit −20 dBFS RMS", "tool": "scribeindex-playback", "version": "1.0" } ], "exclusions": [ { "scenarioId": "klinik-016", "reason": "Einwilligung zur Nutzung der Aufnahme vor Testbeginn widerrufen." }, { "scenarioId": "klinik-033", "reason": "Relevanzmenge auch nach fachlicher Durchsicht nicht eindeutig festlegbar." } ] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 48, "resamples": 2000, "seed": 2234884632, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "f630f8568c719864793b7aacf8e58f4627c6b7bdcdf5f3730abfda50ad6bfb37" } }, { "id": "healthjet/medical-scribes:therapy-notes", "provider": "healthjet", "providerName": "HealthJet", "test": "medical-scribes:therapy-notes", "label": "Psychotherapeutische Sitzungsdokumentation", "category": "medical-scribes", "task": "therapy-notes", "url": "https://scribeindex.com/anbieter/healthjet/test/#psychotherapie", "rankingUrl": "https://scribeindex.com/vergleich/medical-scribes/psychotherapie/", "testPeriod": "2026-Q2", "protocol": "1.0", "corpus": "de-therapie-v1", "scenarios": 36, "runs": 3, "completed": 108, "total": 108, "completionRatePercent": 100, "evaluation": { "output": "therapy-note", "semanticRubric": "clinical-facts-v1", "wordErrorRate": { "applicability": "not-applicable", "basis": "unavailable", "explanation": "Die gelieferte Ausgabe ist eine therapeutische Sitzungsnotiz. Bewertet werden dokumentationsrelevante Fakten und ihre Zuordnung, nicht die Wortfolge des Gesprächs." } }, "score": { "version": "2.2", "value": 63.7917, "ci95": [ 54.1, 69.6 ], "ci95Method": "paired-cluster-bootstrap-beta-critical", "pairedDifferences": [ { "provider": "playnvoice", "ci95": [ -16.56, -0.23 ] }, { "provider": "heidi", "ci95": [ -5.69, 14.59 ] }, { "provider": "tandem-health", "ci95": [ -11.39, 8.49 ] }, { "provider": "via-health", "ci95": [ -23.65, -5.4 ] }, { "provider": "dokudachs", "ci95": [ -21.73, -2.74 ] }, { "provider": "iptas", "ci95": [ -19.94, -3.22 ] }, { "provider": "clara-health", "ci95": [ -15.9, 0.8 ] }, { "provider": "lumanote", "ci95": [ -18.47, 0.44 ] }, { "provider": "noa-notes", "ci95": [ -6.47, 11.87 ] }, { "provider": "psynex", "ci95": [ -22.28, -5.7 ] }, { "provider": "upheal", "ci95": [ -2.08, 19.29 ] } ], "rank": 9, "cohortSize": 12, "criticalRatePercent": 6.481, "contentQuality": 88.673, "references": { "key": "therapy-notes", "qualityErrorPoints": 30, "correctionMinutes": 20, "criticalPercent": 20 }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 62.242, "weight": 0.6, "contribution": 37.345 }, { "key": "critical", "label": "Schwerwiegende Fehler", "value": 67.593, "weight": 0.2, "contribution": 13.519 }, { "key": "effort", "label": "Korrekturaufwand", "value": 52.851, "weight": 0.15, "contribution": 7.928 }, { "key": "reliability", "label": "Abschlussquote", "value": 100, "weight": 0.05, "contribution": 5 } ] }, "mainMetric": { "label": "Fakten-F1", "abbreviation": "F1", "value": 88.673, "direction": "higher", "ci95": [ 87.3, 89.95 ] }, "transcription": null, "facts": { "truePositive": 2826, "falsePositive": 224, "falseNegative": 498, "referenceFacts": 3324, "outputFacts": 3050, "precisionPercent": 92.656, "precisionCi95": [ 91.25, 94.08 ], "recallPercent": 85.018, "recallCi95": [ 82.9, 87.01 ], "f1Percent": 88.673, "f1Ci95": [ 87.3, 89.95 ] }, "latency": { "p50Seconds": 43.3, "p95Seconds": 102.6, "mode": "live-conversation", "start": "Beenden der Aufnahme", "end": "Vollständiges Dokument verfügbar" }, "correction": { "minutesPerAudioHour": 9.4298, "ci95": [ 8.3, 10.58 ], "estimate": { "outputs": 108, "audioSeconds": 310800, "minutes": 814.08, "ci": [ 8.3, 10.58 ], "audioHours": 86.331 } }, "additionalMetrics": [ { "key": "critical-documents", "label": "Dokumente mit schwerwiegendem Fehler", "numerator": 7, "denominator": 108, "valuePercent": 6.481, "direction": "lower", "definition": "Ausgaben mit mindestens einem potenziell schwerwiegenden medizinischen Fehler pro abgeschlossener Ausgabe. Bewertet wird jeder Fall nach einer festgelegten Fehlerrubrik. Fehler bei Medikation oder Verneinung zählen hier nur, wenn die Rubrik die betroffene Angabe als potenziell schwerwiegend einstuft. Die Zähler je Fehlerart enthalten auch folgenlose Abweichungen.", "ci95": [ 2.41, 16.28 ], "ci95Method": "wilson-design-effect", "designEffect": 1.9778 }, { "key": "unsupported-statements", "label": "Falsche oder unbelegte Aussagen", "numerator": 56, "denominator": 3050, "valuePercent": 1.836, "direction": "lower", "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.", "ci95": [ 1.23, 2.73 ], "ci95Method": "wilson-design-effect", "designEffect": 2.3551 }, { "key": "medical-term-errors", "label": "Fehler bei Fachbegriffen", "numerator": 39, "denominator": 1185, "valuePercent": 3.291, "direction": "lower", "definition": "Fachlich falsch wiedergegebene oder ausgelassene medizinische Konzepte pro annotiertem Fachkonzept der Referenz. Synonyme gelten bei gleicher Bedeutung als korrekt.", "ci95": [ 2.02, 5.3 ], "ci95Method": "wilson-design-effect", "designEffect": 2.4719 }, { "key": "medication-errors", "label": "Fehler bei Medikamenten und Dosierungen", "numerator": 0, "denominator": 75, "valuePercent": 0, "direction": "lower", "definition": "Falsch wiedergegebene oder ausgelassene Angaben zu Wirkstoff, Dosis, Einheit und Einnahme pro annotierter Medikationsangabe. Jede Angabe zählt höchstens einmal.", "ci95": [ 0, 10.21 ], "ci95Method": "wilson-design-effect", "designEffect": 2.2198 }, { "key": "negation-errors", "label": "Fehler bei Verneinungen", "numerator": 17, "denominator": 435, "valuePercent": 3.908, "direction": "lower", "definition": "Verlorene, hinzugefügte oder umgekehrte Negationen pro Referenzaussage mit verneintem oder ausdrücklich bestätigtem Befund. Eine Aussage zählt höchstens einmal.", "ci95": [ 1.82, 8.16 ], "ci95Method": "wilson-design-effect", "designEffect": 2.7303 }, { "key": "temporal-errors", "label": "Fehler bei zeitlichen Angaben", "numerator": 55, "denominator": 969, "valuePercent": 5.676, "direction": "lower", "definition": "Falsch zugeordnete oder ausgelassene Zeitpunkte, Dauern und zeitliche Beziehungen pro annotierter zeitlicher Referenzangabe.", "ci95": [ 3.78, 8.43 ], "ci95Method": "wilson-design-effect", "designEffect": 2.472 }, { "key": "attribution-errors", "label": "Fehler bei der Zuordnung", "numerator": 63, "denominator": 1908, "valuePercent": 3.302, "direction": "lower", "definition": "Falsche oder ausgelassene Zuordnung von Aussagen zu Patient, behandelnder Person oder Drittperson pro Referenzfakt mit erforderlicher Quellenzuordnung.", "ci95": [ 2.21, 4.91 ], "ci95Method": "wilson-design-effect", "designEffect": 2.7304 }, { "key": "risk-assessment-errors", "label": "Fehler bei Risikohinweisen", "numerator": 1, "denominator": 171, "valuePercent": 0.585, "direction": "lower", "definition": "Ausgelassene, hinzugefügte oder falsch eingeordnete Aussagen zu Selbstgefährdung und Schutzfaktoren pro annotierter risikorelevanter Referenzaussage. Bewertet wird anhand des Gesprächs nach einer festgelegten Rubrik.", "ci95": [ 0.05, 6.2 ], "ci95Method": "wilson-design-effect", "designEffect": 2.4129 } ], "errorTypes": [ { "label": "Nicht erfasste Referenzfakten", "count": 498 }, { "label": "Falsche oder unbelegte Aussagen", "count": 56 }, { "label": "Zutreffende, aber nicht relevante Aussagen", "count": 168 } ], "failedRuns": [], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "HealthJet Web-Dashboard, psychotherapeutische Dokumentation, Stand 2. Quartal 2026", "modelVersions": null, "template": { "id": "si-therapie-verlauf", "version": "1.0" }, "instruction": { "id": "si-instr-therapie", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Aufnahme in der Anwendung über einen virtuellen Mikrofoneingang", "language": "Deutsch", "outputLanguage": "Deutsch", "template": "Eigene Vorlage für Therapieverläufe", "mode": "Gespräch aufnehmen, Vorlage auswählen und Dokumenterstellung auslösen", "extraContext": false, "manualCorrection": false }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": null }, "corpusMetadata": { "version": "1.0", "manifestSha256": "62780a1c05eb9562aa4bdbee3b73aedcf448ce0e8e6ba5fd85d7e17baa3b4bd8", "referenceVersion": "1.0", "referenceSha256": "62c50ae99e53e02e016470714f0a6524d90a92407fe393d48adae95f19a8ee2a", "sourceScenarioCount": 36, "evaluatedScenarioCount": 36, "totalAudioSeconds": 103620, "durationSeconds": { "minimum": 2220, "maximum": 3540 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 1 } ], "conversions": [ { "description": "Einspielung der Gesprächsaufnahme in Echtzeit über einen virtuellen Mikrofoneingang mit −20 dBFS RMS", "tool": "scribeindex-playback", "version": "1.0" } ], "exclusions": [] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 36, "resamples": 2000, "seed": 3733937332, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "0c35a46bc36056c43d2f55385441679c130a0d1ef5bcb7bd6cb2f19411cef23a" } }, { "id": "healthjet/medical-scribes:anamnesis-report", "provider": "healthjet", "providerName": "HealthJet", "test": "medical-scribes:anamnesis-report", "label": "Anamneseberichte", "category": "medical-scribes", "task": "anamnesis-report", "url": "https://scribeindex.com/anbieter/healthjet/test/#anamneseberichte", "rankingUrl": "https://scribeindex.com/vergleich/medical-scribes/anamneseberichte/", "testPeriod": "2026-Q2", "protocol": "1.0", "corpus": "de-anamnese-v1", "scenarios": 24, "runs": 2, "completed": 48, "total": 48, "completionRatePercent": 100, "evaluation": { "output": "anamnesis-report", "semanticRubric": "anamnesis-facts-v1", "wordErrorRate": { "applicability": "not-applicable", "basis": "unavailable", "explanation": "Bewertet wird der ausführliche Anamnesebericht aus dem aufgezeichneten Gespräch. Gegliederte Abschnitte, indirekte Rede und Umformulierungen werden semantisch abgeglichen, nicht gegen die Wortfolge des Audios bewertet." } }, "score": { "version": "2.2", "value": 73.892, "ci95": [ 61.1, 79.4 ], "ci95Method": "paired-cluster-bootstrap-beta-critical", "pairedDifferences": [ { "provider": "tippiti", "ci95": [ -21.77, 1.93 ] }, { "provider": "lumanote", "ci95": [ -8.17, 17.88 ] } ], "rank": 2, "cohortSize": 3, "criticalRatePercent": 6.25, "contentQuality": 91.902, "references": { "key": "anamnesis-report", "qualityErrorPoints": 30, "correctionMinutes": 84, "criticalPercent": 20 }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 73.006, "weight": 0.6, "contribution": 43.804 }, { "key": "critical", "label": "Schwerwiegende Fehler", "value": 68.75, "weight": 0.2, "contribution": 13.75 }, { "key": "effort", "label": "Korrekturaufwand", "value": 75.589, "weight": 0.15, "contribution": 11.338 }, { "key": "reliability", "label": "Abschlussquote", "value": 100, "weight": 0.05, "contribution": 5 } ] }, "mainMetric": { "label": "Fakten-F1", "abbreviation": "F1", "value": 91.902, "direction": "higher", "ci95": [ 90.92, 92.8 ] }, "transcription": null, "facts": { "truePositive": 7019, "falsePositive": 330, "falseNegative": 907, "referenceFacts": 7926, "outputFacts": 7349, "precisionPercent": 95.51, "precisionCi95": [ 94.44, 96.6 ], "recallPercent": 88.557, "recallCi95": [ 86.97, 90.05 ], "f1Percent": 91.902, "f1Ci95": [ 90.92, 92.8 ] }, "latency": { "p50Seconds": 49.5, "p95Seconds": 83, "mode": "live-conversation", "start": "Beenden der Aufnahme", "end": "Vollständiges Dokument verfügbar" }, "correction": { "minutesPerAudioHour": 20.5052, "ci95": [ 17.9, 23.22 ], "estimate": { "outputs": 48, "audioSeconds": 173520, "minutes": 988.39, "ci": [ 17.9, 23.22 ], "audioHours": 48.202 } }, "additionalMetrics": [ { "key": "critical-documents", "label": "Dokumente mit schwerwiegendem Fehler", "numerator": 3, "denominator": 48, "valuePercent": 6.25, "direction": "lower", "definition": "Ausgaben mit mindestens einem potenziell schwerwiegenden medizinischen Fehler pro abgeschlossener Ausgabe. Bewertet wird jeder Fall nach einer festgelegten Fehlerrubrik. Fehler bei Medikation oder Verneinung zählen hier nur, wenn die Rubrik die betroffene Angabe als potenziell schwerwiegend einstuft. Die Zähler je Fehlerart enthalten auch folgenlose Abweichungen.", "ci95": [ 1.73, 20.08 ], "ci95Method": "wilson-design-effect", "designEffect": 1.4889 }, { "key": "unsupported-statements", "label": "Falsche oder unbelegte Aussagen", "numerator": 164, "denominator": 7349, "valuePercent": 2.232, "direction": "lower", "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.", "ci95": [ 1.78, 2.8 ], "ci95Method": "wilson-design-effect", "designEffect": 2.2309 }, { "key": "medical-term-errors", "label": "Fehler bei Fachbegriffen", "numerator": 57, "denominator": 2286, "valuePercent": 2.493, "direction": "lower", "definition": "Fachlich falsch wiedergegebene oder ausgelassene medizinische Konzepte pro annotiertem Fachkonzept der Referenz. Synonyme gelten bei gleicher Bedeutung als korrekt.", "ci95": [ 1.79, 3.46 ], "ci95Method": "wilson-design-effect", "designEffect": 1.637 }, { "key": "medication-errors", "label": "Fehler bei Medikamenten und Dosierungen", "numerator": 9, "denominator": 306, "valuePercent": 2.941, "direction": "lower", "definition": "Falsch wiedergegebene oder ausgelassene Angaben zu Wirkstoff, Dosis, Einheit und Einnahme pro annotierter Medikationsangabe. Jede Angabe zählt höchstens einmal.", "ci95": [ 1.31, 6.45 ], "ci95Method": "wilson-design-effect", "designEffect": 1.6217 }, { "key": "negation-errors", "label": "Fehler bei Verneinungen", "numerator": 11, "denominator": 836, "valuePercent": 1.316, "direction": "lower", "definition": "Verlorene, hinzugefügte oder umgekehrte Negationen pro Referenzaussage mit verneintem oder ausdrücklich bestätigtem Befund. Eine Aussage zählt höchstens einmal.", "ci95": [ 0.59, 2.9 ], "ci95Method": "wilson-design-effect", "designEffect": 1.9327 }, { "key": "temporal-errors", "label": "Fehler bei zeitlichen Angaben", "numerator": 66, "denominator": 1828, "valuePercent": 3.611, "direction": "lower", "definition": "Falsch zugeordnete oder ausgelassene Zeitpunkte, Dauern und zeitliche Beziehungen pro annotierter zeitlicher Referenzangabe.", "ci95": [ 2.63, 4.94 ], "ci95Method": "wilson-design-effect", "designEffect": 1.7744 }, { "key": "attribution-errors", "label": "Fehler bei der Zuordnung", "numerator": 99, "denominator": 5186, "valuePercent": 1.909, "direction": "lower", "definition": "Falsche oder ausgelassene Zuordnung von Aussagen zu Patient, behandelnder Person oder Drittperson pro Referenzfakt mit erforderlicher Quellenzuordnung.", "ci95": [ 1.42, 2.56 ], "ci95Method": "wilson-design-effect", "designEffect": 2.2365 }, { "key": "detail-retention", "label": "Detailerhalt", "numerator": 4116, "denominator": 4766, "valuePercent": 86.362, "direction": "higher", "definition": "Korrekt erhaltene erforderliche Detailfakten pro vorab markiertem Detailfakt der vollständigen Anamnesereferenz. Angaben zu Vorgeschichte, Beschwerden, Verlauf, Behandlung und Lebensumständen werden getrennt annotiert. Fehlende Angaben sind keine Treffer.", "ci95": [ 84.49, 88.04 ], "ci95Method": "wilson-design-effect", "designEffect": 3.3007 }, { "key": "template-completeness", "label": "Vollständige Berichtsgliederung", "numerator": 819, "denominator": 876, "valuePercent": 93.493, "direction": "higher", "definition": "Vorhandene und inhaltlich korrekt befüllte Pflichtabschnitte pro aufgabenbezogen erforderlichem Abschnitt. Je nach Gesprächsinhalt sind 16 bis 20 Abschnitte der Berichtsvorlage erforderlich. Nicht erhobene Inhalte werden als nicht erhoben markiert und nicht ergänzt.", "ci95": [ 91.12, 95.26 ], "ci95Method": "wilson-design-effect", "designEffect": 1.5762 }, { "key": "contradiction-handling", "label": "Erhalt widersprüchlicher Angaben", "numerator": 88, "denominator": 102, "valuePercent": 86.275, "direction": "higher", "definition": "Korrekt getrennt und mit ihrer Quelle wiedergegebene widersprüchliche Angaben pro vorab annotiertem Widerspruchspaar. Ausgelassene oder ohne Quellenbasis aufgelöste Widersprüche sind keine Treffer.", "ci95": [ 73.91, 93.31 ], "ci95Method": "wilson-design-effect", "designEffect": 2.1032 }, { "key": "unsupported-inferences", "label": "Nicht belegte Schlussfolgerungen", "numerator": 49, "denominator": 620, "valuePercent": 7.903, "direction": "lower", "definition": "Nicht durch Gespräch oder bereitgestellten Kontext belegte Schlussfolgerungen pro tatsächlich ausgegebener Schlussfolgerung. Eine als fremde Einschätzung gekennzeichnete Aussage zählt nur bei korrekter Quellenzuordnung als belegt.", "ci95": [ 5.11, 12.02 ], "ci95Method": "wilson-design-effect", "designEffect": 2.5845 } ], "errorTypes": [ { "label": "Nicht erfasste Referenzfakten", "count": 907 }, { "label": "Falsche oder unbelegte Aussagen", "count": 164 }, { "label": "Zutreffende, aber nicht relevante Aussagen", "count": 166 } ], "failedRuns": [], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "HealthJet Web-Dashboard, Eigenanamnese, Stand 2. Quartal 2026", "modelVersions": null, "template": { "id": "si-anamnese-bericht", "version": "1.0" }, "instruction": { "id": "si-instr-anamnese", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Aufnahme in der Anwendung über einen virtuellen Mikrofoneingang", "language": "Deutsch", "outputLanguage": "Deutsch", "template": "Eigene Vorlage mit der vorab fixierten Berichtsgliederung", "mode": "Gesprächsteil einzeln ausarbeiten, keine Aktenzusammenführung oder fachliche Beurteilung", "reportStyle": "Ausführlich, thematisch gegliedert, indirekte Rede", "extraContext": false, "manualCorrection": false }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": null }, "corpusMetadata": { "version": "1.0", "manifestSha256": "fd43d74a52c8f38d1962a41126bf5f14f7d1f35990ef9e325e5a5c9b4a8e750e", "referenceVersion": "1.0", "referenceSha256": "f29faa81a90ca61e58fc49886c47b58ec1ff812e17abf3c5ffd0a6f9c54a8417", "sourceScenarioCount": 25, "evaluatedScenarioCount": 24, "totalAudioSeconds": 86760, "durationSeconds": { "minimum": 2220, "maximum": 5100 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 2 } ], "conversions": [ { "description": "Einspielung der Gesprächsaufnahme in Echtzeit über einen virtuellen Mikrofoneingang mit −20 dBFS RMS", "tool": "scribeindex-playback", "version": "1.0" } ], "exclusions": [ { "scenarioId": "anamnese-009", "reason": "Aufnahme vorzeitig abgebrochen, Gespräch unvollständig." } ] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 24, "resamples": 2000, "seed": 4114781480, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "507123a351cd2e8740278c579658de54ed5f0b6c9b5e1c6d7d6e788ac20cc2a3" } }, { "id": "healthjet/medizinische-transkription", "provider": "healthjet", "providerName": "HealthJet", "test": "medizinische-transkription", "label": "Medizinische Spracherkennung", "category": "medizinische-transkription", "url": "https://scribeindex.com/anbieter/healthjet/test/#medizinische-transkription", "rankingUrl": "https://scribeindex.com/vergleich/medizinische-spracherkennung/", "testPeriod": "2026-Q2", "protocol": "1.0", "corpus": "de-diktat-v1", "scenarios": 62, "runs": 3, "completed": 186, "total": 186, "completionRatePercent": 100, "evaluation": { "output": "edited-transcript", "semanticRubric": "clinical-facts-v1", "wordErrorRate": { "applicability": "diagnostic", "basis": "delivered-output", "explanation": "Der Dienst liefert eine KI-überarbeitete Ausgabe, keine wortnahe Abschrift. Die WER vergleicht sie Wort für Wort mit dem Diktat. Gewollte Korrekturen, Umstellungen und Glättungen zählen dabei mit. Der Wert zeigt deshalb vor allem, wie weit der Text vom Wortlaut abweicht, nicht wie viele Fehler er enthält. Ob die Inhalte stimmen, misst der Faktenabgleich. Die Erkennungsfehler zählen falsch erkannte oder inhaltlich veränderte Wörter, bezogen auf dieselben Referenzwörter. Bei wortnaher Ausgabe zählt jede Abweichung vom Wortlaut, bei KI-überarbeiteter Ausgabe bleiben zulässige Umformulierungen außen vor. Vergleiche stehen deshalb nur innerhalb derselben Ausgabeart. Die WER geht nicht in den ScribeIndex-Score ein." } }, "score": { "version": "2.2", "value": 91.6256, "ci95": [ 87, 92.8 ], "ci95Method": "paired-cluster-bootstrap-beta-critical", "pairedDifferences": [ { "provider": "dragon-medical-one", "ci95": [ 1.92, 10.81 ] }, { "provider": "heidi", "ci95": [ -5.82, 1.57 ] }, { "provider": "tippiti", "ci95": [ -9.16, -1.94 ] }, { "provider": "dragon-copilot", "ci95": [ 3.19, 12.08 ] }, { "provider": "mira-medical", "ci95": [ 5.32, 14.93 ] }, { "provider": "dictnow", "ci95": [ 5.1, 14.45 ] }, { "provider": "fluency-direct", "ci95": [ 7.4, 15.72 ] }, { "provider": "idana-flow", "ci95": [ -5.8, 1.8 ] } ], "rank": 4, "cohortSize": 9, "criticalRatePercent": 0.538, "contentQuality": 97.209, "references": { "key": "medizinische-transkription", "qualityErrorPoints": 30, "correctionMinutes": 141, "criticalPercent": 15 }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 90.696, "weight": 0.6, "contribution": 54.417 }, { "key": "critical", "label": "Schwerwiegende Fehler", "value": 96.416, "weight": 0.2, "contribution": 19.283 }, { "key": "effort", "label": "Korrekturaufwand", "value": 86.167, "weight": 0.15, "contribution": 12.925 }, { "key": "reliability", "label": "Abschlussquote", "value": 100, "weight": 0.05, "contribution": 5 } ] }, "mainMetric": { "label": "Fakten-F1", "abbreviation": "F1", "value": 97.209, "direction": "higher", "ci95": [ 96.74, 97.67 ] }, "transcription": { "referenceWords": 103161, "substitutions": 3297, "deletions": 2139, "insertions": 2603, "errors": 8039, "werPercent": 7.793, "ci95": [ 7.26, 8.32 ], "comparable": false }, "facts": { "truePositive": 6495, "falsePositive": 163, "falseNegative": 210, "referenceFacts": 6705, "outputFacts": 6658, "precisionPercent": 97.552, "precisionCi95": [ 96.81, 98.2 ], "recallPercent": 96.868, "recallCi95": [ 96.25, 97.48 ], "f1Percent": 97.209, "f1Ci95": [ 96.74, 97.67 ] }, "latency": { "p50Seconds": 19.9, "p95Seconds": 41.6, "mode": "live-dictation", "start": "Ende des letzten zugespielten Wortes", "end": "Stabile nutzbare Textausgabe" }, "correction": { "minutesPerAudioHour": 19.5043, "ci95": [ 17.81, 21.27 ], "estimate": { "outputs": 186, "audioSeconds": 56220, "minutes": 304.56, "ci": [ 17.81, 21.27 ], "audioHours": 15.615 } }, "additionalMetrics": [ { "key": "recognition-errors", "label": "Erkennungsfehler", "numerator": 2663, "denominator": 103161, "valuePercent": 2.581, "direction": "lower", "definition": "Falsch erkannte, ausgelassene oder eingefügte Wörter pro Referenzwort, ohne zulässige Umformulierungen. Bei wortnaher Ausgabe entspricht der Wert der WER, dort zählt jede Abweichung vom Wortlaut. Bei KI-überarbeiteter Ausgabe zählen nur falsch erkannte oder inhaltlich veränderte Wörter. Für wortnahe Dienste ist die Zählung damit strenger.", "ci95": [ 2.34, 2.84 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "cer", "label": "Zeichenfehlerrate · CER", "numerator": 33656, "denominator": 743736, "valuePercent": 4.525, "direction": "lower", "definition": "Zeichenabweichungen pro Referenzzeichen nach NFC-Normalisierung, einheitlicher Groß- und Kleinschreibung, entfernten Satzzeichen und zu einem Leerzeichen zusammengefasstem Leerraum. Leerzeichen zählen als Zeichen.", "ci95": [ 4.26, 4.8 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "critical-documents", "label": "Dokumente mit schwerwiegendem Fehler", "numerator": 1, "denominator": 186, "valuePercent": 0.538, "direction": "lower", "definition": "Ausgaben mit mindestens einem potenziell schwerwiegenden medizinischen Fehler pro abgeschlossener Ausgabe. Bewertet wird jeder Fall nach einer festgelegten Fehlerrubrik. Fehler bei Medikation oder Verneinung zählen hier nur, wenn die Rubrik die betroffene Angabe als potenziell schwerwiegend einstuft. Die Zähler je Fehlerart enthalten auch folgenlose Abweichungen.", "ci95": [ 0.05, 4.91 ], "ci95Method": "wilson-design-effect", "designEffect": 1.9778 }, { "key": "unsupported-statements", "label": "Falsche oder unbelegte Aussagen", "numerator": 122, "denominator": 6658, "valuePercent": 1.832, "direction": "lower", "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.", "ci95": [ 1.38, 2.43 ], "ci95Method": "wilson-design-effect", "designEffect": 2.5363 }, { "key": "medical-term-errors", "label": "Fehler bei Fachbegriffen", "numerator": 155, "denominator": 11205, "valuePercent": 1.383, "direction": "lower", "definition": "Fachlich falsch wiedergegebene oder ausgelassene medizinische Konzepte pro annotiertem Fachkonzept der Referenz. Synonyme gelten bei gleicher Bedeutung als korrekt.", "ci95": [ 1.05, 1.82 ], "ci95Method": "wilson-design-effect", "designEffect": 3.0102 }, { "key": "medication-errors", "label": "Fehler bei Medikamenten und Dosierungen", "numerator": 16, "denominator": 762, "valuePercent": 2.1, "direction": "lower", "definition": "Falsch wiedergegebene oder ausgelassene Angaben zu Wirkstoff, Dosis, Einheit und Einnahme pro annotierter Medikationsangabe. Jede Angabe zählt höchstens einmal.", "ci95": [ 0.98, 4.41 ], "ci95Method": "wilson-design-effect", "designEffect": 2.4965 }, { "key": "negation-errors", "label": "Fehler bei Verneinungen", "numerator": 4, "denominator": 1107, "valuePercent": 0.361, "direction": "lower", "definition": "Verlorene, hinzugefügte oder umgekehrte Negationen pro Referenzaussage mit verneintem oder ausdrücklich bestätigtem Befund. Eine Aussage zählt höchstens einmal.", "ci95": [ 0.08, 1.53 ], "ci95Method": "wilson-design-effect", "designEffect": 2.5899 }, { "key": "temporal-errors", "label": "Fehler bei zeitlichen Angaben", "numerator": 28, "denominator": 1455, "valuePercent": 1.924, "direction": "lower", "definition": "Falsch zugeordnete oder ausgelassene Zeitpunkte, Dauern und zeitliche Beziehungen pro annotierter zeitlicher Referenzangabe.", "ci95": [ 1.06, 3.47 ], "ci95Method": "wilson-design-effect", "designEffect": 2.6964 }, { "key": "attribution-errors", "label": "Fehler bei der Zuordnung", "numerator": 28, "denominator": 2415, "valuePercent": 1.159, "direction": "lower", "definition": "Falsche oder ausgelassene Zuordnung von Aussagen zu Patient, behandelnder Person oder Drittperson pro Referenzfakt mit erforderlicher Quellenzuordnung.", "ci95": [ 0.65, 2.05 ], "ci95Method": "wilson-design-effect", "designEffect": 2.4518 }, { "key": "dictation-command-accuracy", "label": "Umgesetzte Diktatbefehle", "numerator": 1024, "denominator": 1326, "valuePercent": 77.225, "direction": "higher", "definition": "Richtig ausgeführte festgelegte Satzzeichen-, Absatz- und Korrekturbefehle pro ausgesprochenem Referenzbefehl. Der Befehl soll wirken und nicht als Befehlswort im Text stehen.", "ci95": [ 72.68, 81.21 ], "ci95Method": "wilson-design-effect", "designEffect": 3.5814 }, { "key": "self-correction-accuracy", "label": "Umgesetzte Selbstkorrekturen", "numerator": 199, "denominator": 252, "valuePercent": 78.968, "direction": "higher", "definition": "Spontane Selbstkorrekturen, nach denen das Dokument nur die endgültige Angabe enthält, pro annotierter Selbstkorrektur der Referenz. Steht die verworfene Angabe noch im Text oder ersetzt sie die endgültige, ist die Selbstkorrektur nicht umgesetzt. Ob eine Regel oder ein Sprachmodell sie umsetzt, spielt keine Rolle.", "ci95": [ 70.41, 85.56 ], "ci95Method": "wilson-design-effect", "designEffect": 2.3037 }, { "key": "edit-instruction-accuracy", "label": "Umgesetzte Bearbeitungsanweisungen", "numerator": 23, "denominator": 90, "valuePercent": 25.556, "direction": "higher", "definition": "Frei formulierte Anweisungen an das Dokument, deren Wirkung das gelieferte Dokument zeigt, pro annotierter Anweisung der Referenz. Eine solche Anweisung ändert eine früher genannte Angabe, ergänzt Inhalt an einer früheren Stelle oder verschiebt einen Abschnitt. Steht sie wörtlich im Text oder bleibt sie ohne Wirkung, ist sie nicht umgesetzt. Ob eine Regel oder ein Sprachmodell sie umsetzt, spielt keine Rolle.", "ci95": [ 13.88, 42.23 ], "ci95Method": "wilson-design-effect", "designEffect": 2.6683 } ], "errorTypes": [ { "label": "Nicht erfasste Referenzfakten", "count": 210 }, { "label": "Falsche oder unbelegte Aussagen", "count": 122 }, { "label": "Zutreffende, aber nicht relevante Aussagen", "count": 41 } ], "failedRuns": [], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "HealthJet Web-Dashboard, Smart-Diktat mit Browseraufnahme, Stand 2. Quartal 2026", "modelVersions": null, "template": null, "instruction": { "id": "si-instr-diktat-ausarbeitung", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Aufnahme in der Anwendung über einen virtuellen Mikrofoneingang", "language": "Deutsch", "outputLanguage": "Deutsch", "mode": "Smart-Diktat, Verarbeitung nach Ende der Aufnahme", "outputStyle": "KI-überarbeiteter Diktattext ohne Dokumentvorlage", "extraContext": false, "manualCorrection": false }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": { "id": "de-med-wer", "version": "1.0" } }, "corpusMetadata": { "version": "1.0", "manifestSha256": "6768f28bb70c0457e31c2eaafd4f3c498c05b4aec26501537825bbaa22733060", "referenceVersion": "1.0", "referenceSha256": "18772162e86230bce7cfb8a2f52f90244df2b1cdf52bdb6a646494dd3596dbb9", "sourceScenarioCount": 64, "evaluatedScenarioCount": 62, "totalAudioSeconds": 18720, "durationSeconds": { "minimum": 60, "maximum": 900 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 1 }, { "codec": "MP3 128 kbit/s", "sampleRateHertz": 44100, "channels": 1 }, { "codec": "AAC-LC (M4A)", "sampleRateHertz": 44100, "channels": 1 } ], "conversions": [ { "description": "Kontrollierte Wiedergabe der Referenzaufnahmen über einen virtuellen Mikrofoneingang mit −20 dBFS RMS in Echtzeit", "tool": "scribeindex-playback", "version": "1.0" }, { "description": "Dekodierung komprimierter Quelldateien zu PCM 48 kHz mono vor der Wiedergabe", "tool": "FFmpeg", "version": "7.1.1" } ], "exclusions": [ { "scenarioId": "diktat-023", "reason": "Die sprechende Person nannte versehentlich einen echten Namen. Die Aufnahme wurde vor der Referenzfreigabe zurückgezogen." }, { "scenarioId": "diktat-057", "reason": "Endgültige Angabe einer Selbstkorrektur auch nach Prüfung der Aufnahme nicht eindeutig hörbar." } ] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 62, "resamples": 2000, "seed": 4214870755, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "1feb69fb1f1a9ee5134ab583a5bf6a80625f840f53d2d833da91149ac9f1550a" } }, { "id": "heidi/medical-scribes:clinical-notes", "provider": "heidi", "providerName": "Heidi Health", "test": "medical-scribes:clinical-notes", "label": "Ärztliche Gesprächsdokumentation", "category": "medical-scribes", "task": "clinical-notes", "url": "https://scribeindex.com/anbieter/heidi/test/#aerztliche-dokumentation", "rankingUrl": "https://scribeindex.com/vergleich/medical-scribes/aerztliche-dokumentation/", "testPeriod": "2026-Q3", "protocol": "1.0", "corpus": "de-klinik-v1", "scenarios": 48, "runs": 3, "completed": 142, "total": 144, "completionRatePercent": 98.611, "evaluation": { "output": "clinical-note", "semanticRubric": "clinical-facts-v1", "wordErrorRate": { "applicability": "not-applicable", "basis": "unavailable", "explanation": "Die gelieferte Ausgabe ist eine verdichtete Dokumentation, keine wortnahe Abschrift. Deshalb gibt es keine WER." } }, "score": { "version": "2.2", "value": 81.8775, "ci95": [ 76.4, 84.5 ], "ci95Method": "paired-cluster-bootstrap-beta-critical", "pairedDifferences": [ { "provider": "healthjet", "ci95": [ -4.86, 5.73 ] }, { "provider": "tippiti", "ci95": [ -9.96, -0.78 ] }, { "provider": "tandem-health", "ci95": [ -3.18, 8.68 ] }, { "provider": "noa-notes", "ci95": [ 0.7, 13.04 ] }, { "provider": "doctolib-assistent", "ci95": [ -11.83, -3.25 ] }, { "provider": "dragon-copilot", "ci95": [ -6.59, 4.74 ] }, { "provider": "speechlive-health", "ci95": [ -3.69, 7.55 ] }, { "provider": "gospeech-medical", "ci95": [ -7.95, 1.26 ] }, { "provider": "quixxs", "ci95": [ 8.57, 21.67 ] }, { "provider": "idana-flow", "ci95": [ -4.73, 7.19 ] } ], "rank": 5, "cohortSize": 11, "criticalRatePercent": 1.408, "contentQuality": 93.149, "references": { "key": "clinical-notes", "qualityErrorPoints": 30, "correctionMinutes": 59, "criticalPercent": 20 }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 77.162, "weight": 0.6, "contribution": 46.297 }, { "key": "critical", "label": "Schwerwiegende Fehler", "value": 92.958, "weight": 0.2, "contribution": 18.592 }, { "key": "effort", "label": "Korrekturaufwand", "value": 80.387, "weight": 0.15, "contribution": 12.058 }, { "key": "reliability", "label": "Abschlussquote", "value": 98.611, "weight": 0.05, "contribution": 4.931 } ] }, "mainMetric": { "label": "Fakten-F1", "abbreviation": "F1", "value": 93.149, "direction": "higher", "ci95": [ 92.22, 94.09 ] }, "transcription": null, "facts": { "truePositive": 3732, "falsePositive": 204, "falseNegative": 345, "referenceFacts": 4077, "outputFacts": 3936, "precisionPercent": 94.817, "precisionCi95": [ 93.47, 96.17 ], "recallPercent": 91.538, "recallCi95": [ 90.34, 92.69 ], "f1Percent": 93.149, "f1Ci95": [ 92.22, 94.09 ] }, "latency": { "p50Seconds": 102.1, "p95Seconds": 281.5, "mode": "file-upload", "start": "Uploadstart", "end": "Vollständiges Dokument verfügbar" }, "correction": { "minutesPerAudioHour": 11.5715, "ci95": [ 9.8, 13.35 ], "estimate": { "outputs": 142, "audioSeconds": 103320, "minutes": 332.16, "ci": [ 9.8, 13.35 ], "audioHours": 28.705 } }, "additionalMetrics": [ { "key": "critical-documents", "label": "Dokumente mit schwerwiegendem Fehler", "numerator": 2, "denominator": 142, "valuePercent": 1.408, "direction": "lower", "definition": "Ausgaben mit mindestens einem potenziell schwerwiegenden medizinischen Fehler pro abgeschlossener Ausgabe. Bewertet wird jeder Fall nach einer festgelegten Fehlerrubrik. Fehler bei Medikation oder Verneinung zählen hier nur, wenn die Rubrik die betroffene Angabe als potenziell schwerwiegend einstuft. Die Zähler je Fehlerart enthalten auch folgenlose Abweichungen.", "ci95": [ 0.25, 7.46 ], "ci95Method": "wilson-design-effect", "designEffect": 1.9574 }, { "key": "unsupported-statements", "label": "Falsche oder unbelegte Aussagen", "numerator": 94, "denominator": 3936, "valuePercent": 2.388, "direction": "lower", "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.", "ci95": [ 1.72, 3.3 ], "ci95Method": "wilson-design-effect", "designEffect": 2.6462 }, { "key": "medical-term-errors", "label": "Fehler bei Fachbegriffen", "numerator": 130, "denominator": 3455, "valuePercent": 3.763, "direction": "lower", "definition": "Fachlich falsch wiedergegebene oder ausgelassene medizinische Konzepte pro annotiertem Fachkonzept der Referenz. Synonyme gelten bei gleicher Bedeutung als korrekt.", "ci95": [ 2.87, 4.92 ], "ci95Method": "wilson-design-effect", "designEffect": 2.5569 }, { "key": "medication-errors", "label": "Fehler bei Medikamenten und Dosierungen", "numerator": 17, "denominator": 610, "valuePercent": 2.787, "direction": "lower", "definition": "Falsch wiedergegebene oder ausgelassene Angaben zu Wirkstoff, Dosis, Einheit und Einnahme pro annotierter Medikationsangabe. Jede Angabe zählt höchstens einmal.", "ci95": [ 1.42, 5.38 ], "ci95Method": "wilson-design-effect", "designEffect": 2.086 }, { "key": "negation-errors", "label": "Fehler bei Verneinungen", "numerator": 19, "denominator": 814, "valuePercent": 2.334, "direction": "lower", "definition": "Verlorene, hinzugefügte oder umgekehrte Negationen pro Referenzaussage mit verneintem oder ausdrücklich bestätigtem Befund. Eine Aussage zählt höchstens einmal.", "ci95": [ 1.19, 4.51 ], "ci95Method": "wilson-design-effect", "designEffect": 2.3278 }, { "key": "temporal-errors", "label": "Fehler bei zeitlichen Angaben", "numerator": 41, "denominator": 924, "valuePercent": 4.437, "direction": "lower", "definition": "Falsch zugeordnete oder ausgelassene Zeitpunkte, Dauern und zeitliche Beziehungen pro annotierter zeitlicher Referenzangabe.", "ci95": [ 2.76, 7.06 ], "ci95Method": "wilson-design-effect", "designEffect": 2.5192 }, { "key": "attribution-errors", "label": "Fehler bei der Zuordnung", "numerator": 80, "denominator": 2136, "valuePercent": 3.745, "direction": "lower", "definition": "Falsche oder ausgelassene Zuordnung von Aussagen zu Patient, behandelnder Person oder Drittperson pro Referenzfakt mit erforderlicher Quellenzuordnung.", "ci95": [ 2.63, 5.3 ], "ci95Method": "wilson-design-effect", "designEffect": 2.6592 } ], "errorTypes": [ { "label": "Nicht erfasste Referenzfakten", "count": 345 }, { "label": "Falsche oder unbelegte Aussagen", "count": 94 }, { "label": "Zutreffende, aber nicht relevante Aussagen", "count": 110 } ], "failedRuns": [ { "scenarioId": "klinik-002", "run": 3, "reason": "Verarbeitung nicht innerhalb des protokollierten Zeitlimits abgeschlossen" }, { "scenarioId": "klinik-008", "run": 2, "reason": "Verarbeitung nicht innerhalb des protokollierten Zeitlimits abgeschlossen" } ], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "Web-App, Upload session audio, Stand 3. Quartal 2026", "modelVersions": null, "template": { "id": "si-sprechstunde-notiz", "version": "1.0" }, "instruction": { "id": "si-instr-sprechstunde", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Dateiupload der Korpusdatei im Browser (Upload session audio)", "outputLanguage": "de-DE", "specialty": "Allgemeinmedizin" }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": null }, "corpusMetadata": { "version": "1.0", "manifestSha256": "07e4ff2bb9cb21c1b350d732b5e593f4f1830354a230c75954136f03552f7ba5", "referenceVersion": "1.0", "referenceSha256": "9ddba13742d943cd28b478c231a53d71ed064e1ba7681896e21faedfe2bb2207", "sourceScenarioCount": 50, "evaluatedScenarioCount": 48, "totalAudioSeconds": 34860, "durationSeconds": { "minimum": 360, "maximum": 2400 }, "audioFormats": [ { "codec": "AAC-LC (M4A)", "sampleRateHertz": 48000, "channels": 1 }, { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 2 } ], "conversions": [], "exclusions": [ { "scenarioId": "klinik-016", "reason": "Einwilligung zur Nutzung der Aufnahme vor Testbeginn widerrufen." }, { "scenarioId": "klinik-033", "reason": "Relevanzmenge auch nach fachlicher Durchsicht nicht eindeutig festlegbar." } ] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 48, "resamples": 2000, "seed": 2234884632, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "f630f8568c719864793b7aacf8e58f4627c6b7bdcdf5f3730abfda50ad6bfb37" } }, { "id": "heidi/medical-scribes:therapy-notes", "provider": "heidi", "providerName": "Heidi Health", "test": "medical-scribes:therapy-notes", "label": "Psychotherapeutische Sitzungsdokumentation", "category": "medical-scribes", "task": "therapy-notes", "url": "https://scribeindex.com/anbieter/heidi/test/#psychotherapie", "rankingUrl": "https://scribeindex.com/vergleich/medical-scribes/psychotherapie/", "testPeriod": "2026-Q3", "protocol": "1.0", "corpus": "de-therapie-v1", "scenarios": 36, "runs": 3, "completed": 108, "total": 108, "completionRatePercent": 100, "evaluation": { "output": "therapy-note", "semanticRubric": "clinical-facts-v1", "wordErrorRate": { "applicability": "not-applicable", "basis": "unavailable", "explanation": "Die gelieferte Ausgabe ist eine therapeutische Sitzungsnotiz. Bewertet werden dokumentationsrelevante Fakten und ihre Zuordnung, nicht die Wortfolge des Gesprächs." } }, "score": { "version": "2.2", "value": 59.4816, "ci95": [ 50.6, 65.1 ], "ci95Method": "paired-cluster-bootstrap-beta-critical", "pairedDifferences": [ { "provider": "healthjet", "ci95": [ -14.59, 5.69 ] }, { "provider": "playnvoice", "ci95": [ -21.14, -4.42 ] }, { "provider": "tandem-health", "ci95": [ -15.29, 4.22 ] }, { "provider": "via-health", "ci95": [ -27.26, -10.66 ] }, { "provider": "dokudachs", "ci95": [ -25.77, -7.34 ] }, { "provider": "iptas", "ci95": [ -24.36, -7.53 ] }, { "provider": "clara-health", "ci95": [ -20.74, -3.22 ] }, { "provider": "lumanote", "ci95": [ -23.37, -3.47 ] }, { "provider": "noa-notes", "ci95": [ -10.27, 6.92 ] }, { "provider": "psynex", "ci95": [ -26.35, -10.32 ] }, { "provider": "upheal", "ci95": [ -6.11, 14.74 ] } ], "rank": 11, "cohortSize": 12, "criticalRatePercent": 3.704, "contentQuality": 85.99, "references": { "key": "therapy-notes", "qualityErrorPoints": 30, "correctionMinutes": 20, "criticalPercent": 20 }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 53.299, "weight": 0.6, "contribution": 31.979 }, { "key": "critical", "label": "Schwerwiegende Fehler", "value": 81.481, "weight": 0.2, "contribution": 16.296 }, { "key": "effort", "label": "Korrekturaufwand", "value": 41.374, "weight": 0.15, "contribution": 6.206 }, { "key": "reliability", "label": "Abschlussquote", "value": 100, "weight": 0.05, "contribution": 5 } ] }, "mainMetric": { "label": "Fakten-F1", "abbreviation": "F1", "value": 85.99, "direction": "higher", "ci95": [ 83.94, 87.85 ] }, "transcription": null, "facts": { "truePositive": 2722, "falsePositive": 285, "falseNegative": 602, "referenceFacts": 3324, "outputFacts": 3007, "precisionPercent": 90.522, "precisionCi95": [ 88.77, 92.22 ], "recallPercent": 81.889, "recallCi95": [ 78.81, 84.77 ], "f1Percent": 85.99, "f1Ci95": [ 83.94, 87.85 ] }, "latency": { "p50Seconds": 39.6, "p95Seconds": 72.2, "mode": "live-conversation", "start": "Beenden der Aufnahme", "end": "Vollständiges Dokument verfügbar" }, "correction": { "minutesPerAudioHour": 11.7251, "ci95": [ 10.11, 13.41 ], "estimate": { "outputs": 108, "audioSeconds": 310800, "minutes": 1012.24, "ci": [ 10.11, 13.41 ], "audioHours": 86.331 } }, "additionalMetrics": [ { "key": "critical-documents", "label": "Dokumente mit schwerwiegendem Fehler", "numerator": 4, "denominator": 108, "valuePercent": 3.704, "direction": "lower", "definition": "Ausgaben mit mindestens einem potenziell schwerwiegenden medizinischen Fehler pro abgeschlossener Ausgabe. Bewertet wird jeder Fall nach einer festgelegten Fehlerrubrik. Fehler bei Medikation oder Verneinung zählen hier nur, wenn die Rubrik die betroffene Angabe als potenziell schwerwiegend einstuft. Die Zähler je Fehlerart enthalten auch folgenlose Abweichungen.", "ci95": [ 1.02, 12.47 ], "ci95Method": "wilson-design-effect", "designEffect": 1.9778 }, { "key": "unsupported-statements", "label": "Falsche oder unbelegte Aussagen", "numerator": 109, "denominator": 3007, "valuePercent": 3.625, "direction": "lower", "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.", "ci95": [ 2.73, 4.8 ], "ci95Method": "wilson-design-effect", "designEffect": 2.3357 }, { "key": "medical-term-errors", "label": "Fehler bei Fachbegriffen", "numerator": 64, "denominator": 1185, "valuePercent": 5.401, "direction": "lower", "definition": "Fachlich falsch wiedergegebene oder ausgelassene medizinische Konzepte pro annotiertem Fachkonzept der Referenz. Synonyme gelten bei gleicher Bedeutung als korrekt.", "ci95": [ 3.7, 7.81 ], "ci95Method": "wilson-design-effect", "designEffect": 2.4719 }, { "key": "medication-errors", "label": "Fehler bei Medikamenten und Dosierungen", "numerator": 4, "denominator": 75, "valuePercent": 5.333, "direction": "lower", "definition": "Falsch wiedergegebene oder ausgelassene Angaben zu Wirkstoff, Dosis, Einheit und Einnahme pro annotierter Medikationsangabe. Jede Angabe zählt höchstens einmal.", "ci95": [ 1.38, 18.4 ], "ci95Method": "wilson-design-effect", "designEffect": 2.2198 }, { "key": "negation-errors", "label": "Fehler bei Verneinungen", "numerator": 22, "denominator": 435, "valuePercent": 5.057, "direction": "lower", "definition": "Verlorene, hinzugefügte oder umgekehrte Negationen pro Referenzaussage mit verneintem oder ausdrücklich bestätigtem Befund. Eine Aussage zählt höchstens einmal.", "ci95": [ 2.59, 9.65 ], "ci95Method": "wilson-design-effect", "designEffect": 2.7303 }, { "key": "temporal-errors", "label": "Fehler bei zeitlichen Angaben", "numerator": 59, "denominator": 969, "valuePercent": 6.089, "direction": "lower", "definition": "Falsch zugeordnete oder ausgelassene Zeitpunkte, Dauern und zeitliche Beziehungen pro annotierter zeitlicher Referenzangabe.", "ci95": [ 4.12, 8.91 ], "ci95Method": "wilson-design-effect", "designEffect": 2.472 }, { "key": "attribution-errors", "label": "Fehler bei der Zuordnung", "numerator": 105, "denominator": 1908, "valuePercent": 5.503, "direction": "lower", "definition": "Falsche oder ausgelassene Zuordnung von Aussagen zu Patient, behandelnder Person oder Drittperson pro Referenzfakt mit erforderlicher Quellenzuordnung.", "ci95": [ 4.04, 7.46 ], "ci95Method": "wilson-design-effect", "designEffect": 2.7304 }, { "key": "risk-assessment-errors", "label": "Fehler bei Risikohinweisen", "numerator": 23, "denominator": 171, "valuePercent": 13.45, "direction": "lower", "definition": "Ausgelassene, hinzugefügte oder falsch eingeordnete Aussagen zu Selbstgefährdung und Schutzfaktoren pro annotierter risikorelevanter Referenzaussage. Bewertet wird anhand des Gesprächs nach einer festgelegten Rubrik.", "ci95": [ 7.36, 23.3 ], "ci95Method": "wilson-design-effect", "designEffect": 2.4129 } ], "errorTypes": [ { "label": "Nicht erfasste Referenzfakten", "count": 602 }, { "label": "Falsche oder unbelegte Aussagen", "count": 109 }, { "label": "Zutreffende, aber nicht relevante Aussagen", "count": 176 } ], "failedRuns": [], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "Web-App, Stand 3. Quartal 2026", "modelVersions": null, "template": { "id": "si-therapie-verlauf", "version": "1.0" }, "instruction": { "id": "si-instr-therapie", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Aufnahme in der Anwendung über einen virtuellen Mikrofoneingang", "outputLanguage": "de-DE", "specialty": "Psychotherapie" }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": null }, "corpusMetadata": { "version": "1.0", "manifestSha256": "62780a1c05eb9562aa4bdbee3b73aedcf448ce0e8e6ba5fd85d7e17baa3b4bd8", "referenceVersion": "1.0", "referenceSha256": "62c50ae99e53e02e016470714f0a6524d90a92407fe393d48adae95f19a8ee2a", "sourceScenarioCount": 36, "evaluatedScenarioCount": 36, "totalAudioSeconds": 103620, "durationSeconds": { "minimum": 2220, "maximum": 3540 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 1 } ], "conversions": [ { "description": "Einspielung der Gesprächsaufnahme in Echtzeit über einen virtuellen Mikrofoneingang mit −20 dBFS RMS", "tool": "scribeindex-playback", "version": "1.0" } ], "exclusions": [] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 36, "resamples": 2000, "seed": 3733937332, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "0c35a46bc36056c43d2f55385441679c130a0d1ef5bcb7bd6cb2f19411cef23a" } }, { "id": "heidi/medical-scribes:nursing-notes", "provider": "heidi", "providerName": "Heidi Health", "test": "medical-scribes:nursing-notes", "label": "Pflegedokumentation", "category": "medical-scribes", "task": "nursing-notes", "url": "https://scribeindex.com/anbieter/heidi/test/#pflegedokumentation", "rankingUrl": "https://scribeindex.com/vergleich/medical-scribes/pflegedokumentation/", "testPeriod": "2026-Q3", "protocol": "1.0", "corpus": "de-pflege-v1", "scenarios": 40, "runs": 3, "completed": 120, "total": 120, "completionRatePercent": 100, "evaluation": { "output": "nursing-note", "semanticRubric": "nursing-facts-v1", "wordErrorRate": { "applicability": "not-applicable", "basis": "unavailable", "explanation": "Bewertet werden die gelieferten Einträge der Pflegedokumentation. Strukturierte Felder und umformulierte Berichte werden über die Faktenrubrik abgeglichen, nicht gegen die Wortfolge der Aufnahme." } }, "score": { "version": "2.2", "value": 73.1989, "ci95": [ 65.6, 77.6 ], "ci95Method": "paired-cluster-bootstrap-beta-critical", "pairedDifferences": [ { "provider": "tandem-health", "ci95": [ -17.68, -2.67 ] }, { "provider": "gospeech-medical", "ci95": [ -7.7, 6.37 ] } ], "rank": 3, "cohortSize": 3, "criticalRatePercent": 3.333, "contentQuality": 90.56, "references": { "key": "nursing-notes", "qualityErrorPoints": 30, "correctionMinutes": 72, "criticalPercent": 20 }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 68.532, "weight": 0.6, "contribution": 41.119 }, { "key": "critical", "label": "Schwerwiegende Fehler", "value": 83.333, "weight": 0.2, "contribution": 16.667 }, { "key": "effort", "label": "Korrekturaufwand", "value": 69.42, "weight": 0.15, "contribution": 10.413 }, { "key": "reliability", "label": "Abschlussquote", "value": 100, "weight": 0.05, "contribution": 5 } ] }, "mainMetric": { "label": "Fakten-F1", "abbreviation": "F1", "value": 90.56, "direction": "higher", "ci95": [ 89.19, 91.92 ] }, "transcription": null, "facts": { "truePositive": 3204, "falsePositive": 200, "falseNegative": 468, "referenceFacts": 3672, "outputFacts": 3404, "precisionPercent": 94.125, "precisionCi95": [ 92.81, 95.37 ], "recallPercent": 87.255, "recallCi95": [ 85.25, 89.21 ], "f1Percent": 90.56, "f1Ci95": [ 89.19, 91.92 ] }, "latency": { "p50Seconds": 15.6, "p95Seconds": 31.7, "mode": "live-conversation", "start": "Beenden der Aufnahme", "end": "Vollständiges Dokument verfügbar" }, "correction": { "minutesPerAudioHour": 22.0178, "ci95": [ 17.99, 26.14 ], "estimate": { "outputs": 120, "audioSeconds": 42120, "minutes": 257.63, "ci": [ 17.99, 26.14 ], "audioHours": 11.701 } }, "additionalMetrics": [ { "key": "critical-documents", "label": "Dokumente mit schwerwiegendem Fehler", "numerator": 4, "denominator": 120, "valuePercent": 3.333, "direction": "lower", "definition": "Ausgaben mit mindestens einem potenziell schwerwiegenden medizinischen Fehler pro abgeschlossener Ausgabe. Bewertet wird jeder Fall nach einer festgelegten Fehlerrubrik. Fehler bei Medikation oder Verneinung zählen hier nur, wenn die Rubrik die betroffene Angabe als potenziell schwerwiegend einstuft. Die Zähler je Fehlerart enthalten auch folgenlose Abweichungen.", "ci95": [ 0.92, 11.3 ], "ci95Method": "wilson-design-effect", "designEffect": 1.9778 }, { "key": "unsupported-statements", "label": "Falsche oder unbelegte Aussagen", "numerator": 100, "denominator": 3404, "valuePercent": 2.938, "direction": "lower", "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.", "ci95": [ 2.17, 3.97 ], "ci95Method": "wilson-design-effect", "designEffect": 2.4396 }, { "key": "medical-term-errors", "label": "Fehler bei Fachbegriffen", "numerator": 53, "denominator": 1230, "valuePercent": 4.309, "direction": "lower", "definition": "Fachlich falsch wiedergegebene oder ausgelassene medizinische Konzepte pro annotiertem Fachkonzept der Referenz. Synonyme gelten bei gleicher Bedeutung als korrekt.", "ci95": [ 3.05, 6.06 ], "ci95Method": "wilson-design-effect", "designEffect": 1.7096 }, { "key": "medication-errors", "label": "Fehler bei Medikamenten und Dosierungen", "numerator": 6, "denominator": 300, "valuePercent": 2, "direction": "lower", "definition": "Falsch wiedergegebene oder ausgelassene Angaben zu Wirkstoff, Dosis, Einheit und Einnahme pro annotierter Medikationsangabe. Jede Angabe zählt höchstens einmal.", "ci95": [ 0.64, 6.05 ], "ci95Method": "wilson-design-effect", "designEffect": 2.2497 }, { "key": "negation-errors", "label": "Fehler bei Verneinungen", "numerator": 18, "denominator": 570, "valuePercent": 3.158, "direction": "lower", "definition": "Verlorene, hinzugefügte oder umgekehrte Negationen pro Referenzaussage mit verneintem oder ausdrücklich bestätigtem Befund. Eine Aussage zählt höchstens einmal.", "ci95": [ 1.49, 6.55 ], "ci95Method": "wilson-design-effect", "designEffect": 2.7804 }, { "key": "temporal-errors", "label": "Fehler bei zeitlichen Angaben", "numerator": 47, "denominator": 921, "valuePercent": 5.103, "direction": "lower", "definition": "Falsch zugeordnete oder ausgelassene Zeitpunkte, Dauern und zeitliche Beziehungen pro annotierter zeitlicher Referenzangabe.", "ci95": [ 3.29, 7.82 ], "ci95Method": "wilson-design-effect", "designEffect": 2.4508 }, { "key": "attribution-errors", "label": "Fehler bei der Zuordnung", "numerator": 71, "denominator": 1734, "valuePercent": 4.095, "direction": "lower", "definition": "Falsche oder ausgelassene Zuordnung von Aussagen zu Patient, behandelnder Person oder Drittperson pro Referenzfakt mit erforderlicher Quellenzuordnung.", "ci95": [ 2.67, 6.21 ], "ci95Method": "wilson-design-effect", "designEffect": 3.4675 }, { "key": "vital-sign-errors", "label": "Fehler bei Vitalwerten", "numerator": 16, "denominator": 429, "valuePercent": 3.73, "direction": "lower", "definition": "Falsch übernommene oder ausgelassene Vitalwerte pro annotiertem Vitalwert der Referenz. Wert, Einheit, Messzeitpunkt und versorgte Person müssen zusammen stimmen.", "ci95": [ 1.74, 7.79 ], "ci95Method": "wilson-design-effect", "designEffect": 2.5543 }, { "key": "dictation-command-accuracy", "label": "Umgesetzte Diktatbefehle", "numerator": 74, "denominator": 90, "valuePercent": 82.222, "direction": "higher", "definition": "Richtig ausgeführte festgelegte Satzzeichen-, Absatz- und Korrekturbefehle pro ausgesprochenem Referenzbefehl. Der Befehl soll wirken und nicht als Befehlswort im Text stehen.", "ci95": [ 68.02, 90.96 ], "ci95Method": "wilson-design-effect", "designEffect": 2.1706 }, { "key": "self-correction-accuracy", "label": "Umgesetzte Selbstkorrekturen", "numerator": 25, "denominator": 30, "valuePercent": 83.333, "direction": "higher", "definition": "Spontane Selbstkorrekturen, nach denen das Dokument nur die endgültige Angabe enthält, pro annotierter Selbstkorrektur der Referenz. Steht die verworfene Angabe noch im Text oder ersetzt sie die endgültige, ist die Selbstkorrektur nicht umgesetzt. Ob eine Regel oder ein Sprachmodell sie umsetzt, spielt keine Rolle.", "ci95": [ 50.67, 96.06 ], "ci95Method": "wilson-design-effect", "designEffect": 3.3333 }, { "key": "edit-instruction-accuracy", "label": "Umgesetzte Bearbeitungsanweisungen", "numerator": 7, "denominator": 12, "valuePercent": 58.333, "direction": "higher", "definition": "Frei formulierte Anweisungen an das Dokument, deren Wirkung das gelieferte Dokument zeigt, pro annotierter Anweisung der Referenz. Eine solche Anweisung ändert eine früher genannte Angabe, ergänzt Inhalt an einer früheren Stelle oder verschiebt einen Abschnitt. Steht sie wörtlich im Text oder bleibt sie ohne Wirkung, ist sie nicht umgesetzt. Ob eine Regel oder ein Sprachmodell sie umsetzt, spielt keine Rolle.", "ci95": [ 22.94, 86.81 ], "ci95Method": "wilson-design-effect", "designEffect": 2.212 } ], "errorTypes": [ { "label": "Nicht erfasste Referenzfakten", "count": 468 }, { "label": "Falsche oder unbelegte Aussagen", "count": 100 }, { "label": "Zutreffende, aber nicht relevante Aussagen", "count": 100 } ], "failedRuns": [], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "Heidi im Browser mit Pflegevorlage, Stand 3. Quartal 2026", "modelVersions": null, "template": { "id": "si-pflegebericht", "version": "1.0" }, "instruction": { "id": "si-instr-pflege", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Aufnahme in der Anwendung über einen virtuellen Mikrofoneingang", "language": "Deutsch", "outputLanguage": "Deutsch", "mode": "Gesprächsaufnahme für Pflegeberichte, Übergaben und Aufnahmegespräche", "template": "Pflegebericht mit getrennten Personen, Vitalwerten, Maßnahmen und Verlauf", "target": "Erzeugter Pflegebericht vor manueller Korrektur oder Übertragung", "extraContext": false, "manualCorrection": false }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": null }, "corpusMetadata": { "version": "1.0", "manifestSha256": "7502ed0b4f30247995e97f03b1a7a0cd3f54907c6b780831019a233cbd092a84", "referenceVersion": "1.0", "referenceSha256": "81561a613839ad570ef1ff39ee99889d0210625a97c37e39de452ea787a783ad", "sourceScenarioCount": 41, "evaluatedScenarioCount": 40, "totalAudioSeconds": 14040, "durationSeconds": { "minimum": 60, "maximum": 1680 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 1 } ], "conversions": [ { "description": "Einspielung der Gesprächsaufnahme in Echtzeit über einen virtuellen Mikrofoneingang mit −20 dBFS RMS", "tool": "scribeindex-playback", "version": "1.0" } ], "exclusions": [ { "scenarioId": "pflege-028", "reason": "Eine mitwirkende Person nannte in der Übergabe versehentlich echte Namen. Die Aufnahme wurde vor der Referenzfreigabe zurückgezogen." } ] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 40, "resamples": 2000, "seed": 1588450526, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "d4572266c17fe472c4e040fee447b07920271bd3b5b3838b241e77b8839549a9" } }, { "id": "heidi/medizinische-transkription", "provider": "heidi", "providerName": "Heidi Health", "test": "medizinische-transkription", "label": "Medizinische Spracherkennung", "category": "medizinische-transkription", "url": "https://scribeindex.com/anbieter/heidi/test/#medizinische-transkription", "rankingUrl": "https://scribeindex.com/vergleich/medizinische-spracherkennung/", "testPeriod": "2026-Q3", "protocol": "1.0", "corpus": "de-diktat-v1", "scenarios": 62, "runs": 3, "completed": 186, "total": 186, "completionRatePercent": 100, "evaluation": { "output": "edited-transcript", "semanticRubric": "clinical-facts-v1", "wordErrorRate": { "applicability": "diagnostic", "basis": "delivered-output", "explanation": "Der Dienst liefert eine KI-überarbeitete Ausgabe, keine wortnahe Abschrift. Die WER vergleicht sie Wort für Wort mit dem Diktat. Gewollte Korrekturen, Umstellungen und Glättungen zählen dabei mit. Der Wert zeigt deshalb vor allem, wie weit der Text vom Wortlaut abweicht, nicht wie viele Fehler er enthält. Ob die Inhalte stimmen, misst der Faktenabgleich. Die Erkennungsfehler zählen falsch erkannte oder inhaltlich veränderte Wörter, bezogen auf dieselben Referenzwörter. Bei wortnaher Ausgabe zählt jede Abweichung vom Wortlaut, bei KI-überarbeiteter Ausgabe bleiben zulässige Umformulierungen außen vor. Vergleiche stehen deshalb nur innerhalb derselben Ausgabeart. Die WER geht nicht in den ScribeIndex-Score ein." } }, "score": { "version": "2.2", "value": 93.3608, "ci95": [ 89.8, 94 ], "ci95Method": "paired-cluster-bootstrap-beta-critical", "pairedDifferences": [ { "provider": "dragon-medical-one", "ci95": [ 4.76, 12.54 ] }, { "provider": "tippiti", "ci95": [ -6.44, -0.46 ] }, { "provider": "dragon-copilot", "ci95": [ 5.94, 13.6 ] }, { "provider": "mira-medical", "ci95": [ 7.7, 16.41 ] }, { "provider": "dictnow", "ci95": [ 7.36, 15.81 ] }, { "provider": "fluency-direct", "ci95": [ 9.99, 17.04 ] }, { "provider": "idana-flow", "ci95": [ -3.02, 3.14 ] }, { "provider": "healthjet", "ci95": [ -1.57, 5.82 ] } ], "rank": 2, "cohortSize": 9, "criticalRatePercent": 0, "contentQuality": 97.451, "references": { "key": "medizinische-transkription", "qualityErrorPoints": 30, "correctionMinutes": 141, "criticalPercent": 15 }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 91.503, "weight": 0.6, "contribution": 54.902 }, { "key": "critical", "label": "Schwerwiegende Fehler", "value": 100, "weight": 0.2, "contribution": 20 }, { "key": "effort", "label": "Korrekturaufwand", "value": 89.727, "weight": 0.15, "contribution": 13.459 }, { "key": "reliability", "label": "Abschlussquote", "value": 100, "weight": 0.05, "contribution": 5 } ] }, "mainMetric": { "label": "Fakten-F1", "abbreviation": "F1", "value": 97.451, "direction": "higher", "ci95": [ 97.05, 97.84 ] }, "transcription": { "referenceWords": 103161, "substitutions": 3360, "deletions": 2748, "insertions": 1710, "errors": 7818, "werPercent": 7.578, "ci95": [ 7.12, 8.09 ], "comparable": false }, "facts": { "truePositive": 6499, "falsePositive": 134, "falseNegative": 206, "referenceFacts": 6705, "outputFacts": 6633, "precisionPercent": 97.98, "precisionCi95": [ 97.43, 98.48 ], "recallPercent": 96.928, "recallCi95": [ 96.35, 97.51 ], "f1Percent": 97.451, "f1Ci95": [ 97.05, 97.84 ] }, "latency": { "p50Seconds": 1.8, "p95Seconds": 6.1, "mode": "live-dictation", "start": "Ende des letzten zugespielten Wortes", "end": "Stabile nutzbare Textausgabe" }, "correction": { "minutesPerAudioHour": 14.4848, "ci95": [ 13.46, 15.64 ], "estimate": { "outputs": 186, "audioSeconds": 56220, "minutes": 226.18, "ci": [ 13.46, 15.64 ], "audioHours": 15.615 } }, "additionalMetrics": [ { "key": "recognition-errors", "label": "Erkennungsfehler", "numerator": 2379, "denominator": 103161, "valuePercent": 2.306, "direction": "lower", "definition": "Falsch erkannte, ausgelassene oder eingefügte Wörter pro Referenzwort, ohne zulässige Umformulierungen. Bei wortnaher Ausgabe entspricht der Wert der WER, dort zählt jede Abweichung vom Wortlaut. Bei KI-überarbeiteter Ausgabe zählen nur falsch erkannte oder inhaltlich veränderte Wörter. Für wortnahe Dienste ist die Zählung damit strenger.", "ci95": [ 2.11, 2.52 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "cer", "label": "Zeichenfehlerrate · CER", "numerator": 33554, "denominator": 743736, "valuePercent": 4.512, "direction": "lower", "definition": "Zeichenabweichungen pro Referenzzeichen nach NFC-Normalisierung, einheitlicher Groß- und Kleinschreibung, entfernten Satzzeichen und zu einem Leerzeichen zusammengefasstem Leerraum. Leerzeichen zählen als Zeichen.", "ci95": [ 4.3, 4.74 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "critical-documents", "label": "Dokumente mit schwerwiegendem Fehler", "numerator": 0, "denominator": 186, "valuePercent": 0, "direction": "lower", "definition": "Ausgaben mit mindestens einem potenziell schwerwiegenden medizinischen Fehler pro abgeschlossener Ausgabe. Bewertet wird jeder Fall nach einer festgelegten Fehlerrubrik. Fehler bei Medikation oder Verneinung zählen hier nur, wenn die Rubrik die betroffene Angabe als potenziell schwerwiegend einstuft. Die Zähler je Fehlerart enthalten auch folgenlose Abweichungen.", "ci95": [ 0, 3.93 ], "ci95Method": "wilson-design-effect", "designEffect": 1.9778 }, { "key": "unsupported-statements", "label": "Falsche oder unbelegte Aussagen", "numerator": 107, "denominator": 6633, "valuePercent": 1.613, "direction": "lower", "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.", "ci95": [ 1.19, 2.18 ], "ci95Method": "wilson-design-effect", "designEffect": 2.5305 }, { "key": "medical-term-errors", "label": "Fehler bei Fachbegriffen", "numerator": 192, "denominator": 11205, "valuePercent": 1.714, "direction": "lower", "definition": "Fachlich falsch wiedergegebene oder ausgelassene medizinische Konzepte pro annotiertem Fachkonzept der Referenz. Synonyme gelten bei gleicher Bedeutung als korrekt.", "ci95": [ 1.34, 2.19 ], "ci95Method": "wilson-design-effect", "designEffect": 3.0102 }, { "key": "medication-errors", "label": "Fehler bei Medikamenten und Dosierungen", "numerator": 14, "denominator": 762, "valuePercent": 1.837, "direction": "lower", "definition": "Falsch wiedergegebene oder ausgelassene Angaben zu Wirkstoff, Dosis, Einheit und Einnahme pro annotierter Medikationsangabe. Jede Angabe zählt höchstens einmal.", "ci95": [ 0.82, 4.05 ], "ci95Method": "wilson-design-effect", "designEffect": 2.4965 }, { "key": "negation-errors", "label": "Fehler bei Verneinungen", "numerator": 22, "denominator": 1107, "valuePercent": 1.987, "direction": "lower", "definition": "Verlorene, hinzugefügte oder umgekehrte Negationen pro Referenzaussage mit verneintem oder ausdrücklich bestätigtem Befund. Eine Aussage zählt höchstens einmal.", "ci95": [ 1.03, 3.8 ], "ci95Method": "wilson-design-effect", "designEffect": 2.5899 }, { "key": "temporal-errors", "label": "Fehler bei zeitlichen Angaben", "numerator": 34, "denominator": 1455, "valuePercent": 2.337, "direction": "lower", "definition": "Falsch zugeordnete oder ausgelassene Zeitpunkte, Dauern und zeitliche Beziehungen pro annotierter zeitlicher Referenzangabe.", "ci95": [ 1.35, 3.99 ], "ci95Method": "wilson-design-effect", "designEffect": 2.6964 }, { "key": "attribution-errors", "label": "Fehler bei der Zuordnung", "numerator": 46, "denominator": 2415, "valuePercent": 1.905, "direction": "lower", "definition": "Falsche oder ausgelassene Zuordnung von Aussagen zu Patient, behandelnder Person oder Drittperson pro Referenzfakt mit erforderlicher Quellenzuordnung.", "ci95": [ 1.21, 2.97 ], "ci95Method": "wilson-design-effect", "designEffect": 2.4518 }, { "key": "dictation-command-accuracy", "label": "Umgesetzte Diktatbefehle", "numerator": 1143, "denominator": 1326, "valuePercent": 86.199, "direction": "higher", "definition": "Richtig ausgeführte festgelegte Satzzeichen-, Absatz- und Korrekturbefehle pro ausgesprochenem Referenzbefehl. Der Befehl soll wirken und nicht als Befehlswort im Text stehen.", "ci95": [ 82.31, 89.35 ], "ci95Method": "wilson-design-effect", "designEffect": 3.5814 }, { "key": "self-correction-accuracy", "label": "Umgesetzte Selbstkorrekturen", "numerator": 230, "denominator": 252, "valuePercent": 91.27, "direction": "higher", "definition": "Spontane Selbstkorrekturen, nach denen das Dokument nur die endgültige Angabe enthält, pro annotierter Selbstkorrektur der Referenz. Steht die verworfene Angabe noch im Text oder ersetzt sie die endgültige, ist die Selbstkorrektur nicht umgesetzt. Ob eine Regel oder ein Sprachmodell sie umsetzt, spielt keine Rolle.", "ci95": [ 84.48, 95.26 ], "ci95Method": "wilson-design-effect", "designEffect": 2.3037 }, { "key": "edit-instruction-accuracy", "label": "Umgesetzte Bearbeitungsanweisungen", "numerator": 60, "denominator": 90, "valuePercent": 66.667, "direction": "higher", "definition": "Frei formulierte Anweisungen an das Dokument, deren Wirkung das gelieferte Dokument zeigt, pro annotierter Anweisung der Referenz. Eine solche Anweisung ändert eine früher genannte Angabe, ergänzt Inhalt an einer früheren Stelle oder verschiebt einen Abschnitt. Steht sie wörtlich im Text oder bleibt sie ohne Wirkung, ist sie nicht umgesetzt. Ob eine Regel oder ein Sprachmodell sie umsetzt, spielt keine Rolle.", "ci95": [ 49.79, 80.14 ], "ci95Method": "wilson-design-effect", "designEffect": 2.6683 } ], "errorTypes": [ { "label": "Nicht erfasste Referenzfakten", "count": 206 }, { "label": "Falsche oder unbelegte Aussagen", "count": 107 }, { "label": "Zutreffende, aber nicht relevante Aussagen", "count": 27 } ], "failedRuns": [], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "Heidi Browser, Inline Dictation im Context-Feld, Stand 3. Quartal 2026", "modelVersions": null, "template": null, "instruction": { "id": "si-instr-diktat-ausarbeitung", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Virtueller Mikrofoneingang", "outputLanguage": "de-DE", "mode": "Inline Dictation im leeren Context-Feld, Smart Dictation", "outputStyle": "KI-überarbeiteter Diktattext, keine nachträgliche Vorlagenerstellung" }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": { "id": "de-med-wer", "version": "1.0" } }, "corpusMetadata": { "version": "1.0", "manifestSha256": "6768f28bb70c0457e31c2eaafd4f3c498c05b4aec26501537825bbaa22733060", "referenceVersion": "1.0", "referenceSha256": "18772162e86230bce7cfb8a2f52f90244df2b1cdf52bdb6a646494dd3596dbb9", "sourceScenarioCount": 64, "evaluatedScenarioCount": 62, "totalAudioSeconds": 18720, "durationSeconds": { "minimum": 60, "maximum": 900 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 1 }, { "codec": "MP3 128 kbit/s", "sampleRateHertz": 44100, "channels": 1 }, { "codec": "AAC-LC (M4A)", "sampleRateHertz": 44100, "channels": 1 } ], "conversions": [ { "description": "Kontrollierte Wiedergabe der Referenzaufnahmen über einen virtuellen Mikrofoneingang mit −20 dBFS RMS in Echtzeit", "tool": "scribeindex-playback", "version": "1.0" }, { "description": "Dekodierung komprimierter Quelldateien zu PCM 48 kHz mono vor der Wiedergabe", "tool": "FFmpeg", "version": "7.1.1" } ], "exclusions": [ { "scenarioId": "diktat-023", "reason": "Die sprechende Person nannte versehentlich einen echten Namen. Die Aufnahme wurde vor der Referenzfreigabe zurückgezogen." }, { "scenarioId": "diktat-057", "reason": "Endgültige Angabe einer Selbstkorrektur auch nach Prüfung der Aufnahme nicht eindeutig hörbar." } ] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 62, "resamples": 2000, "seed": 4214870755, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "1feb69fb1f1a9ee5134ab583a5bf6a80625f840f53d2d833da91149ac9f1550a" } }, { "id": "idana-flow/medical-scribes:clinical-notes", "provider": "idana-flow", "providerName": "Idana Flow Pro", "test": "medical-scribes:clinical-notes", "label": "Ärztliche Gesprächsdokumentation", "category": "medical-scribes", "task": "clinical-notes", "url": "https://scribeindex.com/anbieter/idana-flow/test/#aerztliche-dokumentation", "rankingUrl": "https://scribeindex.com/vergleich/medical-scribes/aerztliche-dokumentation/", "testPeriod": "2026-Q2", "protocol": "1.0", "corpus": "de-klinik-v1", "scenarios": 48, "runs": 3, "completed": 143, "total": 144, "completionRatePercent": 99.306, "evaluation": { "output": "clinical-note", "semanticRubric": "clinical-facts-v1", "wordErrorRate": { "applicability": "not-applicable", "basis": "unavailable", "explanation": "Die gelieferte Ausgabe ist eine verdichtete Dokumentation, keine wortnahe Abschrift. Deshalb gibt es keine WER." } }, "score": { "version": "2.2", "value": 80.8163, "ci95": [ 74.5, 84 ], "ci95Method": "paired-cluster-bootstrap-beta-critical", "pairedDifferences": [ { "provider": "healthjet", "ci95": [ -6.93, 4.83 ] }, { "provider": "heidi", "ci95": [ -7.19, 4.73 ] }, { "provider": "tippiti", "ci95": [ -12.16, -1.05 ] }, { "provider": "tandem-health", "ci95": [ -4.98, 7.81 ] }, { "provider": "noa-notes", "ci95": [ -0.91, 12.04 ] }, { "provider": "doctolib-assistent", "ci95": [ -13.96, -3.79 ] }, { "provider": "dragon-copilot", "ci95": [ -9.03, 4.28 ] }, { "provider": "speechlive-health", "ci95": [ -5.73, 6.36 ] }, { "provider": "gospeech-medical", "ci95": [ -9.99, 0.76 ] }, { "provider": "quixxs", "ci95": [ 6.95, 20.48 ] } ], "rank": 7, "cohortSize": 11, "criticalRatePercent": 2.797, "contentQuality": 93.298, "references": { "key": "clinical-notes", "qualityErrorPoints": 30, "correctionMinutes": 59, "criticalPercent": 20 }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 77.662, "weight": 0.6, "contribution": 46.597 }, { "key": "critical", "label": "Schwerwiegende Fehler", "value": 86.014, "weight": 0.2, "contribution": 17.203 }, { "key": "effort", "label": "Korrekturaufwand", "value": 80.342, "weight": 0.15, "contribution": 12.051 }, { "key": "reliability", "label": "Abschlussquote", "value": 99.306, "weight": 0.05, "contribution": 4.965 } ] }, "mainMetric": { "label": "Fakten-F1", "abbreviation": "F1", "value": 93.298, "direction": "higher", "ci95": [ 92.49, 94.18 ] }, "transcription": null, "facts": { "truePositive": 3745, "falsePositive": 167, "falseNegative": 371, "referenceFacts": 4116, "outputFacts": 3912, "precisionPercent": 95.731, "precisionCi95": [ 94.78, 96.72 ], "recallPercent": 90.986, "recallCi95": [ 89.91, 92.14 ], "f1Percent": 93.298, "f1Ci95": [ 92.49, 94.18 ] }, "latency": { "p50Seconds": 28.6, "p95Seconds": 76.8, "mode": "live-conversation", "start": "Beenden der Aufnahme", "end": "Vollständiges Dokument verfügbar" }, "correction": { "minutesPerAudioHour": 11.5981, "ci95": [ 9.8, 13.36 ], "estimate": { "outputs": 143, "audioSeconds": 104040, "minutes": 335.14, "ci": [ 9.8, 13.36 ], "audioHours": 28.896 } }, "additionalMetrics": [ { "key": "critical-documents", "label": "Dokumente mit schwerwiegendem Fehler", "numerator": 4, "denominator": 143, "valuePercent": 2.797, "direction": "lower", "definition": "Ausgaben mit mindestens einem potenziell schwerwiegenden medizinischen Fehler pro abgeschlossener Ausgabe. Bewertet wird jeder Fall nach einer festgelegten Fehlerrubrik. Fehler bei Medikation oder Verneinung zählen hier nur, wenn die Rubrik die betroffene Angabe als potenziell schwerwiegend einstuft. Die Zähler je Fehlerart enthalten auch folgenlose Abweichungen.", "ci95": [ 0.77, 9.56 ], "ci95Method": "wilson-design-effect", "designEffect": 1.9676 }, { "key": "unsupported-statements", "label": "Falsche oder unbelegte Aussagen", "numerator": 54, "denominator": 3912, "valuePercent": 1.38, "direction": "lower", "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.", "ci95": [ 0.89, 2.12 ], "ci95Method": "wilson-design-effect", "designEffect": 2.636 }, { "key": "medical-term-errors", "label": "Fehler bei Fachbegriffen", "numerator": 134, "denominator": 3490, "valuePercent": 3.84, "direction": "lower", "definition": "Fachlich falsch wiedergegebene oder ausgelassene medizinische Konzepte pro annotiertem Fachkonzept der Referenz. Synonyme gelten bei gleicher Bedeutung als korrekt.", "ci95": [ 2.94, 5 ], "ci95Method": "wilson-design-effect", "designEffect": 2.5729 }, { "key": "medication-errors", "label": "Fehler bei Medikamenten und Dosierungen", "numerator": 13, "denominator": 618, "valuePercent": 2.104, "direction": "lower", "definition": "Falsch wiedergegebene oder ausgelassene Angaben zu Wirkstoff, Dosis, Einheit und Einnahme pro annotierter Medikationsangabe. Jede Angabe zählt höchstens einmal.", "ci95": [ 0.97, 4.47 ], "ci95Method": "wilson-design-effect", "designEffect": 2.1014 }, { "key": "negation-errors", "label": "Fehler bei Verneinungen", "numerator": 27, "denominator": 819, "valuePercent": 3.297, "direction": "lower", "definition": "Verlorene, hinzugefügte oder umgekehrte Negationen pro Referenzaussage mit verneintem oder ausdrücklich bestätigtem Befund. Eine Aussage zählt höchstens einmal.", "ci95": [ 1.87, 5.73 ], "ci95Method": "wilson-design-effect", "designEffect": 2.3364 }, { "key": "temporal-errors", "label": "Fehler bei zeitlichen Angaben", "numerator": 44, "denominator": 936, "valuePercent": 4.701, "direction": "lower", "definition": "Falsch zugeordnete oder ausgelassene Zeitpunkte, Dauern und zeitliche Beziehungen pro annotierter zeitlicher Referenzangabe.", "ci95": [ 2.96, 7.37 ], "ci95Method": "wilson-design-effect", "designEffect": 2.5399 }, { "key": "attribution-errors", "label": "Fehler bei der Zuordnung", "numerator": 64, "denominator": 2156, "valuePercent": 2.968, "direction": "lower", "definition": "Falsche oder ausgelassene Zuordnung von Aussagen zu Patient, behandelnder Person oder Drittperson pro Referenzfakt mit erforderlicher Quellenzuordnung.", "ci95": [ 2, 4.39 ], "ci95Method": "wilson-design-effect", "designEffect": 2.6751 } ], "errorTypes": [ { "label": "Nicht erfasste Referenzfakten", "count": 371 }, { "label": "Falsche oder unbelegte Aussagen", "count": 54 }, { "label": "Zutreffende, aber nicht relevante Aussagen", "count": 113 } ], "failedRuns": [ { "scenarioId": "klinik-028", "run": 3, "reason": "Kein Dokument innerhalb des protokollierten Zeitlimits" } ], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "Idana Flow Pro im Praxisportal, Stand 2. Quartal 2026", "modelVersions": null, "template": { "id": "anbieter-strukturierter-bericht", "version": null }, "instruction": { "id": "si-instr-sprechstunde", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Aufnahme in der Anwendung über einen virtuellen Mikrofoneingang", "outputLanguage": "de-DE", "documentFormat": "Strukturierter Bericht", "patientContext": "Ohne zusätzliche Fragebogendaten" }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": null }, "corpusMetadata": { "version": "1.0", "manifestSha256": "07e4ff2bb9cb21c1b350d732b5e593f4f1830354a230c75954136f03552f7ba5", "referenceVersion": "1.0", "referenceSha256": "9ddba13742d943cd28b478c231a53d71ed064e1ba7681896e21faedfe2bb2207", "sourceScenarioCount": 50, "evaluatedScenarioCount": 48, "totalAudioSeconds": 34860, "durationSeconds": { "minimum": 360, "maximum": 2400 }, "audioFormats": [ { "codec": "AAC-LC (M4A)", "sampleRateHertz": 48000, "channels": 1 }, { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 2 } ], "conversions": [ { "description": "Einspielung der Gesprächsaufnahme in Echtzeit über einen virtuellen Mikrofoneingang mit −20 dBFS RMS", "tool": "scribeindex-playback", "version": "1.0" } ], "exclusions": [ { "scenarioId": "klinik-016", "reason": "Einwilligung zur Nutzung der Aufnahme vor Testbeginn widerrufen." }, { "scenarioId": "klinik-033", "reason": "Relevanzmenge auch nach fachlicher Durchsicht nicht eindeutig festlegbar." } ] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 48, "resamples": 2000, "seed": 2234884632, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "f630f8568c719864793b7aacf8e58f4627c6b7bdcdf5f3730abfda50ad6bfb37" } }, { "id": "idana-flow/medizinische-transkription", "provider": "idana-flow", "providerName": "Idana Flow Pro", "test": "medizinische-transkription", "label": "Medizinische Spracherkennung", "category": "medizinische-transkription", "url": "https://scribeindex.com/anbieter/idana-flow/test/#medizinische-transkription", "rankingUrl": "https://scribeindex.com/vergleich/medizinische-spracherkennung/", "testPeriod": "2026-Q2", "protocol": "1.0", "corpus": "de-diktat-v1", "scenarios": 62, "runs": 3, "completed": 185, "total": 186, "completionRatePercent": 99.462, "evaluation": { "output": "edited-transcript", "semanticRubric": "clinical-facts-v1", "wordErrorRate": { "applicability": "diagnostic", "basis": "delivered-output", "explanation": "Der Dienst liefert eine KI-überarbeitete Ausgabe, keine wortnahe Abschrift. Die WER vergleicht sie Wort für Wort mit dem Diktat. Gewollte Korrekturen, Umstellungen und Glättungen zählen dabei mit. Der Wert zeigt deshalb vor allem, wie weit der Text vom Wortlaut abweicht, nicht wie viele Fehler er enthält. Ob die Inhalte stimmen, misst der Faktenabgleich. Die Erkennungsfehler zählen falsch erkannte oder inhaltlich veränderte Wörter, bezogen auf dieselben Referenzwörter. Bei wortnaher Ausgabe zählt jede Abweichung vom Wortlaut, bei KI-überarbeiteter Ausgabe bleiben zulässige Umformulierungen außen vor. Vergleiche stehen deshalb nur innerhalb derselben Ausgabeart. Die WER geht nicht in den ScribeIndex-Score ein." } }, "score": { "version": "2.2", "value": 93.2591, "ci95": [ 89.6, 94.2 ], "ci95Method": "paired-cluster-bootstrap-beta-critical", "pairedDifferences": [ { "provider": "dragon-medical-one", "ci95": [ 4.57, 12.32 ] }, { "provider": "heidi", "ci95": [ -3.14, 3.02 ] }, { "provider": "tippiti", "ci95": [ -6.42, -0.23 ] }, { "provider": "dragon-copilot", "ci95": [ 5.59, 13.76 ] }, { "provider": "mira-medical", "ci95": [ 7.71, 16.42 ] }, { "provider": "dictnow", "ci95": [ 7.63, 15.85 ] }, { "provider": "fluency-direct", "ci95": [ 10.03, 16.84 ] }, { "provider": "healthjet", "ci95": [ -1.8, 5.8 ] } ], "rank": 3, "cohortSize": 9, "criticalRatePercent": 0, "contentQuality": 97.49, "references": { "key": "medizinische-transkription", "qualityErrorPoints": 30, "correctionMinutes": 141, "criticalPercent": 15 }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 91.632, "weight": 0.6, "contribution": 54.979 }, { "key": "critical", "label": "Schwerwiegende Fehler", "value": 100, "weight": 0.2, "contribution": 20 }, { "key": "effort", "label": "Korrekturaufwand", "value": 88.712, "weight": 0.15, "contribution": 13.307 }, { "key": "reliability", "label": "Abschlussquote", "value": 99.462, "weight": 0.05, "contribution": 4.973 } ] }, "mainMetric": { "label": "Fakten-F1", "abbreviation": "F1", "value": 97.49, "direction": "higher", "ci95": [ 96.94, 98.01 ] }, "transcription": { "referenceWords": 102215, "substitutions": 4694, "deletions": 4618, "insertions": 3143, "errors": 12455, "werPercent": 12.185, "ci95": [ 11.18, 13.18 ], "comparable": false }, "facts": { "truePositive": 6427, "falsePositive": 110, "falseNegative": 221, "referenceFacts": 6648, "outputFacts": 6537, "precisionPercent": 98.317, "precisionCi95": [ 97.75, 98.83 ], "recallPercent": 96.676, "recallCi95": [ 95.86, 97.42 ], "f1Percent": 97.49, "f1Ci95": [ 96.94, 98.01 ] }, "latency": { "p50Seconds": 21.4, "p95Seconds": 48.9, "mode": "live-dictation", "start": "Ende des letzten zugespielten Wortes", "end": "Stabile nutzbare Textausgabe" }, "correction": { "minutesPerAudioHour": 15.9161, "ci95": [ 14.41, 17.49 ], "estimate": { "outputs": 185, "audioSeconds": 55680, "minutes": 246.11, "ci": [ 14.41, 17.49 ], "audioHours": 15.463 } }, "additionalMetrics": [ { "key": "recognition-errors", "label": "Erkennungsfehler", "numerator": 2598, "denominator": 102215, "valuePercent": 2.542, "direction": "lower", "definition": "Falsch erkannte, ausgelassene oder eingefügte Wörter pro Referenzwort, ohne zulässige Umformulierungen. Bei wortnaher Ausgabe entspricht der Wert der WER, dort zählt jede Abweichung vom Wortlaut. Bei KI-überarbeiteter Ausgabe zählen nur falsch erkannte oder inhaltlich veränderte Wörter. Für wortnahe Dienste ist die Zählung damit strenger.", "ci95": [ 2.3, 2.79 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "cer", "label": "Zeichenfehlerrate · CER", "numerator": 48126, "denominator": 737065, "valuePercent": 6.529, "direction": "lower", "definition": "Zeichenabweichungen pro Referenzzeichen nach NFC-Normalisierung, einheitlicher Groß- und Kleinschreibung, entfernten Satzzeichen und zu einem Leerzeichen zusammengefasstem Leerraum. Leerzeichen zählen als Zeichen.", "ci95": [ 6.05, 7 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "critical-documents", "label": "Dokumente mit schwerwiegendem Fehler", "numerator": 0, "denominator": 185, "valuePercent": 0, "direction": "lower", "definition": "Ausgaben mit mindestens einem potenziell schwerwiegenden medizinischen Fehler pro abgeschlossener Ausgabe. Bewertet wird jeder Fall nach einer festgelegten Fehlerrubrik. Fehler bei Medikation oder Verneinung zählen hier nur, wenn die Rubrik die betroffene Angabe als potenziell schwerwiegend einstuft. Die Zähler je Fehlerart enthalten auch folgenlose Abweichungen.", "ci95": [ 0, 3.93 ], "ci95Method": "wilson-design-effect", "designEffect": 1.9699 }, { "key": "unsupported-statements", "label": "Falsche oder unbelegte Aussagen", "numerator": 72, "denominator": 6537, "valuePercent": 1.101, "direction": "lower", "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.", "ci95": [ 0.76, 1.59 ], "ci95Method": "wilson-design-effect", "designEffect": 2.5081 }, { "key": "medical-term-errors", "label": "Fehler bei Fachbegriffen", "numerator": 210, "denominator": 11117, "valuePercent": 1.889, "direction": "lower", "definition": "Fachlich falsch wiedergegebene oder ausgelassene medizinische Konzepte pro annotiertem Fachkonzept der Referenz. Synonyme gelten bei gleicher Bedeutung als korrekt.", "ci95": [ 1.49, 2.38 ], "ci95Method": "wilson-design-effect", "designEffect": 2.9944 }, { "key": "medication-errors", "label": "Fehler bei Medikamenten und Dosierungen", "numerator": 18, "denominator": 757, "valuePercent": 2.378, "direction": "lower", "definition": "Falsch wiedergegebene oder ausgelassene Angaben zu Wirkstoff, Dosis, Einheit und Einnahme pro annotierter Medikationsangabe. Jede Angabe zählt höchstens einmal.", "ci95": [ 1.17, 4.78 ], "ci95Method": "wilson-design-effect", "designEffect": 2.4859 }, { "key": "negation-errors", "label": "Fehler bei Verneinungen", "numerator": 15, "denominator": 1096, "valuePercent": 1.369, "direction": "lower", "definition": "Verlorene, hinzugefügte oder umgekehrte Negationen pro Referenzaussage mit verneintem oder ausdrücklich bestätigtem Befund. Eine Aussage zählt höchstens einmal.", "ci95": [ 0.62, 2.99 ], "ci95Method": "wilson-design-effect", "designEffect": 2.5733 }, { "key": "temporal-errors", "label": "Fehler bei zeitlichen Angaben", "numerator": 35, "denominator": 1448, "valuePercent": 2.417, "direction": "lower", "definition": "Falsch zugeordnete oder ausgelassene Zeitpunkte, Dauern und zeitliche Beziehungen pro annotierter zeitlicher Referenzangabe.", "ci95": [ 1.41, 4.09 ], "ci95Method": "wilson-design-effect", "designEffect": 2.6879 }, { "key": "attribution-errors", "label": "Fehler bei der Zuordnung", "numerator": 41, "denominator": 2389, "valuePercent": 1.716, "direction": "lower", "definition": "Falsche oder ausgelassene Zuordnung von Aussagen zu Patient, behandelnder Person oder Drittperson pro Referenzfakt mit erforderlicher Quellenzuordnung.", "ci95": [ 1.07, 2.74 ], "ci95Method": "wilson-design-effect", "designEffect": 2.4358 }, { "key": "dictation-command-accuracy", "label": "Umgesetzte Diktatbefehle", "numerator": 1131, "denominator": 1311, "valuePercent": 86.27, "direction": "higher", "definition": "Richtig ausgeführte festgelegte Satzzeichen-, Absatz- und Korrekturbefehle pro ausgesprochenem Referenzbefehl. Der Befehl soll wirken und nicht als Befehlswort im Text stehen.", "ci95": [ 82.38, 89.41 ], "ci95Method": "wilson-design-effect", "designEffect": 3.5507 }, { "key": "self-correction-accuracy", "label": "Umgesetzte Selbstkorrekturen", "numerator": 230, "denominator": 251, "valuePercent": 91.633, "direction": "higher", "definition": "Spontane Selbstkorrekturen, nach denen das Dokument nur die endgültige Angabe enthält, pro annotierter Selbstkorrektur der Referenz. Steht die verworfene Angabe noch im Text oder ersetzt sie die endgültige, ist die Selbstkorrektur nicht umgesetzt. Ob eine Regel oder ein Sprachmodell sie umsetzt, spielt keine Rolle.", "ci95": [ 84.92, 95.52 ], "ci95Method": "wilson-design-effect", "designEffect": 2.2975 }, { "key": "edit-instruction-accuracy", "label": "Umgesetzte Bearbeitungsanweisungen", "numerator": 71, "denominator": 89, "valuePercent": 79.775, "direction": "higher", "definition": "Frei formulierte Anweisungen an das Dokument, deren Wirkung das gelieferte Dokument zeigt, pro annotierter Anweisung der Referenz. Eine solche Anweisung ändert eine früher genannte Angabe, ergänzt Inhalt an einer früheren Stelle oder verschiebt einen Abschnitt. Steht sie wörtlich im Text oder bleibt sie ohne Wirkung, ist sie nicht umgesetzt. Ob eine Regel oder ein Sprachmodell sie umsetzt, spielt keine Rolle.", "ci95": [ 63.51, 89.94 ], "ci95Method": "wilson-design-effect", "designEffect": 2.6441 } ], "errorTypes": [ { "label": "Nicht erfasste Referenzfakten", "count": 221 }, { "label": "Falsche oder unbelegte Aussagen", "count": 72 }, { "label": "Zutreffende, aber nicht relevante Aussagen", "count": 38 } ], "failedRuns": [ { "scenarioId": "diktat-055", "run": 1, "reason": "Erstellung des Befundtexts nach Diktatende mit Fehlermeldung abgebrochen" } ], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "Idana Flow Pro im Praxisportal, Diktatmodus, Stand 2. Quartal 2026", "modelVersions": null, "template": { "id": "anbieter-befundtext", "version": null }, "instruction": { "id": "si-instr-diktat-ausarbeitung", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Aufnahme in der Anwendung über einen virtuellen Mikrofoneingang", "outputLanguage": "de-DE", "mode": "Diktatmodus für medizinische Monologe", "documentFormat": "Befundtext", "patientContext": "Ohne zusätzlichen Patientenkontext" }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": { "id": "de-med-wer", "version": "1.0" } }, "corpusMetadata": { "version": "1.0", "manifestSha256": "6768f28bb70c0457e31c2eaafd4f3c498c05b4aec26501537825bbaa22733060", "referenceVersion": "1.0", "referenceSha256": "18772162e86230bce7cfb8a2f52f90244df2b1cdf52bdb6a646494dd3596dbb9", "sourceScenarioCount": 64, "evaluatedScenarioCount": 62, "totalAudioSeconds": 18720, "durationSeconds": { "minimum": 60, "maximum": 900 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 1 }, { "codec": "MP3 128 kbit/s", "sampleRateHertz": 44100, "channels": 1 }, { "codec": "AAC-LC (M4A)", "sampleRateHertz": 44100, "channels": 1 } ], "conversions": [ { "description": "Kontrollierte Wiedergabe der Referenzaufnahmen über einen virtuellen Mikrofoneingang mit −20 dBFS RMS in Echtzeit", "tool": "scribeindex-playback", "version": "1.0" }, { "description": "Dekodierung komprimierter Quelldateien zu PCM 48 kHz mono vor der Wiedergabe", "tool": "FFmpeg", "version": "7.1.1" } ], "exclusions": [ { "scenarioId": "diktat-023", "reason": "Die sprechende Person nannte versehentlich einen echten Namen. Die Aufnahme wurde vor der Referenzfreigabe zurückgezogen." }, { "scenarioId": "diktat-057", "reason": "Endgültige Angabe einer Selbstkorrektur auch nach Prüfung der Aufnahme nicht eindeutig hörbar." } ] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 62, "resamples": 2000, "seed": 4214870755, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "1feb69fb1f1a9ee5134ab583a5bf6a80625f840f53d2d833da91149ac9f1550a" } }, { "id": "interprefy/untertitel:live-subtitles", "provider": "interprefy", "providerName": "Interprefy", "test": "untertitel:live-subtitles", "label": "Live-Untertitel", "category": "untertitel", "task": "live-subtitles", "url": "https://scribeindex.com/anbieter/interprefy/test/#live", "rankingUrl": "https://scribeindex.com/vergleich/untertitel/live/", "testPeriod": "2026-Q3", "protocol": "1.0", "corpus": "de-live-untertitel-v1", "scenarios": 30, "runs": 2, "completed": 60, "total": 60, "completionRatePercent": 100, "evaluation": { "output": "live-subtitles", "semanticRubric": null, "wordErrorRate": { "applicability": "word-aligned", "basis": "delivered-output", "explanation": "WER wird aus dem endgültigen Stand der angezeigten Untertitel gegen die normalisierte Referenz berechnet. Zwischenstände der Anzeige gehen in die Stabilität ein, nicht in die WER." } }, "score": { "version": "2.2", "value": 60.9341, "ci95": [ 58.7, 63.4 ], "ci95Method": "paired-cluster-bootstrap", "pairedDifferences": [ { "provider": "ai-media", "ci95": [ -11.74, -8.47 ] }, { "provider": "wordly", "ci95": [ 5.96, 9.23 ] }, { "provider": "clevercast", "ci95": [ -5.43, -0.59 ] }, { "provider": "syncwords", "ci95": [ -3.32, 0.32 ] }, { "provider": "maestra", "ci95": [ 10.98, 14.96 ] } ], "rank": 4, "cohortSize": 6, "criticalRatePercent": null, "contentQuality": 88.761, "references": { "key": "live-subtitles", "qualityErrorPoints": 30, "correctionMinutes": 276, "criticalPercent": null }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 62.536, "weight": 0.75, "contribution": 46.902 }, { "key": "effort", "label": "Korrekturaufwand", "value": 45.159, "weight": 0.2, "contribution": 9.032 }, { "key": "reliability", "label": "Abschlussquote", "value": 100, "weight": 0.05, "contribution": 5 } ] }, "mainMetric": { "label": "Wortfehlerrate", "abbreviation": "WER", "value": 8.233, "direction": "lower", "ci95": [ 7.43, 8.92 ] }, "transcription": { "referenceWords": 299308, "substitutions": 12068, "deletions": 7157, "insertions": 5417, "errors": 24642, "werPercent": 8.233, "ci95": [ 7.43, 8.92 ], "comparable": true }, "facts": null, "latency": { "p50Seconds": 1.2, "p95Seconds": 2, "mode": "live-stream", "start": "Wortende im Ton beim Publikum", "end": "Erste Anzeige des Wortes in endgültiger Form" }, "correction": { "minutesPerAudioHour": 151.361, "ci95": [ 143.38, 158.66 ], "estimate": { "outputs": 60, "audioSeconds": 127620, "minutes": 5365.9, "ci": [ 143.38, 158.66 ], "audioHours": 35.451 } }, "additionalMetrics": [ { "key": "cer", "label": "Zeichenfehlerrate · CER", "numerator": 69806, "denominator": 1938614, "valuePercent": 3.601, "direction": "lower", "definition": "Zeichenabweichungen pro Referenzzeichen nach NFC-Normalisierung, einheitlicher Groß- und Kleinschreibung, entfernten Satzzeichen und zu einem Leerzeichen zusammengefasstem Leerraum. Leerzeichen zählen als Zeichen.", "ci95": [ 3.27, 3.88 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "live-caption-timeliness", "label": "Rechtzeitig angezeigte Wörter", "numerator": 270107, "denominator": 299308, "valuePercent": 90.244, "direction": "higher", "definition": "Referenzwörter, deren endgültige Form höchstens 3 Sekunden vor oder nach dem Wortende im Ton beim Publikum erstmals angezeigt wird, pro Referenzwort. Fehlende und falsch erkannte Wörter zählen als nicht rechtzeitig.", "ci95": [ 89.2, 91.19 ], "ci95Method": "wilson-design-effect", "designEffect": 86.5172 }, { "key": "live-caption-stability", "label": "Stabil angezeigte Wörter", "numerator": 236517, "denominator": 299308, "valuePercent": 79.021, "direction": "higher", "definition": "Referenzwörter, die ab ihrer ersten Anzeige unverändert in endgültiger Form stehen, pro Referenzwort. Vorher anders angezeigte, später umgeschriebene oder entfernte sowie fehlende und falsch erkannte Wörter zählen als nicht stabil.", "ci95": [ 77.47, 80.49 ], "ci95Method": "wilson-design-effect", "designEffect": 106.8291 } ], "scalarMetrics": [ { "key": "live-audio-delay", "label": "Mittlere Übertragungsverzögerung", "value": 0, "unit": "s", "direction": "none", "definition": "Mittlere Zeit vom Wortende im Eingangston bis zum Wortende im Ton beim Publikum. Gewichtet wird je Referenzwort. Bei unverzögerter Audioausgabe beträgt sie null.", "statistic": "mean", "sampleSize": 299308, "ci": [ 0, 0 ] } ], "errorTypes": [ { "label": "Ersetzungen", "count": 12068 }, { "label": "Auslassungen", "count": 7157 }, { "label": "Einfügungen", "count": 5417 } ], "failedRuns": [], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "Interprefy Connect, deutsche Originaluntertitel im Sofortmodus, Stand 3. Quartal 2026", "modelVersions": null, "template": null, "instruction": { "id": "si-instr-live-subtitles", "version": "1.0" }, "customVocabulary": null, "settings": { "language": "Deutsch", "translation": false, "customVocabularyEntries": 0, "humanCorrection": false, "capture": "Ereignisprotokoll der angezeigten Untertitel", "inputPath": "Virtueller Audioeingang als Mikrofon in Interprefy Connect", "display": "Deutsche Originaluntertitel, Sofortmodus", "captionMode": "Sofortmodus mit laufenden Korrekturen", "outputRecording": true, "correctionSource": "Originaltranskript und aufgezeichnete Anzeigeereignisse" }, "scorer": { "name": "scribeindex-live-subtitles", "version": "1.0" }, "normalization": { "id": "de-subtitle-wer", "version": "1.0" } }, "corpusMetadata": { "version": "1.0", "manifestSha256": "82acc1a0ff5f8f62ab47815747ab1a96383fb705780eb9597c1d3c51a6b044aa", "referenceVersion": "1.0", "referenceSha256": "12f7090789671983e962a05c01cb6abb03849e6536dc9afde6de15f11454f43b", "sourceScenarioCount": 30, "evaluatedScenarioCount": 30, "totalAudioSeconds": 63840, "durationSeconds": { "minimum": 480, "maximum": 5340 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 1 } ], "conversions": [ { "description": "Einspielung der Aufnahme in Echtzeit als Audioquelle der Live-Sitzung über einen virtuellen Audioeingang mit −20 dBFS RMS", "tool": "scribeindex-playback", "version": "1.0" } ], "exclusions": [] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 30, "resamples": 2000, "seed": 3355895643, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "0f26e97bd0626cfdf95f5dee7a05315be56e31165714a518399326f79379755a" } }, { "id": "iptas/medical-scribes:therapy-notes", "provider": "iptas", "providerName": "iptas", "test": "medical-scribes:therapy-notes", "label": "Psychotherapeutische Sitzungsdokumentation", "category": "medical-scribes", "task": "therapy-notes", "url": "https://scribeindex.com/anbieter/iptas/test/#psychotherapie", "rankingUrl": "https://scribeindex.com/vergleich/medical-scribes/psychotherapie/", "testPeriod": "2026-Q2", "protocol": "1.0", "corpus": "de-therapie-v1", "scenarios": 36, "runs": 3, "completed": 107, "total": 108, "completionRatePercent": 99.074, "evaluation": { "output": "therapy-note", "semanticRubric": "clinical-facts-v1", "wordErrorRate": { "applicability": "not-applicable", "basis": "unavailable", "explanation": "Die gelieferte Ausgabe ist eine therapeutische Sitzungsnotiz. Bewertet werden dokumentationsrelevante Fakten und ihre Zuordnung, nicht die Wortfolge des Gesprächs." } }, "score": { "version": "2.2", "value": 74.8731, "ci95": [ 69.5, 77.5 ], "ci95Method": "paired-cluster-bootstrap-beta-critical", "pairedDifferences": [ { "provider": "healthjet", "ci95": [ 3.22, 19.94 ] }, { "provider": "playnvoice", "ci95": [ -1.5, 8.65 ] }, { "provider": "heidi", "ci95": [ 7.53, 24.36 ] }, { "provider": "tandem-health", "ci95": [ 2.84, 18.21 ] }, { "provider": "via-health", "ci95": [ -9.03, 3.84 ] }, { "provider": "dokudachs", "ci95": [ -7.33, 6.38 ] }, { "provider": "clara-health", "ci95": [ -1.79, 10.5 ] }, { "provider": "lumanote", "ci95": [ -4.33, 9.88 ] }, { "provider": "noa-notes", "ci95": [ 8.1, 20.48 ] }, { "provider": "psynex", "ci95": [ -7.77, 2.71 ] }, { "provider": "upheal", "ci95": [ 11.68, 28.72 ] } ], "rank": 4, "cohortSize": 12, "criticalRatePercent": 0, "contentQuality": 90.39, "references": { "key": "therapy-notes", "qualityErrorPoints": 30, "correctionMinutes": 20, "criticalPercent": 20 }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 67.967, "weight": 0.6, "contribution": 40.78 }, { "key": "critical", "label": "Schwerwiegende Fehler", "value": 100, "weight": 0.2, "contribution": 20 }, { "key": "effort", "label": "Korrekturaufwand", "value": 60.929, "weight": 0.15, "contribution": 9.139 }, { "key": "reliability", "label": "Abschlussquote", "value": 99.074, "weight": 0.05, "contribution": 4.954 } ] }, "mainMetric": { "label": "Fakten-F1", "abbreviation": "F1", "value": 90.39, "direction": "higher", "ci95": [ 89.11, 91.58 ] }, "transcription": null, "facts": { "truePositive": 2897, "falsePositive": 220, "falseNegative": 396, "referenceFacts": 3293, "outputFacts": 3117, "precisionPercent": 92.942, "precisionCi95": [ 91.19, 94.44 ], "recallPercent": 87.974, "recallCi95": [ 86.35, 89.63 ], "f1Percent": 90.39, "f1Ci95": [ 89.11, 91.58 ] }, "latency": { "p50Seconds": 446.1, "p95Seconds": 668.5, "mode": "file-upload", "start": "Uploadstart", "end": "Vollständiges Dokument verfügbar" }, "correction": { "minutesPerAudioHour": 7.8142, "ci95": [ 6.8, 8.83 ], "estimate": { "outputs": 107, "audioSeconds": 307800, "minutes": 668.05, "ci": [ 6.8, 8.83 ], "audioHours": 85.492 } }, "additionalMetrics": [ { "key": "critical-documents", "label": "Dokumente mit schwerwiegendem Fehler", "numerator": 0, "denominator": 107, "valuePercent": 0, "direction": "lower", "definition": "Ausgaben mit mindestens einem potenziell schwerwiegenden medizinischen Fehler pro abgeschlossener Ausgabe. Bewertet wird jeder Fall nach einer festgelegten Fehlerrubrik. Fehler bei Medikation oder Verneinung zählen hier nur, wenn die Rubrik die betroffene Angabe als potenziell schwerwiegend einstuft. Die Zähler je Fehlerart enthalten auch folgenlose Abweichungen.", "ci95": [ 0, 6.59 ], "ci95Method": "wilson-design-effect", "designEffect": 1.9642 }, { "key": "unsupported-statements", "label": "Falsche oder unbelegte Aussagen", "numerator": 59, "denominator": 3117, "valuePercent": 1.893, "direction": "lower", "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.", "ci95": [ 1.28, 2.79 ], "ci95Method": "wilson-design-effect", "designEffect": 2.3852 }, { "key": "medical-term-errors", "label": "Fehler bei Fachbegriffen", "numerator": 35, "denominator": 1176, "valuePercent": 2.976, "direction": "lower", "definition": "Fachlich falsch wiedergegebene oder ausgelassene medizinische Konzepte pro annotiertem Fachkonzept der Referenz. Synonyme gelten bei gleicher Bedeutung als korrekt.", "ci95": [ 1.78, 4.92 ], "ci95Method": "wilson-design-effect", "designEffect": 2.4604 }, { "key": "medication-errors", "label": "Fehler bei Medikamenten und Dosierungen", "numerator": 3, "denominator": 75, "valuePercent": 4, "direction": "lower", "definition": "Falsch wiedergegebene oder ausgelassene Angaben zu Wirkstoff, Dosis, Einheit und Einnahme pro annotierter Medikationsangabe. Jede Angabe zählt höchstens einmal.", "ci95": [ 0.86, 16.53 ], "ci95Method": "wilson-design-effect", "designEffect": 2.2198 }, { "key": "negation-errors", "label": "Fehler bei Verneinungen", "numerator": 7, "denominator": 432, "valuePercent": 1.62, "direction": "lower", "definition": "Verlorene, hinzugefügte oder umgekehrte Negationen pro Referenzaussage mit verneintem oder ausdrücklich bestätigtem Befund. Eine Aussage zählt höchstens einmal.", "ci95": [ 0.51, 5.02 ], "ci95Method": "wilson-design-effect", "designEffect": 2.7173 }, { "key": "temporal-errors", "label": "Fehler bei zeitlichen Angaben", "numerator": 46, "denominator": 955, "valuePercent": 4.817, "direction": "lower", "definition": "Falsch zugeordnete oder ausgelassene Zeitpunkte, Dauern und zeitliche Beziehungen pro annotierter zeitlicher Referenzangabe.", "ci95": [ 3.09, 7.42 ], "ci95Method": "wilson-design-effect", "designEffect": 2.4499 }, { "key": "attribution-errors", "label": "Fehler bei der Zuordnung", "numerator": 88, "denominator": 1891, "valuePercent": 4.654, "direction": "lower", "definition": "Falsche oder ausgelassene Zuordnung von Aussagen zu Patient, behandelnder Person oder Drittperson pro Referenzfakt mit erforderlicher Quellenzuordnung.", "ci95": [ 3.32, 6.49 ], "ci95Method": "wilson-design-effect", "designEffect": 2.7147 }, { "key": "risk-assessment-errors", "label": "Fehler bei Risikohinweisen", "numerator": 2, "denominator": 171, "valuePercent": 1.17, "direction": "lower", "definition": "Ausgelassene, hinzugefügte oder falsch eingeordnete Aussagen zu Selbstgefährdung und Schutzfaktoren pro annotierter risikorelevanter Referenzaussage. Bewertet wird anhand des Gesprächs nach einer festgelegten Rubrik.", "ci95": [ 0.18, 7.18 ], "ci95Method": "wilson-design-effect", "designEffect": 2.4129 } ], "errorTypes": [ { "label": "Nicht erfasste Referenzfakten", "count": 396 }, { "label": "Falsche oder unbelegte Aussagen", "count": 59 }, { "label": "Zutreffende, aber nicht relevante Aussagen", "count": 161 } ], "failedRuns": [ { "scenarioId": "therapie-017", "run": 1, "reason": "Export unvollständig, Dokument nach dem dritten Abschnitt abgeschnitten" } ], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "iptas Web-Anwendung mit Audio-Upload, Stand 2. Quartal 2026", "modelVersions": null, "template": { "id": "si-therapie-verlauf", "version": "1.0" }, "instruction": { "id": "si-instr-therapie", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Dateiupload der Korpusdatei im Browser", "outputLanguage": "de-DE", "specialty": "Psychotherapie" }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": null }, "corpusMetadata": { "version": "1.0", "manifestSha256": "62780a1c05eb9562aa4bdbee3b73aedcf448ce0e8e6ba5fd85d7e17baa3b4bd8", "referenceVersion": "1.0", "referenceSha256": "62c50ae99e53e02e016470714f0a6524d90a92407fe393d48adae95f19a8ee2a", "sourceScenarioCount": 36, "evaluatedScenarioCount": 36, "totalAudioSeconds": 103620, "durationSeconds": { "minimum": 2220, "maximum": 3540 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 1 } ], "conversions": [], "exclusions": [] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 36, "resamples": 2000, "seed": 3733937332, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "0c35a46bc36056c43d2f55385441679c130a0d1ef5bcb7bd6cb2f19411cef23a" } }, { "id": "jamie/meeting-scribes", "provider": "jamie", "providerName": "Jamie", "test": "meeting-scribes", "label": "Meeting-Scribes", "category": "meeting-scribes", "url": "https://scribeindex.com/anbieter/jamie/test/#meeting-scribes", "rankingUrl": "https://scribeindex.com/vergleich/meeting-scribes/", "testPeriod": "2026-Q3", "protocol": "1.0", "corpus": "de-meeting-v1", "scenarios": 38, "runs": 2, "completed": 76, "total": 76, "completionRatePercent": 100, "evaluation": { "output": "meeting-summary", "semanticRubric": "meeting-facts-v1", "wordErrorRate": { "applicability": "not-applicable", "basis": "unavailable", "explanation": "Bewertet werden das gelieferte Protokoll und die Sprecherzuordnung im exportierten Transkript. Die Transkript-WER gilt nur für dieses Transkript und zählt nicht zum ScribeIndex-Score." } }, "score": { "version": "2.2", "value": 60.1949, "ci95": [ 56.3, 63.7 ], "ci95Method": "paired-cluster-bootstrap", "pairedDifferences": [ { "provider": "otter", "ci95": [ -1.16, 8.91 ] }, { "provider": "fireflies", "ci95": [ -5.11, 2.57 ] }, { "provider": "fathom", "ci95": [ -12.88, -5.4 ] }, { "provider": "granola", "ci95": [ -2.35, 7.76 ] }, { "provider": "tldv", "ci95": [ -0.33, 9.94 ] }, { "provider": "happy-scribe", "ci95": [ -3.02, 5.89 ] }, { "provider": "notta", "ci95": [ 8.04, 19.32 ] }, { "provider": "read-ai", "ci95": [ -2.7, 5.91 ] }, { "provider": "meetgeek", "ci95": [ -4.69, 3.62 ] }, { "provider": "bluedot", "ci95": [ 4.31, 14.78 ] }, { "provider": "sembly", "ci95": [ 7.21, 15.46 ] }, { "provider": "plaud", "ci95": [ -0.31, 10.54 ] }, { "provider": "sally", "ci95": [ 0.14, 11.89 ] } ], "rank": 4, "cohortSize": 14, "criticalRatePercent": null, "contentQuality": 86.775, "references": { "key": "meeting-scribes", "qualityErrorPoints": 30, "correctionMinutes": 35, "criticalPercent": null }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 55.915, "weight": 0.75, "contribution": 41.937 }, { "key": "effort", "label": "Korrekturaufwand", "value": 66.291, "weight": 0.2, "contribution": 13.258 }, { "key": "reliability", "label": "Abschlussquote", "value": 100, "weight": 0.05, "contribution": 5 } ] }, "mainMetric": { "label": "Fakten-F1", "abbreviation": "F1", "value": 88.417, "direction": "higher", "ci95": [ 86.89, 89.82 ] }, "transcription": null, "facts": { "truePositive": 2496, "falsePositive": 266, "falseNegative": 388, "referenceFacts": 2884, "outputFacts": 2762, "precisionPercent": 90.369, "precisionCi95": [ 88.45, 92.28 ], "recallPercent": 86.546, "recallCi95": [ 84.37, 88.41 ], "f1Percent": 88.417, "f1Ci95": [ 86.89, 89.82 ] }, "latency": { "p50Seconds": 515.7, "p95Seconds": 975.2, "mode": "live-conversation", "start": "Ende der Gesprächserfassung", "end": "Vollständiges Protokoll verfügbar" }, "correction": { "minutesPerAudioHour": 11.798, "ci95": [ 10.47, 13.31 ], "estimate": { "outputs": 76, "audioSeconds": 182520, "minutes": 598.16, "ci": [ 10.47, 13.31 ], "audioHours": 50.7 } }, "additionalMetrics": [ { "key": "transcript-wer", "label": "Transkript-WER", "numerator": 37857, "denominator": 389306, "valuePercent": 9.724, "direction": "lower", "definition": "Wortersetzungen, Auslassungen und Einfügungen im exportierten Transkript pro Referenzwort nach Normalisierungsprofil de-allg-wer. Bewertet das Transkript, nicht die Zusammenfassung.", "ci95": [ 8.8, 10.83 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "der", "label": "Diarisierungsfehlerrate · DER", "numerator": 2846975, "denominator": 16691388, "valuePercent": 17.057, "direction": "lower", "definition": "Verpasste Sprache, fälschlich erkannte Sprache und falsch zugeordnete Sprecherzeit pro Referenzsprechzeit. Toleranz 250 ms um Referenzgrenzen, überlappende Sprache eingeschlossen. Liefert ein Dienst Sprecherkennungen ohne eigene Zeitmarken, bestimmt ScribeIndex die Zeitmarken durch erzwungene Ausrichtung (Forced Alignment) des gelieferten Texts an der Aufnahme. Die DER berechnet ScribeIndex daraus wie bei allen anderen Diensten, mit verpasster und fälschlich erkannter Sprache und Fehlern an Segmentgrenzen.", "ci95": [ 14.86, 19.66 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "der-strict", "label": "DER ohne Toleranz", "numerator": 3333226, "denominator": 16691388, "valuePercent": 19.97, "direction": "lower", "definition": "Diarisierungsfehlerrate wie DER, jedoch ohne Toleranzbereich um Referenzgrenzen. Die Differenz zur DER zeigt den Anteil der Fehler an Segmentgrenzen.", "ci95": [ 17.44, 22.86 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "unsupported-statements", "label": "Falsche oder unbelegte Aussagen", "numerator": 82, "denominator": 2762, "valuePercent": 2.969, "direction": "lower", "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.", "ci95": [ 2.14, 4.1 ], "ci95Method": "wilson-design-effect", "designEffect": 2.3097 }, { "key": "decision-recall", "label": "Erfasste Beschlüsse", "numerator": 245, "denominator": 302, "valuePercent": 81.126, "direction": "higher", "definition": "Korrekt als Beschluss wiedergegebene Referenzbeschlüsse mit Geltungsbereich und Status pro Referenzbeschluss. Als Beschluss ausgegebene Vorschläge zählen nicht als Treffer.", "ci95": [ 74.91, 86.09 ], "ci95Method": "wilson-design-effect", "designEffect": 1.6119 }, { "key": "action-item-recall", "label": "Erkannte Aufgaben", "numerator": 405, "denominator": 456, "valuePercent": 88.816, "direction": "higher", "definition": "Referenzaufgaben, die im Protokoll als Aufgabe erscheinen, pro Referenzaufgabe. Zuständigkeit und Frist werden getrennt bewertet.", "ci95": [ 84.87, 91.83 ], "ci95Method": "wilson-design-effect", "designEffect": 1.4339 }, { "key": "action-owner-accuracy", "label": "Korrekte Zuständigkeiten", "numerator": 263, "denominator": 332, "valuePercent": 79.217, "direction": "higher", "definition": "Korrekt wiedergegebene verantwortliche Personen pro Referenzaufgabe mit ausdrücklich genannter Zuständigkeit. Nicht erkannte Aufgaben zählen als Fehler.", "ci95": [ 73.51, 83.96 ], "ci95Method": "wilson-design-effect", "designEffect": 1.4415 }, { "key": "action-deadline-accuracy", "label": "Korrekte Fristen", "numerator": 187, "denominator": 234, "valuePercent": 79.915, "direction": "higher", "definition": "Korrekt wiedergegebene Fristen pro Referenzaufgabe mit ausdrücklich genannter Frist. Nicht erkannte Aufgaben zählen als Fehler.", "ci95": [ 72.93, 85.46 ], "ci95Method": "wilson-design-effect", "designEffect": 1.5037 }, { "key": "action-tuple-accuracy", "label": "Vollständig korrekte Aufgaben", "numerator": 340, "denominator": 456, "valuePercent": 74.561, "direction": "higher", "definition": "Aufgaben, deren Tätigkeit, Zuständigkeit und Frist vollständig korrekt wiedergegeben werden, pro Referenzaufgabe. Nicht genannte Zuständigkeiten oder Fristen müssen als nicht genannt erscheinen.", "ci95": [ 69.57, 78.98 ], "ci95Method": "wilson-design-effect", "designEffect": 1.3951 } ], "errorTypes": [ { "label": "Nicht erfasste Referenzfakten", "count": 388 }, { "label": "Falsche oder unbelegte Aussagen", "count": 82 }, { "label": "Zutreffende, aber nicht relevante Aussagen", "count": 184 } ], "failedRuns": [], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "Jamie Desktop-App, Stand 3. Quartal 2026", "modelVersions": null, "template": { "id": "si-meeting-protokoll", "version": "1.0" }, "instruction": { "id": "si-instr-meeting", "version": "1.0" }, "customVocabulary": null, "settings": { "capture": "Systemaudio und Mikrofon", "language": "Deutsch", "outputLanguage": "Deutsch" }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": { "id": "de-allg-wer", "version": "1.0" } }, "corpusMetadata": { "version": "1.0", "manifestSha256": "1a25115bb8a34e284f1d01d3860260a21cb8f5847004facb1596738bbac7ddab", "referenceVersion": "1.0", "referenceSha256": "eab8be0ab42fa45d7c98cb94b1a700dfc141ed5d7e96d67f4d9349c7d3a84d70", "sourceScenarioCount": 40, "evaluatedScenarioCount": 38, "totalAudioSeconds": 91260, "durationSeconds": { "minimum": 780, "maximum": 5220 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 2 }, { "codec": "Opus (WebM)", "sampleRateHertz": 48000, "channels": 1 } ], "conversions": [ { "description": "Teilnahme an derselben Videokonferenz auf einem Testrechner, Einspielung über virtuelle Konferenzteilnehmende wie bei Meeting-Bots. Die übrigen Teilnehmenden kommen als Systemaudio an, der Mikrofonkanal trägt den Sprechanteil der Person am Testrechner.", "tool": "scribeindex-meeting-replay", "version": "1.0" } ], "exclusions": [ { "scenarioId": "meeting-012", "reason": "Sprecherreferenz wegen Übersprechen zweier Raummikrofone nicht belastbar." }, { "scenarioId": "meeting-029", "reason": "Teilnehmende widerriefen die Nutzung der Aufnahme." } ] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 38, "resamples": 2000, "seed": 4134088586, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "3ee50ed01707c6c0c1902b3d172d67b6fe4b33360c81d07433d846f0fcbe3781" } }, { "id": "kapwing/untertitel:file-subtitles", "provider": "kapwing", "providerName": "Kapwing", "test": "untertitel:file-subtitles", "label": "Untertitel für Videodateien", "category": "untertitel", "task": "file-subtitles", "url": "https://scribeindex.com/anbieter/kapwing/test/#videodateien", "rankingUrl": "https://scribeindex.com/vergleich/untertitel/videodateien/", "testPeriod": "2026-Q2", "protocol": "1.0", "corpus": "de-untertitel-v1", "scenarios": 40, "runs": 3, "completed": 119, "total": 120, "completionRatePercent": 99.167, "evaluation": { "output": "subtitles", "semanticRubric": null, "wordErrorRate": { "applicability": "word-aligned", "basis": "delivered-output", "explanation": "WER wird aus dem zusammengeführten Text der exportierten SRT- oder WebVTT-Datei gegen die normalisierte Referenz berechnet. Zeitmarken und Segmentnummern zählen nicht." } }, "score": { "version": "2.2", "value": 38.8752, "ci95": [ 34.2, 43 ], "ci95Method": "paired-cluster-bootstrap", "pairedDifferences": [ { "provider": "ai-media", "ci95": [ -23.73, -18.09 ] }, { "provider": "clevercast", "ci95": [ -9.49, -3.25 ] }, { "provider": "happy-scribe", "ci95": [ -17.58, -10.45 ] }, { "provider": "amberscript", "ci95": [ -14.78, -4.9 ] }, { "provider": "sonix", "ci95": [ -11.84, -5.07 ] }, { "provider": "veed", "ci95": [ -8.77, -1.58 ] }, { "provider": "maestra", "ci95": [ -20.47, -13.35 ] } ], "rank": 8, "cohortSize": 8, "criticalRatePercent": null, "contentQuality": 80.019, "references": { "key": "file-subtitles", "qualityErrorPoints": 30, "correctionMinutes": 233, "criticalPercent": null }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 33.398, "weight": 0.75, "contribution": 25.048 }, { "key": "effort", "label": "Korrekturaufwand", "value": 44.344, "weight": 0.2, "contribution": 8.869 }, { "key": "reliability", "label": "Abschlussquote", "value": 99.167, "weight": 0.05, "contribution": 4.958 } ] }, "mainMetric": { "label": "Wortfehlerrate", "abbreviation": "WER", "value": 9.795, "direction": "lower", "ci95": [ 9.05, 10.64 ] }, "transcription": { "referenceWords": 284991, "substitutions": 13606, "deletions": 7926, "insertions": 6384, "errors": 27916, "werPercent": 9.795, "ci95": [ 9.05, 10.64 ], "comparable": true }, "facts": null, "latency": { "p50Seconds": 263.3, "p95Seconds": 742.3, "mode": "file-upload", "start": "Uploadstart", "end": "Vollständiger Export verfügbar" }, "correction": { "minutesPerAudioHour": 129.6796, "ci95": [ 120.04, 140.06 ], "estimate": { "outputs": 119, "audioSeconds": 144300, "minutes": 5197.04, "ci": [ 120.04, 140.06 ], "audioHours": 40.076 } }, "additionalMetrics": [ { "key": "cer", "label": "Zeichenfehlerrate · CER", "numerator": 73121, "denominator": 1842952, "valuePercent": 3.968, "direction": "lower", "definition": "Zeichenabweichungen pro Referenzzeichen nach NFC-Normalisierung, einheitlicher Groß- und Kleinschreibung, entfernten Satzzeichen und zu einem Leerzeichen zusammengefasstem Leerraum. Leerzeichen zählen als Zeichen.", "ci95": [ 3.67, 4.32 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "subtitle-timing-accuracy", "label": "Zeitlich passende Untertitel", "numerator": 20387, "denominator": 29209, "valuePercent": 69.797, "direction": "higher", "definition": "Vollständig abgedeckte Referenzsegmente, bei denen der früheste Beginn und das späteste Ende der zugeordneten Untertitel jeweils höchstens 200 ms von der Referenz abweichen. Fehlende Segmente zählen als nicht passend.", "ci95": [ 66.85, 72.59 ], "ci95Method": "wilson-design-effect", "designEffect": 29.7248 }, { "key": "subtitle-layout-accuracy", "label": "Lesbare Untertitel", "numerator": 20414, "denominator": 29209, "valuePercent": 69.889, "direction": "higher", "definition": "Vollständig abgedeckte Referenzsegmente mit höchstens 2 Zeilen, 42 Zeichen je Zeile und 17 Zeichen je Sekunde in allen zugeordneten Ausgabesegmenten.", "ci95": [ 67.5, 72.18 ], "ci95Method": "wilson-design-effect", "designEffect": 19.7421 } ], "scalarMetrics": [ { "key": "subtitle-timing-offset-ms", "label": "Mittlere Zeitabweichung", "value": 320.07, "unit": "ms", "direction": "lower", "definition": "Mittel der absoluten Abweichung der äußeren Start- und Endgrenzen von den zugeordneten Referenzsegmenten, gewichtet je Referenzsegment.", "statistic": "mean", "sampleSize": 29007, "ci": [ 302.79, 339.27 ] }, { "key": "subtitle-reading-speed-cps", "label": "Mittlere Lesegeschwindigkeit", "value": 15.04, "unit": "Zeichen/s", "direction": "none", "definition": "Sichtbare Zeichen einschließlich Leerzeichen innerhalb der Zeilen, geteilt durch die jeweilige Standzeit, je ausgegebenem Untertitel, gemittelt über alle ausgegebenen Untertitel.", "statistic": "mean", "sampleSize": 30761, "ci": [ 14.39, 15.7 ] }, { "key": "subtitle-line-length-cpl", "label": "Mittlere Zeilenlänge", "value": 33.82, "unit": "Zeichen/Zeile", "direction": "none", "definition": "Mittlere Zahl sichtbarer Unicode-Zeichen je ausgegebener Untertitelzeile.", "statistic": "mean", "sampleSize": 55277, "ci": [ 33.39, 34.26 ] } ], "errorTypes": [ { "label": "Ersetzungen", "count": 13606 }, { "label": "Auslassungen", "count": 7926 }, { "label": "Einfügungen", "count": 6384 } ], "failedRuns": [ { "scenarioId": "video-018", "run": 1, "reason": "Exportierte Untertiteldatei unvollständig, sie endet vor dem Videoende" } ], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "Web-App, deutsche Videountertitel, Stand 2. Quartal 2026", "modelVersions": null, "template": null, "instruction": { "id": "si-instr-subtitles", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "MP4-Dateiupload", "language": "Deutsch", "translation": false, "export": "SRT", "manualCorrection": false }, "scorer": { "name": "scribeindex-subtitles", "version": "1.0" }, "normalization": { "id": "de-subtitle-wer", "version": "1.0" } }, "corpusMetadata": { "version": "1.0", "manifestSha256": "a35c5ee698d61b365b97c82257195aeb72edbd47eab9da548608335d37899941", "referenceVersion": "1.0", "referenceSha256": "6ec7f71b2989eb19791326360ba6649b7c8c020915a316303d8763a8f58b2d45", "sourceScenarioCount": 40, "evaluatedScenarioCount": 40, "totalAudioSeconds": 48480, "durationSeconds": { "minimum": 180, "maximum": 3540 }, "audioFormats": [ { "codec": "H.264 MP4, AAC-LC", "sampleRateHertz": 48000, "channels": 2 } ], "conversions": [], "exclusions": [] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 40, "resamples": 2000, "seed": 1605653364, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "22c41832e7f4054b58c4911e41b1b961649b0482f9f511ad72891e68023bafbc" } }, { "id": "letterly/diktiersoftware:general-dictation", "provider": "letterly", "providerName": "Letterly", "test": "diktiersoftware:general-dictation", "label": "Allgemeine Diktate", "category": "diktiersoftware", "task": "general-dictation", "url": "https://scribeindex.com/anbieter/letterly/test/#allgemein", "rankingUrl": "https://scribeindex.com/vergleich/diktiersoftware/allgemein/", "testPeriod": "2026-Q3", "protocol": "1.0", "corpus": "de-buero-diktat-v1", "scenarios": 40, "runs": 3, "completed": 119, "total": 120, "completionRatePercent": 99.167, "evaluation": { "output": "verbatim-transcript", "semanticRubric": null, "wordErrorRate": { "applicability": "word-aligned", "basis": "delivered-output", "explanation": "WER wird aus der gelieferten wortnahen Transkriptausgabe gegen die normalisierte Referenz berechnet." } }, "score": { "version": "2.2", "value": 72.1439, "ci95": [ 69.4, 74.8 ], "ci95Method": "paired-cluster-bootstrap", "pairedDifferences": [ { "provider": "audiopen", "ci95": [ -0.89, 5.09 ] }, { "provider": "wispr-flow", "ci95": [ -14.54, -9.37 ] }, { "provider": "superwhisper", "ci95": [ 8.26, 14.92 ] }, { "provider": "dragon-legal", "ci95": [ -10.49, -5.74 ] }, { "provider": "dictnow", "ci95": [ -5.77, -0.63 ] } ], "rank": 4, "cohortSize": 6, "criticalRatePercent": null, "contentQuality": 91.085, "references": { "key": "general-dictation", "qualityErrorPoints": 30, "correctionMinutes": 164, "criticalPercent": null }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 70.282, "weight": 0.75, "contribution": 52.712 }, { "key": "effort", "label": "Korrekturaufwand", "value": 72.369, "weight": 0.2, "contribution": 14.474 }, { "key": "reliability", "label": "Abschlussquote", "value": 99.167, "weight": 0.05, "contribution": 4.958 } ] }, "mainMetric": { "label": "Wortfehlerrate", "abbreviation": "WER", "value": 8.056, "direction": "lower", "ci95": [ 7.22, 8.87 ] }, "transcription": { "referenceWords": 53401, "substitutions": 1613, "deletions": 895, "insertions": 1794, "errors": 4302, "werPercent": 8.056, "ci95": [ 7.22, 8.87 ], "comparable": true }, "facts": null, "latency": { "p50Seconds": 2, "p95Seconds": 4.3, "mode": "live-dictation", "start": "Ende des letzten zugespielten Wortes", "end": "Stabile nutzbare Textausgabe" }, "correction": { "minutesPerAudioHour": 45.3149, "ci95": [ 40.99, 49.53 ], "estimate": { "outputs": 119, "audioSeconds": 25020, "minutes": 315.12, "ci": [ 40.99, 49.53 ], "audioHours": 6.954 } }, "additionalMetrics": [ { "key": "cer", "label": "Zeichenfehlerrate · CER", "numerator": 16827, "denominator": 344201, "valuePercent": 4.889, "direction": "lower", "definition": "Zeichenabweichungen pro Referenzzeichen nach NFC-Normalisierung, einheitlicher Groß- und Kleinschreibung, entfernten Satzzeichen und zu einem Leerzeichen zusammengefasstem Leerraum. Leerzeichen zählen als Zeichen.", "ci95": [ 4.23, 5.61 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "name-accuracy", "label": "Korrekte Namen", "numerator": 403, "denominator": 478, "valuePercent": 84.31, "direction": "higher", "definition": "Korrekt übernommene Personen- und Firmennamen pro annotiertem Referenznamen. Vorab freigegebene Schreibvarianten zählen als richtig.", "ci95": [ 77.75, 89.21 ], "ci95Method": "wilson-design-effect", "designEffect": 3.0934 }, { "key": "number-accuracy", "label": "Korrekte Zahlen", "numerator": 646, "denominator": 710, "valuePercent": 90.986, "direction": "higher", "definition": "Korrekt übernommene Zahlen mit ihrer Einheit und ihrem Bezug pro annotierter Zahlenangabe. Falsche oder ausgelassene Werte zählen als nicht korrekt.", "ci95": [ 86.59, 94.04 ], "ci95Method": "wilson-design-effect", "designEffect": 3.0722 }, { "key": "dictation-command-accuracy", "label": "Umgesetzte Diktatbefehle", "numerator": 0, "denominator": 439, "valuePercent": null, "direction": "higher", "definition": "Richtig ausgeführte festgelegte Satzzeichen-, Absatz- und Korrekturbefehle pro ausgesprochenem Referenzbefehl. Der Befehl soll wirken und nicht als Befehlswort im Text stehen.", "ci95": null, "ci95Method": null, "designEffect": null }, { "key": "self-correction-accuracy", "label": "Umgesetzte Selbstkorrekturen", "numerator": 1, "denominator": 207, "valuePercent": 0.483, "direction": "higher", "definition": "Spontane Selbstkorrekturen, nach denen das Dokument nur die endgültige Angabe enthält, pro annotierter Selbstkorrektur der Referenz. Steht die verworfene Angabe noch im Text oder ersetzt sie die endgültige, ist die Selbstkorrektur nicht umgesetzt. Ob eine Regel oder ein Sprachmodell sie umsetzt, spielt keine Rolle.", "ci95": [ 0.03, 7.01 ], "ci95Method": "wilson-design-effect", "designEffect": 3.5215 }, { "key": "edit-instruction-accuracy", "label": "Umgesetzte Bearbeitungsanweisungen", "numerator": 0, "denominator": 36, "valuePercent": 0, "direction": "higher", "definition": "Frei formulierte Anweisungen an das Dokument, deren Wirkung das gelieferte Dokument zeigt, pro annotierter Anweisung der Referenz. Eine solche Anweisung ändert eine früher genannte Angabe, ergänzt Inhalt an einer früheren Stelle oder verschiebt einen Abschnitt. Steht sie wörtlich im Text oder bleibt sie ohne Wirkung, ist sie nicht umgesetzt. Ob eine Regel oder ein Sprachmodell sie umsetzt, spielt keine Rolle.", "ci95": [ 0, 25.89 ], "ci95Method": "wilson-design-effect", "designEffect": 3.2727 } ], "errorTypes": [ { "label": "Ersetzungen", "count": 1613 }, { "label": "Auslassungen", "count": 895 }, { "label": "Einfügungen", "count": 1794 } ], "failedRuns": [ { "scenarioId": "buero-016", "run": 1, "reason": "App beendete die Aufnahme während der Einspielung, Text unvollständig" } ], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "Letterly-Tastatur, Voice Dictation, Stand 3. Quartal 2026", "modelVersions": null, "template": null, "instruction": { "id": "si-instr-diktat-wortnah", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Virtueller Mikrofoneingang einer emulierten Geräteumgebung", "device": "Emulierte Geräteumgebung", "language": "Deutsch", "outputStyle": "Originaltext, Umschreibung ausgeschaltet", "personalDictionary": false, "voiceCommands": false }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": { "id": "de-allg-wer", "version": "1.0" } }, "corpusMetadata": { "version": "1.0", "manifestSha256": "be86355a52a9e6e6ac547fa75797ca0c34d34b998965c77efe431e8cac1bf200", "referenceVersion": "1.0", "referenceSha256": "2f3f1976d19c5059b932063bd9b929c3ad3df1d749efd78e0060e5b1364c5f41", "sourceScenarioCount": 40, "evaluatedScenarioCount": 40, "totalAudioSeconds": 8340, "durationSeconds": { "minimum": 60, "maximum": 600 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 1 } ], "conversions": [ { "description": "Einspielung der Aufnahme in Echtzeit über den virtuellen Mikrofoneingang einer emulierten Geräteumgebung mit −20 dBFS RMS", "tool": "scribeindex-playback", "version": "1.0" } ], "exclusions": [] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 40, "resamples": 2000, "seed": 2217701174, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "5b6419a32e9fc2e489a2dae6029ddcb9e755388234d69b65a19df934ad0bdabc" } }, { "id": "letterly/diktiersoftware:voice-writing", "provider": "letterly", "providerName": "Letterly", "test": "diktiersoftware:voice-writing", "label": "Sprachgestützte Textausarbeitung", "category": "diktiersoftware", "task": "voice-writing", "url": "https://scribeindex.com/anbieter/letterly/test/#textausarbeitung", "rankingUrl": "https://scribeindex.com/vergleich/diktiersoftware/textausarbeitung/", "testPeriod": "2026-Q3", "protocol": "1.0", "corpus": "de-voice-writing-v1", "scenarios": 40, "runs": 3, "completed": 120, "total": 120, "completionRatePercent": 100, "evaluation": { "output": "written-document", "semanticRubric": "writing-facts-v1", "wordErrorRate": { "applicability": "not-applicable", "basis": "unavailable", "explanation": "Die gelieferte Ausgabe ist ein ausgearbeiteter Text, keine wortnahe Abschrift. Deshalb gibt es keine WER." } }, "score": { "version": "2.2", "value": 82.4713, "ci95": [ 78.3, 86.1 ], "ci95Method": "paired-cluster-bootstrap", "pairedDifferences": [ { "provider": "wispr-flow", "ci95": [ -6.59, 3.29 ] }, { "provider": "superwhisper", "ci95": [ 3.74, 12.23 ] }, { "provider": "audiopen", "ci95": [ -0.16, 11.59 ] }, { "provider": "speechlive-legal", "ci95": [ -4.7, 6.9 ] } ], "rank": 2, "cohortSize": 5, "criticalRatePercent": null, "contentQuality": 94.079, "references": { "key": "voice-writing", "qualityErrorPoints": 30, "correctionMinutes": 142, "criticalPercent": null }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 80.264, "weight": 0.75, "contribution": 60.198 }, { "key": "effort", "label": "Korrekturaufwand", "value": 86.367, "weight": 0.2, "contribution": 17.273 }, { "key": "reliability", "label": "Abschlussquote", "value": 100, "weight": 0.05, "contribution": 5 } ] }, "mainMetric": { "label": "Fakten-F1", "abbreviation": "F1", "value": 94.79, "direction": "higher", "ci95": [ 93.57, 95.87 ] }, "transcription": null, "facts": { "truePositive": 2429, "falsePositive": 83, "falseNegative": 184, "referenceFacts": 2613, "outputFacts": 2512, "precisionPercent": 96.696, "precisionCi95": [ 95.47, 97.86 ], "recallPercent": 92.958, "recallCi95": [ 90.68, 94.89 ], "f1Percent": 94.79, "f1Ci95": [ 93.57, 95.87 ] }, "latency": { "p50Seconds": 23.9, "p95Seconds": 65.1, "mode": "live-dictation", "start": "Ende des gesprochenen Auftrags", "end": "Fertiger Text verfügbar" }, "correction": { "minutesPerAudioHour": 19.3596, "ci95": [ 14.85, 24.58 ], "estimate": { "outputs": 120, "audioSeconds": 28740, "minutes": 154.47, "ci": [ 14.85, 24.58 ], "audioHours": 7.979 } }, "additionalMetrics": [ { "key": "unsupported-statements", "label": "Falsche oder unbelegte Aussagen", "numerator": 47, "denominator": 2512, "valuePercent": 1.871, "direction": "lower", "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.", "ci95": [ 1.22, 2.85 ], "ci95Method": "wilson-design-effect", "designEffect": 2.2567 }, { "key": "instruction-compliance", "label": "Umgesetzte Schreibanweisungen", "numerator": 687, "denominator": 753, "valuePercent": 91.235, "direction": "higher", "definition": "Korrekt umgesetzte explizite Anweisungen zu Format, Ton, Reihenfolge und Änderungen pro vorab festgelegter Schreibanweisung. Eine korrekt geschriebene E-Mail ersetzt keinen fehlenden Einzelauftrag.", "ci95": [ 86.77, 94.29 ], "ci95Method": "wilson-design-effect", "designEffect": 3.3977 } ], "errorTypes": [ { "label": "Nicht erfasste Referenzfakten", "count": 184 }, { "label": "Falsche oder unbelegte Aussagen", "count": 47 }, { "label": "Zutreffende, aber nicht relevante Aussagen", "count": 36 } ], "failedRuns": [], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "Letterly Smartphone-App, eigene Umschreibanweisung je Fall, Stand 3. Quartal 2026", "modelVersions": null, "template": null, "instruction": { "id": "si-instr-voice-writing", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Virtueller Mikrofoneingang einer emulierten Geräteumgebung", "device": "Emulierte Geräteumgebung", "language": "Deutsch", "target": "Vorab festgelegter Schreibauftrag als eigene Rewrite-Anweisung", "sourceText": "Aufgenommener Rohentwurf, danach Änderungsanweisung zur markierten Fassung", "personalDictionary": false, "extraContext": false }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": null }, "corpusMetadata": { "version": "1.0", "manifestSha256": "a2194236d0c043d838b24210574c7bf8a3c918cbe1bcce4db693e95b675ca2e2", "referenceVersion": "1.0", "referenceSha256": "2d895d782442beec8769e48974bf2d650e4c80f2b6555d633e58c77a5a161833", "sourceScenarioCount": 40, "evaluatedScenarioCount": 40, "totalAudioSeconds": 9600, "durationSeconds": { "minimum": 60, "maximum": 600 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 1 } ], "conversions": [ { "description": "Einspielung der Aufnahme in Echtzeit über den virtuellen Mikrofoneingang einer emulierten Geräteumgebung mit −20 dBFS RMS", "tool": "scribeindex-playback", "version": "1.0" } ], "exclusions": [] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 40, "resamples": 2000, "seed": 3301926752, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "175bb08bcec3d46df9a7e79d3383ed75fd39e092bfc7ebe4823aec3915a1820a" } }, { "id": "lumanote/medical-scribes:therapy-notes", "provider": "lumanote", "providerName": "LumaNote", "test": "medical-scribes:therapy-notes", "label": "Psychotherapeutische Sitzungsdokumentation", "category": "medical-scribes", "task": "therapy-notes", "url": "https://scribeindex.com/anbieter/lumanote/test/#psychotherapie", "rankingUrl": "https://scribeindex.com/vergleich/medical-scribes/psychotherapie/", "testPeriod": "2026-Q3", "protocol": "1.0", "corpus": "de-therapie-v1", "scenarios": 36, "runs": 3, "completed": 108, "total": 108, "completionRatePercent": 100, "evaluation": { "output": "therapy-note", "semanticRubric": "clinical-facts-v1", "wordErrorRate": { "applicability": "not-applicable", "basis": "unavailable", "explanation": "Die gelieferte Ausgabe ist eine therapeutische Sitzungsnotiz. Bewertet werden dokumentationsrelevante Fakten und ihre Zuordnung, nicht die Wortfolge des Gesprächs." } }, "score": { "version": "2.2", "value": 72.7879, "ci95": [ 64.1, 77.6 ], "ci95Method": "paired-cluster-bootstrap-beta-critical", "pairedDifferences": [ { "provider": "healthjet", "ci95": [ -0.44, 18.47 ] }, { "provider": "playnvoice", "ci95": [ -6.82, 8.35 ] }, { "provider": "heidi", "ci95": [ 3.47, 23.37 ] }, { "provider": "tandem-health", "ci95": [ -1.69, 16.98 ] }, { "provider": "via-health", "ci95": [ -13.74, 2.91 ] }, { "provider": "dokudachs", "ci95": [ -12.2, 5.55 ] }, { "provider": "iptas", "ci95": [ -9.88, 4.33 ] }, { "provider": "clara-health", "ci95": [ -6.53, 9.74 ] }, { "provider": "noa-notes", "ci95": [ 3.88, 19.15 ] }, { "provider": "psynex", "ci95": [ -12.41, 2.25 ] }, { "provider": "upheal", "ci95": [ 7.32, 28.26 ] } ], "rank": 5, "cohortSize": 12, "criticalRatePercent": 3.704, "contentQuality": 90.923, "references": { "key": "therapy-notes", "qualityErrorPoints": 30, "correctionMinutes": 20, "criticalPercent": 20 }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 69.743, "weight": 0.6, "contribution": 41.846 }, { "key": "critical", "label": "Schwerwiegende Fehler", "value": 81.481, "weight": 0.2, "contribution": 16.296 }, { "key": "effort", "label": "Korrekturaufwand", "value": 64.306, "weight": 0.15, "contribution": 9.646 }, { "key": "reliability", "label": "Abschlussquote", "value": 100, "weight": 0.05, "contribution": 5 } ] }, "mainMetric": { "label": "Fakten-F1", "abbreviation": "F1", "value": 90.923, "direction": "higher", "ci95": [ 89.45, 92.28 ] }, "transcription": null, "facts": { "truePositive": 3000, "falsePositive": 275, "falseNegative": 324, "referenceFacts": 3324, "outputFacts": 3275, "precisionPercent": 91.603, "precisionCi95": [ 89.65, 93.39 ], "recallPercent": 90.253, "recallCi95": [ 88.83, 91.66 ], "f1Percent": 90.923, "f1Ci95": [ 89.45, 92.28 ] }, "latency": { "p50Seconds": 371.9, "p95Seconds": 601.4, "mode": "file-upload", "start": "Uploadstart", "end": "Vollständiges Dokument verfügbar" }, "correction": { "minutesPerAudioHour": 7.1388, "ci95": [ 6.05, 8.34 ], "estimate": { "outputs": 108, "audioSeconds": 310800, "minutes": 616.3, "ci": [ 6.05, 8.34 ], "audioHours": 86.331 } }, "additionalMetrics": [ { "key": "critical-documents", "label": "Dokumente mit schwerwiegendem Fehler", "numerator": 4, "denominator": 108, "valuePercent": 3.704, "direction": "lower", "definition": "Ausgaben mit mindestens einem potenziell schwerwiegenden medizinischen Fehler pro abgeschlossener Ausgabe. Bewertet wird jeder Fall nach einer festgelegten Fehlerrubrik. Fehler bei Medikation oder Verneinung zählen hier nur, wenn die Rubrik die betroffene Angabe als potenziell schwerwiegend einstuft. Die Zähler je Fehlerart enthalten auch folgenlose Abweichungen.", "ci95": [ 1.02, 12.47 ], "ci95Method": "wilson-design-effect", "designEffect": 1.9778 }, { "key": "unsupported-statements", "label": "Falsche oder unbelegte Aussagen", "numerator": 122, "denominator": 3275, "valuePercent": 3.725, "direction": "lower", "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.", "ci95": [ 2.83, 4.89 ], "ci95Method": "wilson-design-effect", "designEffect": 2.4562 }, { "key": "medical-term-errors", "label": "Fehler bei Fachbegriffen", "numerator": 58, "denominator": 1185, "valuePercent": 4.895, "direction": "lower", "definition": "Fachlich falsch wiedergegebene oder ausgelassene medizinische Konzepte pro annotiertem Fachkonzept der Referenz. Synonyme gelten bei gleicher Bedeutung als korrekt.", "ci95": [ 3.29, 7.21 ], "ci95Method": "wilson-design-effect", "designEffect": 2.4719 }, { "key": "medication-errors", "label": "Fehler bei Medikamenten und Dosierungen", "numerator": 7, "denominator": 75, "valuePercent": 9.333, "direction": "lower", "definition": "Falsch wiedergegebene oder ausgelassene Angaben zu Wirkstoff, Dosis, Einheit und Einnahme pro annotierter Medikationsangabe. Jede Angabe zählt höchstens einmal.", "ci95": [ 3.3, 23.67 ], "ci95Method": "wilson-design-effect", "designEffect": 2.2198 }, { "key": "negation-errors", "label": "Fehler bei Verneinungen", "numerator": 11, "denominator": 435, "valuePercent": 2.529, "direction": "lower", "definition": "Verlorene, hinzugefügte oder umgekehrte Negationen pro Referenzaussage mit verneintem oder ausdrücklich bestätigtem Befund. Eine Aussage zählt höchstens einmal.", "ci95": [ 0.99, 6.31 ], "ci95Method": "wilson-design-effect", "designEffect": 2.7303 }, { "key": "temporal-errors", "label": "Fehler bei zeitlichen Angaben", "numerator": 44, "denominator": 969, "valuePercent": 4.541, "direction": "lower", "definition": "Falsch zugeordnete oder ausgelassene Zeitpunkte, Dauern und zeitliche Beziehungen pro annotierter zeitlicher Referenzangabe.", "ci95": [ 2.88, 7.08 ], "ci95Method": "wilson-design-effect", "designEffect": 2.472 }, { "key": "attribution-errors", "label": "Fehler bei der Zuordnung", "numerator": 43, "denominator": 1908, "valuePercent": 2.254, "direction": "lower", "definition": "Falsche oder ausgelassene Zuordnung von Aussagen zu Patient, behandelnder Person oder Drittperson pro Referenzfakt mit erforderlicher Quellenzuordnung.", "ci95": [ 1.38, 3.65 ], "ci95Method": "wilson-design-effect", "designEffect": 2.7304 }, { "key": "risk-assessment-errors", "label": "Fehler bei Risikohinweisen", "numerator": 5, "denominator": 171, "valuePercent": 2.924, "direction": "lower", "definition": "Ausgelassene, hinzugefügte oder falsch eingeordnete Aussagen zu Selbstgefährdung und Schutzfaktoren pro annotierter risikorelevanter Referenzaussage. Bewertet wird anhand des Gesprächs nach einer festgelegten Rubrik.", "ci95": [ 0.82, 9.87 ], "ci95Method": "wilson-design-effect", "designEffect": 2.4129 } ], "errorTypes": [ { "label": "Nicht erfasste Referenzfakten", "count": 324 }, { "label": "Falsche oder unbelegte Aussagen", "count": 122 }, { "label": "Zutreffende, aber nicht relevante Aussagen", "count": 153 } ], "failedRuns": [], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "LumaNote Browseranwendung mit Audio-Upload, Stand 3. Quartal 2026", "modelVersions": null, "template": { "id": "anbieter-verlaufsdokumentation", "version": null }, "instruction": { "id": "si-instr-therapie", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Dateiupload der Korpusdatei im Browser", "outputLanguage": "de-DE", "specialty": "Psychotherapie", "template": "Vorhandene Verlaufsdokumentation passend zur Therapieform", "documentLength": "Lange Ausgabe" }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": null }, "corpusMetadata": { "version": "1.0", "manifestSha256": "62780a1c05eb9562aa4bdbee3b73aedcf448ce0e8e6ba5fd85d7e17baa3b4bd8", "referenceVersion": "1.0", "referenceSha256": "62c50ae99e53e02e016470714f0a6524d90a92407fe393d48adae95f19a8ee2a", "sourceScenarioCount": 36, "evaluatedScenarioCount": 36, "totalAudioSeconds": 103620, "durationSeconds": { "minimum": 2220, "maximum": 3540 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 1 } ], "conversions": [], "exclusions": [] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 36, "resamples": 2000, "seed": 3733937332, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "0c35a46bc36056c43d2f55385441679c130a0d1ef5bcb7bd6cb2f19411cef23a" } }, { "id": "lumanote/medical-scribes:anamnesis-report", "provider": "lumanote", "providerName": "LumaNote", "test": "medical-scribes:anamnesis-report", "label": "Anamneseberichte", "category": "medical-scribes", "task": "anamnesis-report", "url": "https://scribeindex.com/anbieter/lumanote/test/#anamneseberichte", "rankingUrl": "https://scribeindex.com/vergleich/medical-scribes/anamneseberichte/", "testPeriod": "2026-Q3", "protocol": "1.0", "corpus": "de-anamnese-v1", "scenarios": 24, "runs": 2, "completed": 48, "total": 48, "completionRatePercent": 100, "evaluation": { "output": "anamnesis-report", "semanticRubric": "anamnesis-facts-v1", "wordErrorRate": { "applicability": "not-applicable", "basis": "unavailable", "explanation": "Bewertet wird der ausführliche Anamnesebericht aus dem aufgezeichneten Gespräch. Gegliederte Abschnitte, indirekte Rede und Umformulierungen werden semantisch abgeglichen, nicht gegen die Wortfolge des Audios bewertet." } }, "score": { "version": "2.2", "value": 69.049, "ci95": [ 56.4, 74.4 ], "ci95Method": "paired-cluster-bootstrap-beta-critical", "pairedDifferences": [ { "provider": "healthjet", "ci95": [ -17.88, 8.17 ] }, { "provider": "tippiti", "ci95": [ -25.94, -3.17 ] } ], "rank": 3, "cohortSize": 3, "criticalRatePercent": 6.25, "contentQuality": 89.786, "references": { "key": "anamnesis-report", "qualityErrorPoints": 30, "correctionMinutes": 84, "criticalPercent": 20 }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 65.952, "weight": 0.6, "contribution": 39.571 }, { "key": "critical", "label": "Schwerwiegende Fehler", "value": 68.75, "weight": 0.2, "contribution": 13.75 }, { "key": "effort", "label": "Korrekturaufwand", "value": 71.519, "weight": 0.15, "contribution": 10.728 }, { "key": "reliability", "label": "Abschlussquote", "value": 100, "weight": 0.05, "contribution": 5 } ] }, "mainMetric": { "label": "Fakten-F1", "abbreviation": "F1", "value": 89.786, "direction": "higher", "ci95": [ 88.96, 90.63 ] }, "transcription": null, "facts": { "truePositive": 6887, "falsePositive": 528, "falseNegative": 1039, "referenceFacts": 7926, "outputFacts": 7415, "precisionPercent": 92.879, "precisionCi95": [ 91.81, 93.93 ], "recallPercent": 86.891, "recallCi95": [ 85.61, 88.13 ], "f1Percent": 89.786, "f1Ci95": [ 88.96, 90.63 ] }, "latency": { "p50Seconds": 509.8, "p95Seconds": 987.4, "mode": "file-upload", "start": "Uploadstart", "end": "Vollständiges Dokument verfügbar" }, "correction": { "minutesPerAudioHour": 23.9237, "ci95": [ 20.8, 27.14 ], "estimate": { "outputs": 48, "audioSeconds": 173520, "minutes": 1153.17, "ci": [ 20.8, 27.14 ], "audioHours": 48.202 } }, "additionalMetrics": [ { "key": "critical-documents", "label": "Dokumente mit schwerwiegendem Fehler", "numerator": 3, "denominator": 48, "valuePercent": 6.25, "direction": "lower", "definition": "Ausgaben mit mindestens einem potenziell schwerwiegenden medizinischen Fehler pro abgeschlossener Ausgabe. Bewertet wird jeder Fall nach einer festgelegten Fehlerrubrik. Fehler bei Medikation oder Verneinung zählen hier nur, wenn die Rubrik die betroffene Angabe als potenziell schwerwiegend einstuft. Die Zähler je Fehlerart enthalten auch folgenlose Abweichungen.", "ci95": [ 1.73, 20.08 ], "ci95Method": "wilson-design-effect", "designEffect": 1.4889 }, { "key": "unsupported-statements", "label": "Falsche oder unbelegte Aussagen", "numerator": 175, "denominator": 7415, "valuePercent": 2.36, "direction": "lower", "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.", "ci95": [ 1.89, 2.94 ], "ci95Method": "wilson-design-effect", "designEffect": 2.242 }, { "key": "medical-term-errors", "label": "Fehler bei Fachbegriffen", "numerator": 125, "denominator": 2286, "valuePercent": 5.468, "direction": "lower", "definition": "Fachlich falsch wiedergegebene oder ausgelassene medizinische Konzepte pro annotiertem Fachkonzept der Referenz. Synonyme gelten bei gleicher Bedeutung als korrekt.", "ci95": [ 4.39, 6.79 ], "ci95Method": "wilson-design-effect", "designEffect": 1.637 }, { "key": "medication-errors", "label": "Fehler bei Medikamenten und Dosierungen", "numerator": 14, "denominator": 306, "valuePercent": 4.575, "direction": "lower", "definition": "Falsch wiedergegebene oder ausgelassene Angaben zu Wirkstoff, Dosis, Einheit und Einnahme pro annotierter Medikationsangabe. Jede Angabe zählt höchstens einmal.", "ci95": [ 2.39, 8.57 ], "ci95Method": "wilson-design-effect", "designEffect": 1.6217 }, { "key": "negation-errors", "label": "Fehler bei Verneinungen", "numerator": 22, "denominator": 836, "valuePercent": 2.632, "direction": "lower", "definition": "Verlorene, hinzugefügte oder umgekehrte Negationen pro Referenzaussage mit verneintem oder ausdrücklich bestätigtem Befund. Eine Aussage zählt höchstens einmal.", "ci95": [ 1.48, 4.61 ], "ci95Method": "wilson-design-effect", "designEffect": 1.9327 }, { "key": "temporal-errors", "label": "Fehler bei zeitlichen Angaben", "numerator": 67, "denominator": 1828, "valuePercent": 3.665, "direction": "lower", "definition": "Falsch zugeordnete oder ausgelassene Zeitpunkte, Dauern und zeitliche Beziehungen pro annotierter zeitlicher Referenzangabe.", "ci95": [ 2.67, 5 ], "ci95Method": "wilson-design-effect", "designEffect": 1.7744 }, { "key": "attribution-errors", "label": "Fehler bei der Zuordnung", "numerator": 129, "denominator": 5186, "valuePercent": 2.487, "direction": "lower", "definition": "Falsche oder ausgelassene Zuordnung von Aussagen zu Patient, behandelnder Person oder Drittperson pro Referenzfakt mit erforderlicher Quellenzuordnung.", "ci95": [ 1.92, 3.21 ], "ci95Method": "wilson-design-effect", "designEffect": 2.2365 }, { "key": "detail-retention", "label": "Detailerhalt", "numerator": 4061, "denominator": 4766, "valuePercent": 85.208, "direction": "higher", "definition": "Korrekt erhaltene erforderliche Detailfakten pro vorab markiertem Detailfakt der vollständigen Anamnesereferenz. Angaben zu Vorgeschichte, Beschwerden, Verlauf, Behandlung und Lebensumständen werden getrennt annotiert. Fehlende Angaben sind keine Treffer.", "ci95": [ 83.28, 86.95 ], "ci95Method": "wilson-design-effect", "designEffect": 3.3007 }, { "key": "template-completeness", "label": "Vollständige Berichtsgliederung", "numerator": 751, "denominator": 876, "valuePercent": 85.731, "direction": "higher", "definition": "Vorhandene und inhaltlich korrekt befüllte Pflichtabschnitte pro aufgabenbezogen erforderlichem Abschnitt. Je nach Gesprächsinhalt sind 16 bis 20 Abschnitte der Berichtsvorlage erforderlich. Nicht erhobene Inhalte werden als nicht erhoben markiert und nicht ergänzt.", "ci95": [ 82.57, 88.4 ], "ci95Method": "wilson-design-effect", "designEffect": 1.5762 }, { "key": "contradiction-handling", "label": "Erhalt widersprüchlicher Angaben", "numerator": 78, "denominator": 102, "valuePercent": 76.471, "direction": "higher", "definition": "Korrekt getrennt und mit ihrer Quelle wiedergegebene widersprüchliche Angaben pro vorab annotiertem Widerspruchspaar. Ausgelassene oder ohne Quellenbasis aufgelöste Widersprüche sind keine Treffer.", "ci95": [ 62.87, 86.19 ], "ci95Method": "wilson-design-effect", "designEffect": 2.1032 }, { "key": "unsupported-inferences", "label": "Nicht belegte Schlussfolgerungen", "numerator": 44, "denominator": 622, "valuePercent": 7.074, "direction": "lower", "definition": "Nicht durch Gespräch oder bereitgestellten Kontext belegte Schlussfolgerungen pro tatsächlich ausgegebener Schlussfolgerung. Eine als fremde Einschätzung gekennzeichnete Aussage zählt nur bei korrekter Quellenzuordnung als belegt.", "ci95": [ 4.46, 11.04 ], "ci95Method": "wilson-design-effect", "designEffect": 2.5898 } ], "errorTypes": [ { "label": "Nicht erfasste Referenzfakten", "count": 1039 }, { "label": "Falsche oder unbelegte Aussagen", "count": 175 }, { "label": "Zutreffende, aber nicht relevante Aussagen", "count": 353 } ], "failedRuns": [], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "LumaNote Browseranwendung mit Audio-Upload, Stand 3. Quartal 2026", "modelVersions": null, "template": { "id": "anbieter-biografische-anamnese", "version": null }, "instruction": { "id": "si-instr-anamnese", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Dateiupload der Korpusdatei im Browser", "outputLanguage": "de-DE", "specialty": "Psychotherapie", "template": "Vorhandene Vorlage für biografische Anamnesen", "documentLength": "Lange Ausgabe" }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": null }, "corpusMetadata": { "version": "1.0", "manifestSha256": "fd43d74a52c8f38d1962a41126bf5f14f7d1f35990ef9e325e5a5c9b4a8e750e", "referenceVersion": "1.0", "referenceSha256": "f29faa81a90ca61e58fc49886c47b58ec1ff812e17abf3c5ffd0a6f9c54a8417", "sourceScenarioCount": 25, "evaluatedScenarioCount": 24, "totalAudioSeconds": 86760, "durationSeconds": { "minimum": 2220, "maximum": 5100 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 2 } ], "conversions": [], "exclusions": [ { "scenarioId": "anamnese-009", "reason": "Aufnahme vorzeitig abgebrochen, Gespräch unvollständig." } ] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 24, "resamples": 2000, "seed": 4114781480, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "507123a351cd2e8740278c579658de54ed5f0b6c9b5e1c6d7d6e788ac20cc2a3" } }, { "id": "maestra/untertitel:file-subtitles", "provider": "maestra", "providerName": "Maestra", "test": "untertitel:file-subtitles", "label": "Untertitel für Videodateien", "category": "untertitel", "task": "file-subtitles", "url": "https://scribeindex.com/anbieter/maestra/test/#videodateien", "rankingUrl": "https://scribeindex.com/vergleich/untertitel/videodateien/", "testPeriod": "2026-Q3", "protocol": "1.0", "corpus": "de-untertitel-v1", "scenarios": 40, "runs": 3, "completed": 120, "total": 120, "completionRatePercent": 100, "evaluation": { "output": "subtitles", "semanticRubric": null, "wordErrorRate": { "applicability": "word-aligned", "basis": "delivered-output", "explanation": "WER wird aus dem zusammengeführten Text der exportierten SRT- oder WebVTT-Datei gegen die normalisierte Referenz berechnet. Zeitmarken und Segmentnummern zählen nicht." } }, "score": { "version": "2.2", "value": 55.6846, "ci95": [ 53.2, 57.6 ], "ci95Method": "paired-cluster-bootstrap", "pairedDifferences": [ { "provider": "ai-media", "ci95": [ -6.75, -1.05 ] }, { "provider": "clevercast", "ci95": [ 7.07, 14.21 ] }, { "provider": "happy-scribe", "ci95": [ -0.25, 5.76 ] }, { "provider": "amberscript", "ci95": [ 1.16, 14.06 ] }, { "provider": "sonix", "ci95": [ 5.23, 11.63 ] }, { "provider": "veed", "ci95": [ 6.76, 17.5 ] }, { "provider": "kapwing", "ci95": [ 13.35, 20.47 ] } ], "rank": 2, "cohortSize": 8, "criticalRatePercent": null, "contentQuality": 85.64, "references": { "key": "file-subtitles", "qualityErrorPoints": 30, "correctionMinutes": 233, "criticalPercent": null }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 52.134, "weight": 0.75, "contribution": 39.101 }, { "key": "effort", "label": "Korrekturaufwand", "value": 57.919, "weight": 0.2, "contribution": 11.584 }, { "key": "reliability", "label": "Abschlussquote", "value": 100, "weight": 0.05, "contribution": 5 } ] }, "mainMetric": { "label": "Wortfehlerrate", "abbreviation": "WER", "value": 7.043, "direction": "lower", "ci95": [ 6.55, 7.51 ] }, "transcription": { "referenceWords": 287784, "substitutions": 11365, "deletions": 5410, "insertions": 3494, "errors": 20269, "werPercent": 7.043, "ci95": [ 6.55, 7.51 ], "comparable": true }, "facts": null, "latency": { "p50Seconds": 257.8, "p95Seconds": 615.5, "mode": "file-upload", "start": "Uploadstart", "end": "Vollständiger Export verfügbar" }, "correction": { "minutesPerAudioHour": 98.049, "ci95": [ 91.57, 104.98 ], "estimate": { "outputs": 120, "audioSeconds": 145500, "minutes": 3963.14, "ci": [ 91.57, 104.98 ], "audioHours": 40.42 } }, "additionalMetrics": [ { "key": "cer", "label": "Zeichenfehlerrate · CER", "numerator": 52256, "denominator": 1860348, "valuePercent": 2.809, "direction": "lower", "definition": "Zeichenabweichungen pro Referenzzeichen nach NFC-Normalisierung, einheitlicher Groß- und Kleinschreibung, entfernten Satzzeichen und zu einem Leerzeichen zusammengefasstem Leerraum. Leerzeichen zählen als Zeichen.", "ci95": [ 2.61, 2.99 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "subtitle-timing-accuracy", "label": "Zeitlich passende Untertitel", "numerator": 22666, "denominator": 29448, "valuePercent": 76.97, "direction": "higher", "definition": "Vollständig abgedeckte Referenzsegmente, bei denen der früheste Beginn und das späteste Ende der zugeordneten Untertitel jeweils höchstens 200 ms von der Referenz abweichen. Fehlende Segmente zählen als nicht passend.", "ci95": [ 74.23, 79.5 ], "ci95Method": "wilson-design-effect", "designEffect": 29.9602 }, { "key": "subtitle-layout-accuracy", "label": "Lesbare Untertitel", "numerator": 23663, "denominator": 29448, "valuePercent": 80.355, "direction": "higher", "definition": "Vollständig abgedeckte Referenzsegmente mit höchstens 2 Zeilen, 42 Zeichen je Zeile und 17 Zeichen je Sekunde in allen zugeordneten Ausgabesegmenten.", "ci95": [ 78.25, 82.3 ], "ci95Method": "wilson-design-effect", "designEffect": 19.8956 } ], "scalarMetrics": [ { "key": "subtitle-timing-offset-ms", "label": "Mittlere Zeitabweichung", "value": 267.29, "unit": "ms", "direction": "lower", "definition": "Mittel der absoluten Abweichung der äußeren Start- und Endgrenzen von den zugeordneten Referenzsegmenten, gewichtet je Referenzsegment.", "statistic": "mean", "sampleSize": 29313, "ci": [ 257.11, 279.07 ] }, { "key": "subtitle-reading-speed-cps", "label": "Mittlere Lesegeschwindigkeit", "value": 14.42, "unit": "Zeichen/s", "direction": "none", "definition": "Sichtbare Zeichen einschließlich Leerzeichen innerhalb der Zeilen, geteilt durch die jeweilige Standzeit, je ausgegebenem Untertitel, gemittelt über alle ausgegebenen Untertitel.", "statistic": "mean", "sampleSize": 29892, "ci": [ 13.82, 15.02 ] }, { "key": "subtitle-line-length-cpl", "label": "Mittlere Zeilenlänge", "value": 34.31, "unit": "Zeichen/Zeile", "direction": "none", "definition": "Mittlere Zahl sichtbarer Unicode-Zeichen je ausgegebener Untertitelzeile.", "statistic": "mean", "sampleSize": 54936, "ci": [ 33.9, 34.73 ] } ], "errorTypes": [ { "label": "Ersetzungen", "count": 11365 }, { "label": "Auslassungen", "count": 5410 }, { "label": "Einfügungen", "count": 3494 } ], "failedRuns": [], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "Web-App, deutsche Videountertitel, Stand 3. Quartal 2026", "modelVersions": null, "template": null, "instruction": { "id": "si-instr-subtitles", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "MP4-Dateiupload", "language": "Deutsch", "translation": false, "export": "SRT", "manualCorrection": false }, "scorer": { "name": "scribeindex-subtitles", "version": "1.0" }, "normalization": { "id": "de-subtitle-wer", "version": "1.0" } }, "corpusMetadata": { "version": "1.0", "manifestSha256": "a35c5ee698d61b365b97c82257195aeb72edbd47eab9da548608335d37899941", "referenceVersion": "1.0", "referenceSha256": "6ec7f71b2989eb19791326360ba6649b7c8c020915a316303d8763a8f58b2d45", "sourceScenarioCount": 40, "evaluatedScenarioCount": 40, "totalAudioSeconds": 48480, "durationSeconds": { "minimum": 180, "maximum": 3540 }, "audioFormats": [ { "codec": "H.264 MP4, AAC-LC", "sampleRateHertz": 48000, "channels": 2 } ], "conversions": [], "exclusions": [] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 40, "resamples": 2000, "seed": 1605653364, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "22c41832e7f4054b58c4911e41b1b961649b0482f9f511ad72891e68023bafbc" } }, { "id": "maestra/untertitel:live-subtitles", "provider": "maestra", "providerName": "Maestra", "test": "untertitel:live-subtitles", "label": "Live-Untertitel", "category": "untertitel", "task": "live-subtitles", "url": "https://scribeindex.com/anbieter/maestra/test/#live", "rankingUrl": "https://scribeindex.com/vergleich/untertitel/live/", "testPeriod": "2026-Q3", "protocol": "1.0", "corpus": "de-live-untertitel-v1", "scenarios": 30, "runs": 2, "completed": 60, "total": 60, "completionRatePercent": 100, "evaluation": { "output": "live-subtitles", "semanticRubric": null, "wordErrorRate": { "applicability": "word-aligned", "basis": "delivered-output", "explanation": "WER wird aus dem endgültigen Stand der angezeigten Untertitel gegen die normalisierte Referenz berechnet. Zwischenstände der Anzeige gehen in die Stabilität ein, nicht in die WER." } }, "score": { "version": "2.2", "value": 47.9952, "ci95": [ 46.3, 49.9 ], "ci95Method": "paired-cluster-bootstrap", "pairedDifferences": [ { "provider": "ai-media", "ci95": [ -24.65, -21.22 ] }, { "provider": "wordly", "ci95": [ -7.74, -2.75 ] }, { "provider": "interprefy", "ci95": [ -14.96, -10.98 ] }, { "provider": "clevercast", "ci95": [ -18.49, -13.53 ] }, { "provider": "syncwords", "ci95": [ -16.12, -12.8 ] } ], "rank": 6, "cohortSize": 6, "criticalRatePercent": null, "contentQuality": 84.048, "references": { "key": "live-subtitles", "qualityErrorPoints": 30, "correctionMinutes": 276, "criticalPercent": null }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 46.825, "weight": 0.75, "contribution": 35.119 }, { "key": "effort", "label": "Korrekturaufwand", "value": 39.38, "weight": 0.2, "contribution": 7.876 }, { "key": "reliability", "label": "Abschlussquote", "value": 100, "weight": 0.05, "contribution": 5 } ] }, "mainMetric": { "label": "Wortfehlerrate", "abbreviation": "WER", "value": 9.531, "direction": "lower", "ci95": [ 8.91, 10.15 ] }, "transcription": { "referenceWords": 299308, "substitutions": 15228, "deletions": 8358, "insertions": 4941, "errors": 28527, "werPercent": 9.531, "ci95": [ 8.91, 10.15 ], "comparable": true }, "facts": null, "latency": { "p50Seconds": 2.1, "p95Seconds": 3.7, "mode": "live-stream", "start": "Wortende im Ton beim Publikum", "end": "Erste Anzeige des Wortes in endgültiger Form" }, "correction": { "minutesPerAudioHour": 167.3104, "ci95": [ 158.55, 175.33 ], "estimate": { "outputs": 60, "audioSeconds": 127620, "minutes": 5931.32, "ci": [ 158.55, 175.33 ], "audioHours": 35.451 } }, "additionalMetrics": [ { "key": "cer", "label": "Zeichenfehlerrate · CER", "numerator": 75728, "denominator": 1938614, "valuePercent": 3.906, "direction": "lower", "definition": "Zeichenabweichungen pro Referenzzeichen nach NFC-Normalisierung, einheitlicher Groß- und Kleinschreibung, entfernten Satzzeichen und zu einem Leerzeichen zusammengefasstem Leerraum. Leerzeichen zählen als Zeichen.", "ci95": [ 3.64, 4.16 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "live-caption-timeliness", "label": "Rechtzeitig angezeigte Wörter", "numerator": 231128, "denominator": 299308, "valuePercent": 77.221, "direction": "higher", "definition": "Referenzwörter, deren endgültige Form höchstens 3 Sekunden vor oder nach dem Wortende im Ton beim Publikum erstmals angezeigt wird, pro Referenzwort. Fehlende und falsch erkannte Wörter zählen als nicht rechtzeitig.", "ci95": [ 75.79, 78.59 ], "ci95Method": "wilson-design-effect", "designEffect": 86.5172 }, { "key": "live-caption-stability", "label": "Stabil angezeigte Wörter", "numerator": 234162, "denominator": 299308, "valuePercent": 78.234, "direction": "higher", "definition": "Referenzwörter, die ab ihrer ersten Anzeige unverändert in endgültiger Form stehen, pro Referenzwort. Vorher anders angezeigte, später umgeschriebene oder entfernte sowie fehlende und falsch erkannte Wörter zählen als nicht stabil.", "ci95": [ 76.66, 79.73 ], "ci95Method": "wilson-design-effect", "designEffect": 106.8291 } ], "scalarMetrics": [ { "key": "live-audio-delay", "label": "Mittlere Übertragungsverzögerung", "value": 0, "unit": "s", "direction": "none", "definition": "Mittlere Zeit vom Wortende im Eingangston bis zum Wortende im Ton beim Publikum. Gewichtet wird je Referenzwort. Bei unverzögerter Audioausgabe beträgt sie null.", "statistic": "mean", "sampleSize": 299308, "ci": [ 0, 0 ] } ], "errorTypes": [ { "label": "Ersetzungen", "count": 15228 }, { "label": "Auslassungen", "count": 8358 }, { "label": "Einfügungen", "count": 4941 } ], "failedRuns": [], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "Maestra Live im Browser, Stand 3. Quartal 2026", "modelVersions": null, "template": null, "instruction": { "id": "si-instr-live-subtitles", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Virtueller Mikrofoneingang als Mikrofon der Live-Sitzung", "language": "Deutsch", "translation": false, "display": "Untertitelansicht im Browser", "asrSelection": "Erweiterte Erkennung des Anbieters eingeschaltet", "saveSession": true, "correctionSource": "Gespeichertes Originaltranskript und protokollierte Anzeigeereignisse", "capture": "Ereignisprotokoll der angezeigten Untertitel" }, "scorer": { "name": "scribeindex-live-subtitles", "version": "1.0" }, "normalization": { "id": "de-subtitle-wer", "version": "1.0" } }, "corpusMetadata": { "version": "1.0", "manifestSha256": "82acc1a0ff5f8f62ab47815747ab1a96383fb705780eb9597c1d3c51a6b044aa", "referenceVersion": "1.0", "referenceSha256": "12f7090789671983e962a05c01cb6abb03849e6536dc9afde6de15f11454f43b", "sourceScenarioCount": 30, "evaluatedScenarioCount": 30, "totalAudioSeconds": 63840, "durationSeconds": { "minimum": 480, "maximum": 5340 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 1 } ], "conversions": [ { "description": "Einspielung der Aufnahme in Echtzeit als Audioquelle der Live-Sitzung über einen virtuellen Audioeingang mit −20 dBFS RMS", "tool": "scribeindex-playback", "version": "1.0" } ], "exclusions": [] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 30, "resamples": 2000, "seed": 3355895643, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "0f26e97bd0626cfdf95f5dee7a05315be56e31165714a518399326f79379755a" } }, { "id": "maxqda-transcription/audio-transkription", "provider": "maxqda-transcription", "providerName": "MAXQDA Transcription", "test": "audio-transkription", "label": "Audiotranskription", "category": "audio-transkription", "url": "https://scribeindex.com/anbieter/maxqda-transcription/test/#audio-transkription", "rankingUrl": "https://scribeindex.com/vergleich/audio-transkription/", "testPeriod": "2026-Q3", "protocol": "1.0", "corpus": "de-audio-v1", "scenarios": 44, "runs": 3, "completed": 132, "total": 132, "completionRatePercent": 100, "evaluation": { "output": "verbatim-transcript", "semanticRubric": null, "wordErrorRate": { "applicability": "word-aligned", "basis": "delivered-output", "explanation": "WER wird aus der gelieferten wortnahen Transkriptausgabe gegen die normalisierte Referenz berechnet." } }, "score": { "version": "2.2", "value": 75.6257, "ci95": [ 73.3, 77.6 ], "ci95Method": "paired-cluster-bootstrap", "pairedDifferences": [ { "provider": "amberscript", "ci95": [ 9.12, 13.54 ] }, { "provider": "happy-scribe", "ci95": [ 7.19, 11.75 ] }, { "provider": "turboscribe", "ci95": [ 11.71, 17.01 ] }, { "provider": "f4", "ci95": [ 14.38, 20.4 ] }, { "provider": "sonix", "ci95": [ 12.05, 17.05 ] }, { "provider": "notta", "ci95": [ 17.6, 22.63 ] }, { "provider": "noscribe", "ci95": [ 11.21, 16.62 ] }, { "provider": "trint", "ci95": [ 13.59, 18.94 ] } ], "rank": 1, "cohortSize": 9, "criticalRatePercent": null, "contentQuality": 92.872, "references": { "key": "audio-transkription", "qualityErrorPoints": 30, "correctionMinutes": 220, "criticalPercent": null }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 76.24, "weight": 0.75, "contribution": 57.18 }, { "key": "effort", "label": "Korrekturaufwand", "value": 67.229, "weight": 0.2, "contribution": 13.446 }, { "key": "reliability", "label": "Abschlussquote", "value": 100, "weight": 0.05, "contribution": 5 } ] }, "mainMetric": { "label": "Wortfehlerrate", "abbreviation": "WER", "value": 6.499, "direction": "lower", "ci95": [ 5.97, 7.13 ] }, "transcription": { "referenceWords": 563238, "substitutions": 18374, "deletions": 9810, "insertions": 8423, "errors": 36607, "werPercent": 6.499, "ci95": [ 5.97, 7.13 ], "comparable": true }, "facts": null, "latency": { "p50Seconds": 391.6, "p95Seconds": 1388.9, "mode": "file-upload", "start": "Uploadstart", "end": "Vollständiger Export verfügbar" }, "correction": { "minutesPerAudioHour": 72.0958, "ci95": [ 65.99, 78.68 ], "estimate": { "outputs": 132, "audioSeconds": 238560, "minutes": 4777.57, "ci": [ 65.99, 78.68 ], "audioHours": 66.267 } }, "additionalMetrics": [ { "key": "cer", "label": "Zeichenfehlerrate · CER", "numerator": 100741, "denominator": 3608808, "valuePercent": 2.792, "direction": "lower", "definition": "Zeichenabweichungen pro Referenzzeichen nach NFC-Normalisierung, einheitlicher Groß- und Kleinschreibung, entfernten Satzzeichen und zu einem Leerzeichen zusammengefasstem Leerraum. Leerzeichen zählen als Zeichen.", "ci95": [ 2.55, 3.07 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "der", "label": "Diarisierungsfehlerrate · DER", "numerator": 1925228, "denominator": 22399644, "valuePercent": 8.595, "direction": "lower", "definition": "Verpasste Sprache, fälschlich erkannte Sprache und falsch zugeordnete Sprecherzeit pro Referenzsprechzeit. Toleranz 250 ms um Referenzgrenzen, überlappende Sprache eingeschlossen. Liefert ein Dienst Sprecherkennungen ohne eigene Zeitmarken, bestimmt ScribeIndex die Zeitmarken durch erzwungene Ausrichtung (Forced Alignment) des gelieferten Texts an der Aufnahme. Die DER berechnet ScribeIndex daraus wie bei allen anderen Diensten, mit verpasster und fälschlich erkannter Sprache und Fehlern an Segmentgrenzen.", "ci95": [ 7.84, 9.49 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "der-strict", "label": "DER ohne Toleranz", "numerator": 2667139, "denominator": 22399644, "valuePercent": 11.907, "direction": "lower", "definition": "Diarisierungsfehlerrate wie DER, jedoch ohne Toleranzbereich um Referenzgrenzen. Die Differenz zur DER zeigt den Anteil der Fehler an Segmentgrenzen.", "ci95": [ 10.85, 13.18 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null } ], "errorTypes": [ { "label": "Ersetzungen", "count": 18374 }, { "label": "Auslassungen", "count": 9810 }, { "label": "Einfügungen", "count": 8423 } ], "failedRuns": [], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "MAXQDA Transcription im Browser, Stand 3. Quartal 2026", "modelVersions": null, "template": null, "instruction": { "id": "si-instr-audio-wortgetreu", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Dateiupload im Browser", "language": "Deutsch (Deutschland)", "speakerRecognition": true, "customVocabularyEntries": 0, "transcriptStyle": "Transkript mit ausgeschalteter optionaler Zusammenfassung", "createSummary": false }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": { "id": "de-allg-wer", "version": "1.0" } }, "corpusMetadata": { "version": "1.0", "manifestSha256": "3bfaff5fa8338156ad4c6bef800ed2cec7c625802242a9f638e07991384aeffc", "referenceVersion": "1.0", "referenceSha256": "903e4e0cc118b16f9d63c460d4f5845b497a1f1d276c2c82b9a2294b542018b4", "sourceScenarioCount": 46, "evaluatedScenarioCount": 44, "totalAudioSeconds": 79500, "durationSeconds": { "minimum": 360, "maximum": 5280 }, "audioFormats": [ { "codec": "FLAC", "sampleRateHertz": 48000, "channels": 1 }, { "codec": "AAC-LC (M4A)", "sampleRateHertz": 44100, "channels": 1 }, { "codec": "Opus (WebM)", "sampleRateHertz": 48000, "channels": 1 }, { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 2 }, { "codec": "G.711 A-law (WAV)", "sampleRateHertz": 8000, "channels": 1 } ], "conversions": [ { "description": "FLAC, Opus-WebM und G.711 A-law werden mit FFmpeg zu PCM-WAV mit 24 Bit bei 48 kHz dekodiert. Die ursprüngliche Kanalzahl und der Sprachinhalt bleiben erhalten.", "tool": "FFmpeg", "version": "7.1.1" } ], "exclusions": [ { "scenarioId": "audio-038", "reason": "Eine mitwirkende Person widerrief die Einwilligung zur Nutzung der Aufnahme." }, { "scenarioId": "audio-041", "reason": "Referenz enthielt mehr als 5 % unverständliche Passagen." } ] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 44, "resamples": 2000, "seed": 1146018123, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "f8a6a79fd7ce74ec952adb5978dd20f46986d1fd5dc8a1502862be03c2f8e886" } }, { "id": "meetgeek/meeting-scribes", "provider": "meetgeek", "providerName": "MeetGeek", "test": "meeting-scribes", "label": "Meeting-Scribes", "category": "meeting-scribes", "url": "https://scribeindex.com/anbieter/meetgeek/test/#meeting-scribes", "rankingUrl": "https://scribeindex.com/vergleich/meeting-scribes/", "testPeriod": "2026-Q2", "protocol": "1.0", "corpus": "de-meeting-v1", "scenarios": 38, "runs": 2, "completed": 74, "total": 76, "completionRatePercent": 97.368, "evaluation": { "output": "meeting-summary", "semanticRubric": "meeting-facts-v1", "wordErrorRate": { "applicability": "not-applicable", "basis": "unavailable", "explanation": "Bewertet werden das gelieferte Protokoll und die Sprecherzuordnung im exportierten Transkript. Die Transkript-WER gilt nur für dieses Transkript und zählt nicht zum ScribeIndex-Score." } }, "score": { "version": "2.2", "value": 60.6179, "ci95": [ 56.5, 64.3 ], "ci95Method": "paired-cluster-bootstrap", "pairedDifferences": [ { "provider": "jamie", "ci95": [ -3.62, 4.69 ] }, { "provider": "otter", "ci95": [ -0.12, 9 ] }, { "provider": "fireflies", "ci95": [ -5.7, 3.66 ] }, { "provider": "fathom", "ci95": [ -12.58, -5.08 ] }, { "provider": "granola", "ci95": [ -2.45, 8.19 ] }, { "provider": "tldv", "ci95": [ 1.06, 9.65 ] }, { "provider": "happy-scribe", "ci95": [ -3.2, 6.7 ] }, { "provider": "notta", "ci95": [ 8.34, 19.49 ] }, { "provider": "read-ai", "ci95": [ -2.98, 7.22 ] }, { "provider": "bluedot", "ci95": [ 5.26, 14.64 ] }, { "provider": "sembly", "ci95": [ 7.7, 16.07 ] }, { "provider": "plaud", "ci95": [ 0.34, 10.53 ] }, { "provider": "sally", "ci95": [ 0.65, 11.87 ] } ], "rank": 3, "cohortSize": 14, "criticalRatePercent": null, "contentQuality": 87.182, "references": { "key": "meeting-scribes", "qualityErrorPoints": 30, "correctionMinutes": 35, "criticalPercent": null }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 57.275, "weight": 0.75, "contribution": 42.956 }, { "key": "effort", "label": "Korrekturaufwand", "value": 63.966, "weight": 0.2, "contribution": 12.793 }, { "key": "reliability", "label": "Abschlussquote", "value": 97.368, "weight": 0.05, "contribution": 4.868 } ] }, "mainMetric": { "label": "Fakten-F1", "abbreviation": "F1", "value": 87.402, "direction": "higher", "ci95": [ 85.82, 88.84 ] }, "transcription": null, "facts": { "truePositive": 2345, "falsePositive": 279, "falseNegative": 397, "referenceFacts": 2742, "outputFacts": 2624, "precisionPercent": 89.367, "precisionCi95": [ 87.31, 91.2 ], "recallPercent": 85.522, "recallCi95": [ 83.76, 87.25 ], "f1Percent": 87.402, "f1Ci95": [ 85.82, 88.84 ] }, "latency": { "p50Seconds": 411.8, "p95Seconds": 833, "mode": "live-conversation", "start": "Ende der Gesprächserfassung", "end": "Vollständiges Protokoll verfügbar" }, "correction": { "minutesPerAudioHour": 12.6117, "ci95": [ 11.41, 13.96 ], "estimate": { "outputs": 74, "audioSeconds": 173820, "minutes": 608.92, "ci": [ 11.41, 13.96 ], "audioHours": 48.282 } }, "additionalMetrics": [ { "key": "transcript-wer", "label": "Transkript-WER", "numerator": 39988, "denominator": 371195, "valuePercent": 10.773, "direction": "lower", "definition": "Wortersetzungen, Auslassungen und Einfügungen im exportierten Transkript pro Referenzwort nach Normalisierungsprofil de-allg-wer. Bewertet das Transkript, nicht die Zusammenfassung.", "ci95": [ 9.85, 11.76 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "der", "label": "Diarisierungsfehlerrate · DER", "numerator": 2128310, "denominator": 15966104, "valuePercent": 13.33, "direction": "lower", "definition": "Verpasste Sprache, fälschlich erkannte Sprache und falsch zugeordnete Sprecherzeit pro Referenzsprechzeit. Toleranz 250 ms um Referenzgrenzen, überlappende Sprache eingeschlossen. Liefert ein Dienst Sprecherkennungen ohne eigene Zeitmarken, bestimmt ScribeIndex die Zeitmarken durch erzwungene Ausrichtung (Forced Alignment) des gelieferten Texts an der Aufnahme. Die DER berechnet ScribeIndex daraus wie bei allen anderen Diensten, mit verpasster und fälschlich erkannter Sprache und Fehlern an Segmentgrenzen.", "ci95": [ 11.92, 14.84 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "der-strict", "label": "DER ohne Toleranz", "numerator": 2751551, "denominator": 15966104, "valuePercent": 17.234, "direction": "lower", "definition": "Diarisierungsfehlerrate wie DER, jedoch ohne Toleranzbereich um Referenzgrenzen. Die Differenz zur DER zeigt den Anteil der Fehler an Segmentgrenzen.", "ci95": [ 15.46, 19.08 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "unsupported-statements", "label": "Falsche oder unbelegte Aussagen", "numerator": 161, "denominator": 2624, "valuePercent": 6.136, "direction": "lower", "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.", "ci95": [ 4.89, 7.66 ], "ci95Method": "wilson-design-effect", "designEffect": 2.2434 }, { "key": "decision-recall", "label": "Erfasste Beschlüsse", "numerator": 241, "denominator": 293, "valuePercent": 82.253, "direction": "higher", "definition": "Korrekt als Beschluss wiedergegebene Referenzbeschlüsse mit Geltungsbereich und Status pro Referenzbeschluss. Als Beschluss ausgegebene Vorschläge zählen nicht als Treffer.", "ci95": [ 76.09, 87.1 ], "ci95Method": "wilson-design-effect", "designEffect": 1.5911 }, { "key": "action-item-recall", "label": "Erkannte Aufgaben", "numerator": 401, "denominator": 444, "valuePercent": 90.315, "direction": "higher", "definition": "Referenzaufgaben, die im Protokoll als Aufgabe erscheinen, pro Referenzaufgabe. Zuständigkeit und Frist werden getrennt bewertet.", "ci95": [ 86.52, 93.13 ], "ci95Method": "wilson-design-effect", "designEffect": 1.4216 }, { "key": "action-owner-accuracy", "label": "Korrekte Zuständigkeiten", "numerator": 273, "denominator": 325, "valuePercent": 84, "direction": "higher", "definition": "Korrekt wiedergegebene verantwortliche Personen pro Referenzaufgabe mit ausdrücklich genannter Zuständigkeit. Nicht erkannte Aufgaben zählen als Fehler.", "ci95": [ 78.67, 88.2 ], "ci95Method": "wilson-design-effect", "designEffect": 1.4312 }, { "key": "action-deadline-accuracy", "label": "Korrekte Fristen", "numerator": 186, "denominator": 229, "valuePercent": 81.223, "direction": "higher", "definition": "Korrekt wiedergegebene Fristen pro Referenzaufgabe mit ausdrücklich genannter Frist. Nicht erkannte Aufgaben zählen als Fehler.", "ci95": [ 74.31, 86.61 ], "ci95Method": "wilson-design-effect", "designEffect": 1.4913 }, { "key": "action-tuple-accuracy", "label": "Vollständig korrekte Aufgaben", "numerator": 356, "denominator": 444, "valuePercent": 80.18, "direction": "higher", "definition": "Aufgaben, deren Tätigkeit, Zuständigkeit und Frist vollständig korrekt wiedergegeben werden, pro Referenzaufgabe. Nicht genannte Zuständigkeiten oder Fristen müssen als nicht genannt erscheinen.", "ci95": [ 75.47, 84.18 ], "ci95Method": "wilson-design-effect", "designEffect": 1.3839 } ], "errorTypes": [ { "label": "Nicht erfasste Referenzfakten", "count": 397 }, { "label": "Falsche oder unbelegte Aussagen", "count": 161 }, { "label": "Zutreffende, aber nicht relevante Aussagen", "count": 118 } ], "failedRuns": [ { "scenarioId": "meeting-005", "run": 2, "reason": "Kein Protokoll innerhalb des festgelegten Zeitlimits" }, { "scenarioId": "meeting-017", "run": 1, "reason": "Meeting-Bot verließ die Konferenz vorzeitig" } ], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "MeetGeek Web-App mit Meeting-Bot, Stand 2. Quartal 2026", "modelVersions": null, "template": { "id": "si-meeting-protokoll", "version": "1.0" }, "instruction": { "id": "si-instr-meeting", "version": "1.0" }, "customVocabulary": null, "settings": { "capture": "Meeting-Bot", "transcriptLanguage": "de-DE", "outputLanguage": "de-DE", "participantList": true, "dataRegion": "EU-Instanz" }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": { "id": "de-allg-wer", "version": "1.0" } }, "corpusMetadata": { "version": "1.0", "manifestSha256": "1a25115bb8a34e284f1d01d3860260a21cb8f5847004facb1596738bbac7ddab", "referenceVersion": "1.0", "referenceSha256": "eab8be0ab42fa45d7c98cb94b1a700dfc141ed5d7e96d67f4d9349c7d3a84d70", "sourceScenarioCount": 40, "evaluatedScenarioCount": 38, "totalAudioSeconds": 91260, "durationSeconds": { "minimum": 780, "maximum": 5220 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 2 }, { "codec": "Opus (WebM)", "sampleRateHertz": 48000, "channels": 1 } ], "conversions": [ { "description": "Einspielung über virtuelle Konferenzteilnehmende aus den getrennten ursprünglichen Sprecheraufnahmen. Hybride Raumsprecher bleiben gemeinsam auf einer unveränderten Raumspur. Aus der Korpusmischung werden keine Sprecher mit Hilfe der Referenz separiert.", "tool": "scribeindex-meeting-replay", "version": "1.0" } ], "exclusions": [ { "scenarioId": "meeting-012", "reason": "Sprecherreferenz wegen Übersprechen zweier Raummikrofone nicht belastbar." }, { "scenarioId": "meeting-029", "reason": "Teilnehmende widerriefen die Nutzung der Aufnahme." } ] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 38, "resamples": 2000, "seed": 4134088586, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "3ee50ed01707c6c0c1902b3d172d67b6fe4b33360c81d07433d846f0fcbe3781" } }, { "id": "mira-medical/medizinische-transkription", "provider": "mira-medical", "providerName": "MIRA medical", "test": "medizinische-transkription", "label": "Medizinische Spracherkennung", "category": "medizinische-transkription", "url": "https://scribeindex.com/anbieter/mira-medical/test/#medizinische-transkription", "rankingUrl": "https://scribeindex.com/vergleich/medizinische-spracherkennung/", "testPeriod": "2026-Q2", "protocol": "1.0", "corpus": "de-diktat-v1", "scenarios": 62, "runs": 3, "completed": 185, "total": 186, "completionRatePercent": 99.462, "evaluation": { "output": "verbatim-transcript", "semanticRubric": "clinical-facts-v1", "wordErrorRate": { "applicability": "word-aligned", "basis": "delivered-output", "explanation": "WER wird aus der gelieferten wortnahen Transkriptausgabe gegen die normalisierte Referenz berechnet." } }, "score": { "version": "2.2", "value": 81.6436, "ci95": [ 76.4, 83.8 ], "ci95Method": "paired-cluster-bootstrap-beta-critical", "pairedDifferences": [ { "provider": "dragon-medical-one", "ci95": [ -8.34, 1.03 ] }, { "provider": "heidi", "ci95": [ -16.41, -7.7 ] }, { "provider": "tippiti", "ci95": [ -19.82, -11.34 ] }, { "provider": "dragon-copilot", "ci95": [ -7.12, 2.22 ] }, { "provider": "dictnow", "ci95": [ -5.39, 4.54 ] }, { "provider": "fluency-direct", "ci95": [ -2.78, 5.98 ] }, { "provider": "idana-flow", "ci95": [ -16.42, -7.71 ] }, { "provider": "healthjet", "ci95": [ -14.93, -5.32 ] } ], "rank": 8, "cohortSize": 9, "criticalRatePercent": 1.081, "contentQuality": 94.167, "references": { "key": "medizinische-transkription", "qualityErrorPoints": 30, "correctionMinutes": 141, "criticalPercent": 15 }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 80.557, "weight": 0.6, "contribution": 48.334 }, { "key": "critical", "label": "Schwerwiegende Fehler", "value": 92.793, "weight": 0.2, "contribution": 18.559 }, { "key": "effort", "label": "Korrekturaufwand", "value": 65.183, "weight": 0.15, "contribution": 9.778 }, { "key": "reliability", "label": "Abschlussquote", "value": 99.462, "weight": 0.05, "contribution": 4.973 } ] }, "mainMetric": { "label": "Fakten-F1", "abbreviation": "F1", "value": 94.167, "direction": "higher", "ci95": [ 93.47, 94.89 ] }, "transcription": { "referenceWords": 102101, "substitutions": 4289, "deletions": 1954, "insertions": 1980, "errors": 8223, "werPercent": 8.054, "ci95": [ 7.32, 8.9 ], "comparable": true }, "facts": { "truePositive": 6256, "falsePositive": 401, "falseNegative": 374, "referenceFacts": 6630, "outputFacts": 6657, "precisionPercent": 93.976, "precisionCi95": [ 92.97, 94.97 ], "recallPercent": 94.359, "recallCi95": [ 93.41, 95.26 ], "f1Percent": 94.167, "f1Ci95": [ 93.47, 94.89 ] }, "latency": { "p50Seconds": 1.4, "p95Seconds": 2.4, "mode": "live-dictation", "start": "Ende des letzten zugespielten Wortes", "end": "Stabile nutzbare Textausgabe" }, "correction": { "minutesPerAudioHour": 49.0914, "ci95": [ 44.83, 53.47 ], "estimate": { "outputs": 185, "audioSeconds": 55620, "minutes": 758.07, "ci": [ 44.83, 53.47 ], "audioHours": 15.442 } }, "additionalMetrics": [ { "key": "recognition-errors", "label": "Erkennungsfehler", "numerator": 8223, "denominator": 102101, "valuePercent": 8.054, "direction": "lower", "definition": "Falsch erkannte, ausgelassene oder eingefügte Wörter pro Referenzwort, ohne zulässige Umformulierungen. Bei wortnaher Ausgabe entspricht der Wert der WER, dort zählt jede Abweichung vom Wortlaut. Bei KI-überarbeiteter Ausgabe zählen nur falsch erkannte oder inhaltlich veränderte Wörter. Für wortnahe Dienste ist die Zählung damit strenger.", "ci95": [ 7.32, 8.9 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "cer", "label": "Zeichenfehlerrate · CER", "numerator": 23695, "denominator": 736070, "valuePercent": 3.219, "direction": "lower", "definition": "Zeichenabweichungen pro Referenzzeichen nach NFC-Normalisierung, einheitlicher Groß- und Kleinschreibung, entfernten Satzzeichen und zu einem Leerzeichen zusammengefasstem Leerraum. Leerzeichen zählen als Zeichen.", "ci95": [ 2.96, 3.49 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "critical-documents", "label": "Dokumente mit schwerwiegendem Fehler", "numerator": 2, "denominator": 185, "valuePercent": 1.081, "direction": "lower", "definition": "Ausgaben mit mindestens einem potenziell schwerwiegenden medizinischen Fehler pro abgeschlossener Ausgabe. Bewertet wird jeder Fall nach einer festgelegten Fehlerrubrik. Fehler bei Medikation oder Verneinung zählen hier nur, wenn die Rubrik die betroffene Angabe als potenziell schwerwiegend einstuft. Die Zähler je Fehlerart enthalten auch folgenlose Abweichungen.", "ci95": [ 0.19, 5.82 ], "ci95Method": "wilson-design-effect", "designEffect": 1.9699 }, { "key": "unsupported-statements", "label": "Falsche oder unbelegte Aussagen", "numerator": 374, "denominator": 6657, "valuePercent": 5.618, "direction": "lower", "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.", "ci95": [ 4.8, 6.57 ], "ci95Method": "wilson-design-effect", "designEffect": 2.5361 }, { "key": "medical-term-errors", "label": "Fehler bei Fachbegriffen", "numerator": 229, "denominator": 11106, "valuePercent": 2.062, "direction": "lower", "definition": "Fachlich falsch wiedergegebene oder ausgelassene medizinische Konzepte pro annotiertem Fachkonzept der Referenz. Synonyme gelten bei gleicher Bedeutung als korrekt.", "ci95": [ 1.65, 2.58 ], "ci95Method": "wilson-design-effect", "designEffect": 2.9924 }, { "key": "medication-errors", "label": "Fehler bei Medikamenten und Dosierungen", "numerator": 16, "denominator": 752, "valuePercent": 2.128, "direction": "lower", "definition": "Falsch wiedergegebene oder ausgelassene Angaben zu Wirkstoff, Dosis, Einheit und Einnahme pro annotierter Medikationsangabe. Jede Angabe zählt höchstens einmal.", "ci95": [ 1, 4.45 ], "ci95Method": "wilson-design-effect", "designEffect": 2.4753 }, { "key": "negation-errors", "label": "Fehler bei Verneinungen", "numerator": 19, "denominator": 1100, "valuePercent": 1.727, "direction": "lower", "definition": "Verlorene, hinzugefügte oder umgekehrte Negationen pro Referenzaussage mit verneintem oder ausdrücklich bestätigtem Befund. Eine Aussage zählt höchstens einmal.", "ci95": [ 0.85, 3.47 ], "ci95Method": "wilson-design-effect", "designEffect": 2.5793 }, { "key": "temporal-errors", "label": "Fehler bei zeitlichen Angaben", "numerator": 40, "denominator": 1446, "valuePercent": 2.766, "direction": "lower", "definition": "Falsch zugeordnete oder ausgelassene Zeitpunkte, Dauern und zeitliche Beziehungen pro annotierter zeitlicher Referenzangabe.", "ci95": [ 1.68, 4.53 ], "ci95Method": "wilson-design-effect", "designEffect": 2.6855 }, { "key": "attribution-errors", "label": "Fehler bei der Zuordnung", "numerator": 57, "denominator": 2389, "valuePercent": 2.386, "direction": "lower", "definition": "Falsche oder ausgelassene Zuordnung von Aussagen zu Patient, behandelnder Person oder Drittperson pro Referenzfakt mit erforderlicher Quellenzuordnung.", "ci95": [ 1.6, 3.55 ], "ci95Method": "wilson-design-effect", "designEffect": 2.4358 }, { "key": "dictation-command-accuracy", "label": "Umgesetzte Diktatbefehle", "numerator": 1165, "denominator": 1310, "valuePercent": 88.931, "direction": "higher", "definition": "Richtig ausgeführte festgelegte Satzzeichen-, Absatz- und Korrekturbefehle pro ausgesprochenem Referenzbefehl. Der Befehl soll wirken und nicht als Befehlswort im Text stehen.", "ci95": [ 85.32, 91.74 ], "ci95Method": "wilson-design-effect", "designEffect": 3.5487 }, { "key": "self-correction-accuracy", "label": "Umgesetzte Selbstkorrekturen", "numerator": 3, "denominator": 247, "valuePercent": 1.215, "direction": "higher", "definition": "Spontane Selbstkorrekturen, nach denen das Dokument nur die endgültige Angabe enthält, pro annotierter Selbstkorrektur der Referenz. Steht die verworfene Angabe noch im Text oder ersetzt sie die endgültige, ist die Selbstkorrektur nicht umgesetzt. Ob eine Regel oder ein Sprachmodell sie umsetzt, spielt keine Rolle.", "ci95": [ 0.25, 5.51 ], "ci95Method": "wilson-design-effect", "designEffect": 2.273 }, { "key": "edit-instruction-accuracy", "label": "Umgesetzte Bearbeitungsanweisungen", "numerator": 0, "denominator": 89, "valuePercent": 0, "direction": "higher", "definition": "Frei formulierte Anweisungen an das Dokument, deren Wirkung das gelieferte Dokument zeigt, pro annotierter Anweisung der Referenz. Eine solche Anweisung ändert eine früher genannte Angabe, ergänzt Inhalt an einer früheren Stelle oder verschiebt einen Abschnitt. Steht sie wörtlich im Text oder bleibt sie ohne Wirkung, ist sie nicht umgesetzt. Ob eine Regel oder ein Sprachmodell sie umsetzt, spielt keine Rolle.", "ci95": [ 0, 10.25 ], "ci95Method": "wilson-design-effect", "designEffect": 2.6441 } ], "errorTypes": [ { "label": "Nicht erfasste Referenzfakten", "count": 374 }, { "label": "Falsche oder unbelegte Aussagen", "count": 374 }, { "label": "Zutreffende, aber nicht relevante Aussagen", "count": 27 }, { "label": "Ersetzungen", "count": 4289 }, { "label": "Auslassungen", "count": 1954 }, { "label": "Einfügungen", "count": 1980 } ], "failedRuns": [ { "scenarioId": "diktat-059", "run": 2, "reason": "Verbindung zur Cloud-Erkennung während der Einspielung getrennt, Text unvollständig" } ], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "Windows-Anwendung mit Cloud-Erkennung, Stand 2. Quartal 2026", "modelVersions": null, "template": null, "instruction": { "id": "si-instr-diktat-wortnah", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Live-Diktat in ein leeres Windows-Zieltextfeld", "language": "Deutsch", "vocabulary": "Medizinischer Grundwortschatz", "customVocabularyEntries": 0, "textBlocks": false, "speechProfile": "Neues Profil ohne Training" }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": { "id": "de-med-wer", "version": "1.0" } }, "corpusMetadata": { "version": "1.0", "manifestSha256": "6768f28bb70c0457e31c2eaafd4f3c498c05b4aec26501537825bbaa22733060", "referenceVersion": "1.0", "referenceSha256": "18772162e86230bce7cfb8a2f52f90244df2b1cdf52bdb6a646494dd3596dbb9", "sourceScenarioCount": 64, "evaluatedScenarioCount": 62, "totalAudioSeconds": 18720, "durationSeconds": { "minimum": 60, "maximum": 900 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 1 }, { "codec": "MP3 128 kbit/s", "sampleRateHertz": 44100, "channels": 1 }, { "codec": "AAC-LC (M4A)", "sampleRateHertz": 44100, "channels": 1 } ], "conversions": [ { "description": "Kontrollierte Wiedergabe der Referenzaufnahmen über einen virtuellen Mikrofoneingang mit −20 dBFS RMS in Echtzeit", "tool": "scribeindex-playback", "version": "1.0" }, { "description": "Dekodierung komprimierter Quelldateien zu PCM 48 kHz mono vor der Wiedergabe", "tool": "FFmpeg", "version": "7.1.1" } ], "exclusions": [ { "scenarioId": "diktat-023", "reason": "Die sprechende Person nannte versehentlich einen echten Namen. Die Aufnahme wurde vor der Referenzfreigabe zurückgezogen." }, { "scenarioId": "diktat-057", "reason": "Endgültige Angabe einer Selbstkorrektur auch nach Prüfung der Aufnahme nicht eindeutig hörbar." } ] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 62, "resamples": 2000, "seed": 4214870755, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "1feb69fb1f1a9ee5134ab583a5bf6a80625f840f53d2d833da91149ac9f1550a" } }, { "id": "noa-notes/medical-scribes:clinical-notes", "provider": "noa-notes", "providerName": "Noa Notes", "test": "medical-scribes:clinical-notes", "label": "Ärztliche Gesprächsdokumentation", "category": "medical-scribes", "task": "clinical-notes", "url": "https://scribeindex.com/anbieter/noa-notes/test/#aerztliche-dokumentation", "rankingUrl": "https://scribeindex.com/vergleich/medical-scribes/aerztliche-dokumentation/", "testPeriod": "2026-Q2", "protocol": "1.0", "corpus": "de-klinik-v1", "scenarios": 48, "runs": 3, "completed": 144, "total": 144, "completionRatePercent": 100, "evaluation": { "output": "clinical-note", "semanticRubric": "clinical-facts-v1", "wordErrorRate": { "applicability": "not-applicable", "basis": "unavailable", "explanation": "Die gelieferte Ausgabe ist eine verdichtete Dokumentation, keine wortnahe Abschrift. Deshalb gibt es keine WER." } }, "score": { "version": "2.2", "value": 75.2062, "ci95": [ 68.6, 78.7 ], "ci95Method": "paired-cluster-bootstrap-beta-critical", "pairedDifferences": [ { "provider": "healthjet", "ci95": [ -12.69, -0.51 ] }, { "provider": "heidi", "ci95": [ -13.04, -0.7 ] }, { "provider": "tippiti", "ci95": [ -17.66, -6.71 ] }, { "provider": "tandem-health", "ci95": [ -10.54, 2.48 ] }, { "provider": "doctolib-assistent", "ci95": [ -19.71, -8.98 ] }, { "provider": "dragon-copilot", "ci95": [ -14.02, -1.15 ] }, { "provider": "speechlive-health", "ci95": [ -11.32, 1.51 ] }, { "provider": "gospeech-medical", "ci95": [ -15.48, -4.93 ] }, { "provider": "quixxs", "ci95": [ 1.43, 15 ] }, { "provider": "idana-flow", "ci95": [ -12.04, 0.91 ] } ], "rank": 10, "cohortSize": 11, "criticalRatePercent": 2.778, "contentQuality": 90.996, "references": { "key": "clinical-notes", "qualityErrorPoints": 30, "correctionMinutes": 59, "criticalPercent": 20 }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 69.987, "weight": 0.6, "contribution": 41.992 }, { "key": "critical", "label": "Schwerwiegende Fehler", "value": 86.111, "weight": 0.2, "contribution": 17.222 }, { "key": "effort", "label": "Korrekturaufwand", "value": 73.28, "weight": 0.15, "contribution": 10.992 }, { "key": "reliability", "label": "Abschlussquote", "value": 100, "weight": 0.05, "contribution": 5 } ] }, "mainMetric": { "label": "Fakten-F1", "abbreviation": "F1", "value": 90.996, "direction": "higher", "ci95": [ 89.94, 92.09 ] }, "transcription": null, "facts": { "truePositive": 3618, "falsePositive": 197, "falseNegative": 519, "referenceFacts": 4137, "outputFacts": 3815, "precisionPercent": 94.836, "precisionCi95": [ 93.85, 95.88 ], "recallPercent": 87.455, "recallCi95": [ 86.02, 88.95 ], "f1Percent": 90.996, "f1Ci95": [ 89.94, 92.09 ] }, "latency": { "p50Seconds": 44.5, "p95Seconds": 120, "mode": "live-conversation", "start": "Beenden der Aufnahme", "end": "Vollständiges Dokument verfügbar" }, "correction": { "minutesPerAudioHour": 15.7646, "ci95": [ 13.7, 17.9 ], "estimate": { "outputs": 144, "audioSeconds": 104580, "minutes": 457.85, "ci": [ 13.7, 17.9 ], "audioHours": 29.043 } }, "additionalMetrics": [ { "key": "critical-documents", "label": "Dokumente mit schwerwiegendem Fehler", "numerator": 4, "denominator": 144, "valuePercent": 2.778, "direction": "lower", "definition": "Ausgaben mit mindestens einem potenziell schwerwiegenden medizinischen Fehler pro abgeschlossener Ausgabe. Bewertet wird jeder Fall nach einer festgelegten Fehlerrubrik. Fehler bei Medikation oder Verneinung zählen hier nur, wenn die Rubrik die betroffene Angabe als potenziell schwerwiegend einstuft. Die Zähler je Fehlerart enthalten auch folgenlose Abweichungen.", "ci95": [ 0.76, 9.52 ], "ci95Method": "wilson-design-effect", "designEffect": 1.9778 }, { "key": "unsupported-statements", "label": "Falsche oder unbelegte Aussagen", "numerator": 62, "denominator": 3815, "valuePercent": 1.625, "direction": "lower", "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.", "ci95": [ 1.09, 2.41 ], "ci95Method": "wilson-design-effect", "designEffect": 2.5949 }, { "key": "medical-term-errors", "label": "Fehler bei Fachbegriffen", "numerator": 221, "denominator": 3507, "valuePercent": 6.302, "direction": "lower", "definition": "Fachlich falsch wiedergegebene oder ausgelassene medizinische Konzepte pro annotiertem Fachkonzept der Referenz. Synonyme gelten bei gleicher Bedeutung als korrekt.", "ci95": [ 5.12, 7.73 ], "ci95Method": "wilson-design-effect", "designEffect": 2.5807 }, { "key": "medication-errors", "label": "Fehler bei Medikamenten und Dosierungen", "numerator": 24, "denominator": 621, "valuePercent": 3.865, "direction": "lower", "definition": "Falsch wiedergegebene oder ausgelassene Angaben zu Wirkstoff, Dosis, Einheit und Einnahme pro annotierter Medikationsangabe. Jede Angabe zählt höchstens einmal.", "ci95": [ 2.19, 6.73 ], "ci95Method": "wilson-design-effect", "designEffect": 2.1072 }, { "key": "negation-errors", "label": "Fehler bei Verneinungen", "numerator": 20, "denominator": 822, "valuePercent": 2.433, "direction": "lower", "definition": "Verlorene, hinzugefügte oder umgekehrte Negationen pro Referenzaussage mit verneintem oder ausdrücklich bestätigtem Befund. Eine Aussage zählt höchstens einmal.", "ci95": [ 1.26, 4.64 ], "ci95Method": "wilson-design-effect", "designEffect": 2.3416 }, { "key": "temporal-errors", "label": "Fehler bei zeitlichen Angaben", "numerator": 62, "denominator": 939, "valuePercent": 6.603, "direction": "lower", "definition": "Falsch zugeordnete oder ausgelassene Zeitpunkte, Dauern und zeitliche Beziehungen pro annotierter zeitlicher Referenzangabe.", "ci95": [ 4.48, 9.62 ], "ci95Method": "wilson-design-effect", "designEffect": 2.5451 }, { "key": "attribution-errors", "label": "Fehler bei der Zuordnung", "numerator": 93, "denominator": 2166, "valuePercent": 4.294, "direction": "lower", "definition": "Falsche oder ausgelassene Zuordnung von Aussagen zu Patient, behandelnder Person oder Drittperson pro Referenzfakt mit erforderlicher Quellenzuordnung.", "ci95": [ 3.09, 5.93 ], "ci95Method": "wilson-design-effect", "designEffect": 2.6831 } ], "errorTypes": [ { "label": "Nicht erfasste Referenzfakten", "count": 519 }, { "label": "Falsche oder unbelegte Aussagen", "count": 62 }, { "label": "Zutreffende, aber nicht relevante Aussagen", "count": 135 } ], "failedRuns": [], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "Noa Notes im Browser, Stand 2. Quartal 2026", "modelVersions": null, "template": { "id": "si-sprechstunde-notiz", "version": "1.0" }, "instruction": { "id": "si-instr-sprechstunde", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Aufnahme in der Anwendung über einen virtuellen Mikrofoneingang", "outputLanguage": "de-DE", "specialty": "Allgemeinmedizin" }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": null }, "corpusMetadata": { "version": "1.0", "manifestSha256": "07e4ff2bb9cb21c1b350d732b5e593f4f1830354a230c75954136f03552f7ba5", "referenceVersion": "1.0", "referenceSha256": "9ddba13742d943cd28b478c231a53d71ed064e1ba7681896e21faedfe2bb2207", "sourceScenarioCount": 50, "evaluatedScenarioCount": 48, "totalAudioSeconds": 34860, "durationSeconds": { "minimum": 360, "maximum": 2400 }, "audioFormats": [ { "codec": "AAC-LC (M4A)", "sampleRateHertz": 48000, "channels": 1 }, { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 2 } ], "conversions": [ { "description": "Einspielung der Gesprächsaufnahme in Echtzeit über einen virtuellen Mikrofoneingang mit −20 dBFS RMS", "tool": "scribeindex-playback", "version": "1.0" } ], "exclusions": [ { "scenarioId": "klinik-016", "reason": "Einwilligung zur Nutzung der Aufnahme vor Testbeginn widerrufen." }, { "scenarioId": "klinik-033", "reason": "Relevanzmenge auch nach fachlicher Durchsicht nicht eindeutig festlegbar." } ] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 48, "resamples": 2000, "seed": 2234884632, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "f630f8568c719864793b7aacf8e58f4627c6b7bdcdf5f3730abfda50ad6bfb37" } }, { "id": "noa-notes/medical-scribes:therapy-notes", "provider": "noa-notes", "providerName": "Noa Notes", "test": "medical-scribes:therapy-notes", "label": "Psychotherapeutische Sitzungsdokumentation", "category": "medical-scribes", "task": "therapy-notes", "url": "https://scribeindex.com/anbieter/noa-notes/test/#psychotherapie", "rankingUrl": "https://scribeindex.com/vergleich/medical-scribes/psychotherapie/", "testPeriod": "2026-Q2", "protocol": "1.0", "corpus": "de-therapie-v1", "scenarios": 36, "runs": 3, "completed": 106, "total": 108, "completionRatePercent": 98.148, "evaluation": { "output": "therapy-note", "semanticRubric": "clinical-facts-v1", "wordErrorRate": { "applicability": "not-applicable", "basis": "unavailable", "explanation": "Die gelieferte Ausgabe ist eine therapeutische Sitzungsnotiz. Bewertet werden dokumentationsrelevante Fakten und ihre Zuordnung, nicht die Wortfolge des Gesprächs." } }, "score": { "version": "2.2", "value": 60.7398, "ci95": [ 53.9, 64.9 ], "ci95Method": "paired-cluster-bootstrap-beta-critical", "pairedDifferences": [ { "provider": "healthjet", "ci95": [ -11.87, 6.47 ] }, { "provider": "playnvoice", "ci95": [ -18.04, -4.58 ] }, { "provider": "heidi", "ci95": [ -6.92, 10.27 ] }, { "provider": "tandem-health", "ci95": [ -12.35, 5.15 ] }, { "provider": "via-health", "ci95": [ -24.28, -9.75 ] }, { "provider": "dokudachs", "ci95": [ -22.48, -7.86 ] }, { "provider": "iptas", "ci95": [ -20.48, -8.1 ] }, { "provider": "clara-health", "ci95": [ -17.32, -3.35 ] }, { "provider": "lumanote", "ci95": [ -19.15, -3.88 ] }, { "provider": "psynex", "ci95": [ -23.14, -10.37 ] }, { "provider": "upheal", "ci95": [ -3.24, 15.27 ] } ], "rank": 10, "cohortSize": 12, "criticalRatePercent": 0.943, "contentQuality": 85.403, "references": { "key": "therapy-notes", "qualityErrorPoints": 30, "correctionMinutes": 20, "criticalPercent": 20 }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 51.343, "weight": 0.6, "contribution": 30.806 }, { "key": "critical", "label": "Schwerwiegende Fehler", "value": 95.283, "weight": 0.2, "contribution": 19.057 }, { "key": "effort", "label": "Korrekturaufwand", "value": 39.799, "weight": 0.15, "contribution": 5.97 }, { "key": "reliability", "label": "Abschlussquote", "value": 98.148, "weight": 0.05, "contribution": 4.907 } ] }, "mainMetric": { "label": "Fakten-F1", "abbreviation": "F1", "value": 85.403, "direction": "higher", "ci95": [ 83.86, 86.99 ] }, "transcription": null, "facts": { "truePositive": 2665, "falsePositive": 314, "falseNegative": 597, "referenceFacts": 3262, "outputFacts": 2979, "precisionPercent": 89.46, "precisionCi95": [ 87.52, 91.27 ], "recallPercent": 81.698, "recallCi95": [ 79.63, 83.83 ], "f1Percent": 85.403, "f1Ci95": [ 83.86, 86.99 ] }, "latency": { "p50Seconds": 70.8, "p95Seconds": 203.9, "mode": "live-conversation", "start": "Beenden der Aufnahme", "end": "Vollständiges Dokument verfügbar" }, "correction": { "minutesPerAudioHour": 12.0402, "ci95": [ 10.76, 13.24 ], "estimate": { "outputs": 106, "audioSeconds": 304980, "minutes": 1020.08, "ci": [ 10.76, 13.24 ], "audioHours": 84.723 } }, "additionalMetrics": [ { "key": "critical-documents", "label": "Dokumente mit schwerwiegendem Fehler", "numerator": 1, "denominator": 106, "valuePercent": 0.943, "direction": "lower", "definition": "Ausgaben mit mindestens einem potenziell schwerwiegenden medizinischen Fehler pro abgeschlossener Ausgabe. Bewertet wird jeder Fall nach einer festgelegten Fehlerrubrik. Fehler bei Medikation oder Verneinung zählen hier nur, wenn die Rubrik die betroffene Angabe als potenziell schwerwiegend einstuft. Die Zähler je Fehlerart enthalten auch folgenlose Abweichungen.", "ci95": [ 0.1, 8.27 ], "ci95Method": "wilson-design-effect", "designEffect": 1.9506 }, { "key": "unsupported-statements", "label": "Falsche oder unbelegte Aussagen", "numerator": 106, "denominator": 2979, "valuePercent": 3.558, "direction": "lower", "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.", "ci95": [ 2.67, 4.72 ], "ci95Method": "wilson-design-effect", "designEffect": 2.3232 }, { "key": "medical-term-errors", "label": "Fehler bei Fachbegriffen", "numerator": 78, "denominator": 1168, "valuePercent": 6.678, "direction": "lower", "definition": "Fachlich falsch wiedergegebene oder ausgelassene medizinische Konzepte pro annotiertem Fachkonzept der Referenz. Synonyme gelten bei gleicher Bedeutung als korrekt.", "ci95": [ 4.76, 9.29 ], "ci95Method": "wilson-design-effect", "designEffect": 2.4501 }, { "key": "medication-errors", "label": "Fehler bei Medikamenten und Dosierungen", "numerator": 4, "denominator": 74, "valuePercent": 5.405, "direction": "lower", "definition": "Falsch wiedergegebene oder ausgelassene Angaben zu Wirkstoff, Dosis, Einheit und Einnahme pro annotierter Medikationsangabe. Jede Angabe zählt höchstens einmal.", "ci95": [ 1.41, 18.53 ], "ci95Method": "wilson-design-effect", "designEffect": 2.1972 }, { "key": "negation-errors", "label": "Fehler bei Verneinungen", "numerator": 23, "denominator": 422, "valuePercent": 5.45, "direction": "lower", "definition": "Verlorene, hinzugefügte oder umgekehrte Negationen pro Referenzaussage mit verneintem oder ausdrücklich bestätigtem Befund. Eine Aussage zählt höchstens einmal.", "ci95": [ 2.85, 10.17 ], "ci95Method": "wilson-design-effect", "designEffect": 2.674 }, { "key": "temporal-errors", "label": "Fehler bei zeitlichen Angaben", "numerator": 70, "denominator": 950, "valuePercent": 7.368, "direction": "lower", "definition": "Falsch zugeordnete oder ausgelassene Zeitpunkte, Dauern und zeitliche Beziehungen pro annotierter zeitlicher Referenzangabe.", "ci95": [ 5.16, 10.41 ], "ci95Method": "wilson-design-effect", "designEffect": 2.442 }, { "key": "attribution-errors", "label": "Fehler bei der Zuordnung", "numerator": 99, "denominator": 1871, "valuePercent": 5.291, "direction": "lower", "definition": "Falsche oder ausgelassene Zuordnung von Aussagen zu Patient, behandelnder Person oder Drittperson pro Referenzfakt mit erforderlicher Quellenzuordnung.", "ci95": [ 3.85, 7.22 ], "ci95Method": "wilson-design-effect", "designEffect": 2.6962 }, { "key": "risk-assessment-errors", "label": "Fehler bei Risikohinweisen", "numerator": 22, "denominator": 171, "valuePercent": 12.865, "direction": "lower", "definition": "Ausgelassene, hinzugefügte oder falsch eingeordnete Aussagen zu Selbstgefährdung und Schutzfaktoren pro annotierter risikorelevanter Referenzaussage. Bewertet wird anhand des Gesprächs nach einer festgelegten Rubrik.", "ci95": [ 6.94, 22.61 ], "ci95Method": "wilson-design-effect", "designEffect": 2.4129 } ], "errorTypes": [ { "label": "Nicht erfasste Referenzfakten", "count": 597 }, { "label": "Falsche oder unbelegte Aussagen", "count": 106 }, { "label": "Zutreffende, aber nicht relevante Aussagen", "count": 208 } ], "failedRuns": [ { "scenarioId": "therapie-011", "run": 3, "reason": "Aufnahme nach App-Unterbrechung verworfen" }, { "scenarioId": "therapie-014", "run": 3, "reason": "Aufnahme nach App-Unterbrechung verworfen" } ], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "Noa Notes im Browser, Sitzungsdokumentation, Stand 2. Quartal 2026", "modelVersions": null, "template": { "id": "si-therapie-verlauf", "version": "1.0" }, "instruction": { "id": "si-instr-therapie", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Aufnahme in der Anwendung über einen virtuellen Mikrofoneingang", "outputLanguage": "de-DE", "specialty": "Psychotherapie" }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": null }, "corpusMetadata": { "version": "1.0", "manifestSha256": "62780a1c05eb9562aa4bdbee3b73aedcf448ce0e8e6ba5fd85d7e17baa3b4bd8", "referenceVersion": "1.0", "referenceSha256": "62c50ae99e53e02e016470714f0a6524d90a92407fe393d48adae95f19a8ee2a", "sourceScenarioCount": 36, "evaluatedScenarioCount": 36, "totalAudioSeconds": 103620, "durationSeconds": { "minimum": 2220, "maximum": 3540 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 1 } ], "conversions": [ { "description": "Einspielung der Gesprächsaufnahme in Echtzeit über einen virtuellen Mikrofoneingang mit −20 dBFS RMS", "tool": "scribeindex-playback", "version": "1.0" } ], "exclusions": [] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 36, "resamples": 2000, "seed": 3733937332, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "0c35a46bc36056c43d2f55385441679c130a0d1ef5bcb7bd6cb2f19411cef23a" } }, { "id": "noscribe/audio-transkription", "provider": "noscribe", "providerName": "noScribe", "test": "audio-transkription", "label": "Audiotranskription", "category": "audio-transkription", "url": "https://scribeindex.com/anbieter/noscribe/test/#audio-transkription", "rankingUrl": "https://scribeindex.com/vergleich/audio-transkription/", "testPeriod": "2026-Q2", "protocol": "1.0", "corpus": "de-audio-v1", "scenarios": 44, "runs": 3, "completed": 132, "total": 132, "completionRatePercent": 100, "evaluation": { "output": "verbatim-transcript", "semanticRubric": null, "wordErrorRate": { "applicability": "word-aligned", "basis": "delivered-output", "explanation": "WER wird aus der gelieferten wortnahen Transkriptausgabe gegen die normalisierte Referenz berechnet." } }, "score": { "version": "2.2", "value": 61.862, "ci95": [ 57.2, 65.9 ], "ci95Method": "paired-cluster-bootstrap", "pairedDifferences": [ { "provider": "amberscript", "ci95": [ -4.79, -0.48 ] }, { "provider": "happy-scribe", "ci95": [ -8.17, -0.58 ] }, { "provider": "turboscribe", "ci95": [ -2.85, 3.83 ] }, { "provider": "f4", "ci95": [ -0.62, 7.31 ] }, { "provider": "sonix", "ci95": [ -2.59, 3.75 ] }, { "provider": "notta", "ci95": [ 3.12, 9.44 ] }, { "provider": "maxqda-transcription", "ci95": [ -16.62, -11.21 ] }, { "provider": "trint", "ci95": [ -0.76, 5.3 ] } ], "rank": 4, "cohortSize": 9, "criticalRatePercent": null, "contentQuality": 88.491, "references": { "key": "audio-transkription", "qualityErrorPoints": 30, "correctionMinutes": 220, "criticalPercent": null }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 61.636, "weight": 0.75, "contribution": 46.227 }, { "key": "effort", "label": "Korrekturaufwand", "value": 53.177, "weight": 0.2, "contribution": 10.635 }, { "key": "reliability", "label": "Abschlussquote", "value": 100, "weight": 0.05, "contribution": 5 } ] }, "mainMetric": { "label": "Wortfehlerrate", "abbreviation": "WER", "value": 9.779, "direction": "lower", "ci95": [ 8.68, 11.05 ] }, "transcription": { "referenceWords": 563238, "substitutions": 24557, "deletions": 15009, "insertions": 15515, "errors": 55081, "werPercent": 9.779, "ci95": [ 8.68, 11.05 ], "comparable": true }, "facts": null, "latency": { "p50Seconds": 456.3, "p95Seconds": 1262.3, "mode": "local-file", "start": "Verarbeitung der lokalen Datei gestartet", "end": "Vollständiger Export verfügbar" }, "correction": { "minutesPerAudioHour": 103.0112, "ci95": [ 92.17, 114.67 ], "estimate": { "outputs": 132, "audioSeconds": 238560, "minutes": 6826.24, "ci": [ 92.17, 114.67 ], "audioHours": 66.267 } }, "additionalMetrics": [ { "key": "cer", "label": "Zeichenfehlerrate · CER", "numerator": 158404, "denominator": 3608808, "valuePercent": 4.389, "direction": "lower", "definition": "Zeichenabweichungen pro Referenzzeichen nach NFC-Normalisierung, einheitlicher Groß- und Kleinschreibung, entfernten Satzzeichen und zu einem Leerzeichen zusammengefasstem Leerraum. Leerzeichen zählen als Zeichen.", "ci95": [ 3.91, 4.95 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "der", "label": "Diarisierungsfehlerrate · DER", "numerator": 3482242, "denominator": 22399644, "valuePercent": 15.546, "direction": "lower", "definition": "Verpasste Sprache, fälschlich erkannte Sprache und falsch zugeordnete Sprecherzeit pro Referenzsprechzeit. Toleranz 250 ms um Referenzgrenzen, überlappende Sprache eingeschlossen. Liefert ein Dienst Sprecherkennungen ohne eigene Zeitmarken, bestimmt ScribeIndex die Zeitmarken durch erzwungene Ausrichtung (Forced Alignment) des gelieferten Texts an der Aufnahme. Die DER berechnet ScribeIndex daraus wie bei allen anderen Diensten, mit verpasster und fälschlich erkannter Sprache und Fehlern an Segmentgrenzen.", "ci95": [ 14, 17.48 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "der-strict", "label": "DER ohne Toleranz", "numerator": 4591185, "denominator": 22399644, "valuePercent": 20.497, "direction": "lower", "definition": "Diarisierungsfehlerrate wie DER, jedoch ohne Toleranzbereich um Referenzgrenzen. Die Differenz zur DER zeigt den Anteil der Fehler an Segmentgrenzen.", "ci95": [ 18.45, 23.02 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null } ], "errorTypes": [ { "label": "Ersetzungen", "count": 24557 }, { "label": "Auslassungen", "count": 15009 }, { "label": "Einfügungen", "count": 15515 } ], "failedRuns": [], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "noScribe 0.7.2, Windows-CUDA-Distribution, Stand 2. Quartal 2026", "modelVersions": [ { "name": "Whisper V3 Turbo in faster-whisper/CTranslate2", "version": null } ], "template": null, "instruction": { "id": "si-instr-audio-wortgetreu", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Lokaler Dateiimport, kein Serverupload", "processing": "Vollständig lokal", "hardware": "Windows 11 Pro, AMD Ryzen 7 7700, 32 GB RAM, NVIDIA RTX 4070 12 GB VRAM", "language": "Deutsch", "transcriptionMode": "Precise", "speakerCount": "Automatisch", "fillerWords": true, "timestamps": "Bei Sprecherwechsel", "overlappingSpeech": true }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": { "id": "de-allg-wer", "version": "1.0" } }, "corpusMetadata": { "version": "1.0", "manifestSha256": "3bfaff5fa8338156ad4c6bef800ed2cec7c625802242a9f638e07991384aeffc", "referenceVersion": "1.0", "referenceSha256": "903e4e0cc118b16f9d63c460d4f5845b497a1f1d276c2c82b9a2294b542018b4", "sourceScenarioCount": 46, "evaluatedScenarioCount": 44, "totalAudioSeconds": 79500, "durationSeconds": { "minimum": 360, "maximum": 5280 }, "audioFormats": [ { "codec": "FLAC", "sampleRateHertz": 48000, "channels": 1 }, { "codec": "AAC-LC (M4A)", "sampleRateHertz": 44100, "channels": 1 }, { "codec": "Opus (WebM)", "sampleRateHertz": 48000, "channels": 1 }, { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 2 }, { "codec": "G.711 A-law (WAV)", "sampleRateHertz": 8000, "channels": 1 } ], "conversions": [], "exclusions": [ { "scenarioId": "audio-038", "reason": "Eine mitwirkende Person widerrief die Einwilligung zur Nutzung der Aufnahme." }, { "scenarioId": "audio-041", "reason": "Referenz enthielt mehr als 5 % unverständliche Passagen." } ] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 44, "resamples": 2000, "seed": 1146018123, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "f8a6a79fd7ce74ec952adb5978dd20f46986d1fd5dc8a1502862be03c2f8e886" } }, { "id": "notta/audio-transkription", "provider": "notta", "providerName": "Notta", "test": "audio-transkription", "label": "Audiotranskription", "category": "audio-transkription", "url": "https://scribeindex.com/anbieter/notta/test/#audio-transkription", "rankingUrl": "https://scribeindex.com/vergleich/audio-transkription/", "testPeriod": "2026-Q3", "protocol": "1.0", "corpus": "de-audio-v1", "scenarios": 44, "runs": 3, "completed": 131, "total": 132, "completionRatePercent": 99.242, "evaluation": { "output": "verbatim-transcript", "semanticRubric": null, "wordErrorRate": { "applicability": "word-aligned", "basis": "delivered-output", "explanation": "WER wird aus der gelieferten wortnahen Transkriptausgabe gegen die normalisierte Referenz berechnet." } }, "score": { "version": "2.2", "value": 55.5688, "ci95": [ 52.2, 58.6 ], "ci95Method": "paired-cluster-bootstrap", "pairedDifferences": [ { "provider": "amberscript", "ci95": [ -11.63, -6.15 ] }, { "provider": "happy-scribe", "ci95": [ -13.35, -7.82 ] }, { "provider": "turboscribe", "ci95": [ -9.45, -2.15 ] }, { "provider": "f4", "ci95": [ -6.48, 1.44 ] }, { "provider": "sonix", "ci95": [ -8.93, -2.19 ] }, { "provider": "noscribe", "ci95": [ -9.44, -3.12 ] }, { "provider": "maxqda-transcription", "ci95": [ -22.63, -17.6 ] }, { "provider": "trint", "ci95": [ -7.38, -0.57 ] } ], "rank": 9, "cohortSize": 9, "criticalRatePercent": null, "contentQuality": 86.685, "references": { "key": "audio-transkription", "qualityErrorPoints": 30, "correctionMinutes": 220, "criticalPercent": null }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 55.617, "weight": 0.75, "contribution": 41.713 }, { "key": "effort", "label": "Korrekturaufwand", "value": 44.469, "weight": 0.2, "contribution": 8.894 }, { "key": "reliability", "label": "Abschlussquote", "value": 99.242, "weight": 0.05, "contribution": 4.962 } ] }, "mainMetric": { "label": "Wortfehlerrate", "abbreviation": "WER", "value": 11.859, "direction": "lower", "ci95": [ 11.01, 12.79 ] }, "transcription": { "referenceWords": 560474, "substitutions": 38999, "deletions": 21008, "insertions": 6461, "errors": 66468, "werPercent": 11.859, "ci95": [ 11.01, 12.79 ], "comparable": true }, "facts": null, "latency": { "p50Seconds": 408, "p95Seconds": 1438.3, "mode": "file-upload", "start": "Uploadstart", "end": "Vollständiger Export verfügbar" }, "correction": { "minutesPerAudioHour": 122.169, "ci95": [ 114.8, 130.36 ], "estimate": { "outputs": 131, "audioSeconds": 237360, "minutes": 8054.6, "ci": [ 114.8, 130.36 ], "audioHours": 65.93 } }, "additionalMetrics": [ { "key": "cer", "label": "Zeichenfehlerrate · CER", "numerator": 153436, "denominator": 3590965, "valuePercent": 4.273, "direction": "lower", "definition": "Zeichenabweichungen pro Referenzzeichen nach NFC-Normalisierung, einheitlicher Groß- und Kleinschreibung, entfernten Satzzeichen und zu einem Leerzeichen zusammengefasstem Leerraum. Leerzeichen zählen als Zeichen.", "ci95": [ 3.95, 4.64 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "der", "label": "Diarisierungsfehlerrate · DER", "numerator": 3724298, "denominator": 22286328, "valuePercent": 16.711, "direction": "lower", "definition": "Verpasste Sprache, fälschlich erkannte Sprache und falsch zugeordnete Sprecherzeit pro Referenzsprechzeit. Toleranz 250 ms um Referenzgrenzen, überlappende Sprache eingeschlossen. Liefert ein Dienst Sprecherkennungen ohne eigene Zeitmarken, bestimmt ScribeIndex die Zeitmarken durch erzwungene Ausrichtung (Forced Alignment) des gelieferten Texts an der Aufnahme. Die DER berechnet ScribeIndex daraus wie bei allen anderen Diensten, mit verpasster und fälschlich erkannter Sprache und Fehlern an Segmentgrenzen.", "ci95": [ 15.35, 18.23 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "der-strict", "label": "DER ohne Toleranz", "numerator": 4949753, "denominator": 22286328, "valuePercent": 22.21, "direction": "lower", "definition": "Diarisierungsfehlerrate wie DER, jedoch ohne Toleranzbereich um Referenzgrenzen. Die Differenz zur DER zeigt den Anteil der Fehler an Segmentgrenzen.", "ci95": [ 20.32, 24.28 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null } ], "errorTypes": [ { "label": "Ersetzungen", "count": 38999 }, { "label": "Auslassungen", "count": 21008 }, { "label": "Einfügungen", "count": 6461 } ], "failedRuns": [ { "scenarioId": "audio-001", "run": 3, "reason": "Upload mit Serverfehler abgebrochen, Wiederholung laut Protokoll nicht zulässig" } ], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "Web-App, Stand 3. Quartal 2026", "modelVersions": null, "template": null, "instruction": { "id": "si-instr-audio-wortgetreu", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Dateiupload im Browser", "language": "Deutsch", "speakerRecognition": true, "customVocabularyEntries": 0, "aiNotes": false }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": { "id": "de-allg-wer", "version": "1.0" } }, "corpusMetadata": { "version": "1.0", "manifestSha256": "3bfaff5fa8338156ad4c6bef800ed2cec7c625802242a9f638e07991384aeffc", "referenceVersion": "1.0", "referenceSha256": "903e4e0cc118b16f9d63c460d4f5845b497a1f1d276c2c82b9a2294b542018b4", "sourceScenarioCount": 46, "evaluatedScenarioCount": 44, "totalAudioSeconds": 79500, "durationSeconds": { "minimum": 360, "maximum": 5280 }, "audioFormats": [ { "codec": "FLAC", "sampleRateHertz": 48000, "channels": 1 }, { "codec": "AAC-LC (M4A)", "sampleRateHertz": 44100, "channels": 1 }, { "codec": "Opus (WebM)", "sampleRateHertz": 48000, "channels": 1 }, { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 2 }, { "codec": "G.711 A-law (WAV)", "sampleRateHertz": 8000, "channels": 1 } ], "conversions": [ { "description": "FLAC, Opus-WebM und G.711 A-law werden mit FFmpeg zu PCM-WAV mit 24 Bit bei 48 kHz dekodiert. Die ursprüngliche Kanalzahl und der Sprachinhalt bleiben erhalten.", "tool": "FFmpeg", "version": "7.1.1" } ], "exclusions": [ { "scenarioId": "audio-038", "reason": "Eine mitwirkende Person widerrief die Einwilligung zur Nutzung der Aufnahme." }, { "scenarioId": "audio-041", "reason": "Referenz enthielt mehr als 5 % unverständliche Passagen." } ] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 44, "resamples": 2000, "seed": 1146018123, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "f8a6a79fd7ce74ec952adb5978dd20f46986d1fd5dc8a1502862be03c2f8e886" } }, { "id": "notta/meeting-scribes", "provider": "notta", "providerName": "Notta", "test": "meeting-scribes", "label": "Meeting-Scribes", "category": "meeting-scribes", "url": "https://scribeindex.com/anbieter/notta/test/#meeting-scribes", "rankingUrl": "https://scribeindex.com/vergleich/meeting-scribes/", "testPeriod": "2026-Q3", "protocol": "1.0", "corpus": "de-meeting-v1", "scenarios": 38, "runs": 2, "completed": 74, "total": 76, "completionRatePercent": 97.368, "evaluation": { "output": "meeting-summary", "semanticRubric": "meeting-facts-v1", "wordErrorRate": { "applicability": "not-applicable", "basis": "unavailable", "explanation": "Bewertet werden das gelieferte Protokoll und die Sprecherzuordnung im exportierten Transkript. Die Transkript-WER gilt nur für dieses Transkript und zählt nicht zum ScribeIndex-Score." } }, "score": { "version": "2.2", "value": 46.7322, "ci95": [ 40.2, 52.2 ], "ci95Method": "paired-cluster-bootstrap", "pairedDifferences": [ { "provider": "jamie", "ci95": [ -19.32, -8.04 ] }, { "provider": "otter", "ci95": [ -14.83, -3.91 ] }, { "provider": "fireflies", "ci95": [ -20.31, -9.31 ] }, { "provider": "fathom", "ci95": [ -28.92, -16.3 ] }, { "provider": "granola", "ci95": [ -17.75, -3.8 ] }, { "provider": "tldv", "ci95": [ -13.97, -2.87 ] }, { "provider": "happy-scribe", "ci95": [ -17.87, -6.29 ] }, { "provider": "read-ai", "ci95": [ -19.11, -4.9 ] }, { "provider": "meetgeek", "ci95": [ -19.49, -8.34 ] }, { "provider": "bluedot", "ci95": [ -10.58, 3.09 ] }, { "provider": "sembly", "ci95": [ -8.6, 4.5 ] }, { "provider": "plaud", "ci95": [ -16.47, -1.04 ] }, { "provider": "sally", "ci95": [ -12.92, -1.22 ] } ], "rank": 14, "cohortSize": 14, "criticalRatePercent": null, "contentQuality": 83.033, "references": { "key": "meeting-scribes", "qualityErrorPoints": 30, "correctionMinutes": 35, "criticalPercent": null }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 43.442, "weight": 0.75, "contribution": 32.581 }, { "key": "effort", "label": "Korrekturaufwand", "value": 46.412, "weight": 0.2, "contribution": 9.282 }, { "key": "reliability", "label": "Abschlussquote", "value": 97.368, "weight": 0.05, "contribution": 4.868 } ] }, "mainMetric": { "label": "Fakten-F1", "abbreviation": "F1", "value": 81.803, "direction": "higher", "ci95": [ 78.86, 84.3 ] }, "transcription": null, "facts": { "truePositive": 2160, "falsePositive": 319, "falseNegative": 642, "referenceFacts": 2802, "outputFacts": 2479, "precisionPercent": 87.132, "precisionCi95": [ 83.79, 90.23 ], "recallPercent": 77.088, "recallCi95": [ 73.99, 80.12 ], "f1Percent": 81.803, "f1Ci95": [ 78.86, 84.3 ] }, "latency": { "p50Seconds": 193.2, "p95Seconds": 592.5, "mode": "live-conversation", "start": "Ende der Gesprächserfassung", "end": "Vollständiges Protokoll verfügbar" }, "correction": { "minutesPerAudioHour": 18.7559, "ci95": [ 16.46, 21.14 ], "estimate": { "outputs": 74, "audioSeconds": 177480, "minutes": 924.59, "ci": [ 16.46, 21.14 ], "audioHours": 49.296 } }, "additionalMetrics": [ { "key": "transcript-wer", "label": "Transkript-WER", "numerator": 54147, "denominator": 379508, "valuePercent": 14.268, "direction": "lower", "definition": "Wortersetzungen, Auslassungen und Einfügungen im exportierten Transkript pro Referenzwort nach Normalisierungsprofil de-allg-wer. Bewertet das Transkript, nicht die Zusammenfassung.", "ci95": [ 12.95, 15.6 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "der", "label": "Diarisierungsfehlerrate · DER", "numerator": 2287363, "denominator": 16225092, "valuePercent": 14.098, "direction": "lower", "definition": "Verpasste Sprache, fälschlich erkannte Sprache und falsch zugeordnete Sprecherzeit pro Referenzsprechzeit. Toleranz 250 ms um Referenzgrenzen, überlappende Sprache eingeschlossen. Liefert ein Dienst Sprecherkennungen ohne eigene Zeitmarken, bestimmt ScribeIndex die Zeitmarken durch erzwungene Ausrichtung (Forced Alignment) des gelieferten Texts an der Aufnahme. Die DER berechnet ScribeIndex daraus wie bei allen anderen Diensten, mit verpasster und fälschlich erkannter Sprache und Fehlern an Segmentgrenzen.", "ci95": [ 12.43, 15.83 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "der-strict", "label": "DER ohne Toleranz", "numerator": 3026857, "denominator": 16225092, "valuePercent": 18.655, "direction": "lower", "definition": "Diarisierungsfehlerrate wie DER, jedoch ohne Toleranzbereich um Referenzgrenzen. Die Differenz zur DER zeigt den Anteil der Fehler an Segmentgrenzen.", "ci95": [ 16.43, 20.99 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "unsupported-statements", "label": "Falsche oder unbelegte Aussagen", "numerator": 149, "denominator": 2479, "valuePercent": 6.01, "direction": "lower", "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.", "ci95": [ 4.77, 7.55 ], "ci95Method": "wilson-design-effect", "designEffect": 2.1736 }, { "key": "decision-recall", "label": "Erfasste Beschlüsse", "numerator": 234, "denominator": 292, "valuePercent": 80.137, "direction": "higher", "definition": "Korrekt als Beschluss wiedergegebene Referenzbeschlüsse mit Geltungsbereich und Status pro Referenzbeschluss. Als Beschluss ausgegebene Vorschläge zählen nicht als Treffer.", "ci95": [ 73.77, 85.27 ], "ci95Method": "wilson-design-effect", "designEffect": 1.5888 }, { "key": "action-item-recall", "label": "Erkannte Aufgaben", "numerator": 377, "denominator": 437, "valuePercent": 86.27, "direction": "higher", "definition": "Referenzaufgaben, die im Protokoll als Aufgabe erscheinen, pro Referenzaufgabe. Zuständigkeit und Frist werden getrennt bewertet.", "ci95": [ 81.98, 89.67 ], "ci95Method": "wilson-design-effect", "designEffect": 1.4144 }, { "key": "action-owner-accuracy", "label": "Korrekte Zuständigkeiten", "numerator": 236, "denominator": 319, "valuePercent": 73.981, "direction": "higher", "definition": "Korrekt wiedergegebene verantwortliche Personen pro Referenzaufgabe mit ausdrücklich genannter Zuständigkeit. Nicht erkannte Aufgaben zählen als Fehler.", "ci95": [ 67.86, 79.29 ], "ci95Method": "wilson-design-effect", "designEffect": 1.4223 }, { "key": "action-deadline-accuracy", "label": "Korrekte Fristen", "numerator": 152, "denominator": 228, "valuePercent": 66.667, "direction": "higher", "definition": "Korrekt wiedergegebene Fristen pro Referenzaufgabe mit ausdrücklich genannter Frist. Nicht erkannte Aufgaben zählen als Fehler.", "ci95": [ 58.87, 73.65 ], "ci95Method": "wilson-design-effect", "designEffect": 1.4888 }, { "key": "action-tuple-accuracy", "label": "Vollständig korrekte Aufgaben", "numerator": 274, "denominator": 437, "valuePercent": 62.7, "direction": "higher", "definition": "Aufgaben, deren Tätigkeit, Zuständigkeit und Frist vollständig korrekt wiedergegeben werden, pro Referenzaufgabe. Nicht genannte Zuständigkeiten oder Fristen müssen als nicht genannt erscheinen.", "ci95": [ 57.25, 67.84 ], "ci95Method": "wilson-design-effect", "designEffect": 1.3773 } ], "errorTypes": [ { "label": "Nicht erfasste Referenzfakten", "count": 642 }, { "label": "Falsche oder unbelegte Aussagen", "count": 149 }, { "label": "Zutreffende, aber nicht relevante Aussagen", "count": 170 } ], "failedRuns": [ { "scenarioId": "meeting-002", "run": 2, "reason": "Kein Protokoll innerhalb des festgelegten Zeitlimits" }, { "scenarioId": "meeting-031", "run": 2, "reason": "Leere Zusammenfassung ausgegeben" } ], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "Web-App mit Notta Bot, Stand 3. Quartal 2026", "modelVersions": null, "template": { "id": "si-meeting-protokoll", "version": "1.0" }, "instruction": { "id": "si-instr-meeting", "version": "1.0" }, "customVocabulary": null, "settings": { "capture": "Meeting-Bot", "transcriptLanguage": "de-DE", "aiNotesLanguage": "Follow transcript, Deutsch", "summaryTemplate": "Eigene Vorlage „Meeting-Protokoll“", "participantList": true, "customVocabularyEntries": 0 }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": { "id": "de-allg-wer", "version": "1.0" } }, "corpusMetadata": { "version": "1.0", "manifestSha256": "1a25115bb8a34e284f1d01d3860260a21cb8f5847004facb1596738bbac7ddab", "referenceVersion": "1.0", "referenceSha256": "eab8be0ab42fa45d7c98cb94b1a700dfc141ed5d7e96d67f4d9349c7d3a84d70", "sourceScenarioCount": 40, "evaluatedScenarioCount": 38, "totalAudioSeconds": 91260, "durationSeconds": { "minimum": 780, "maximum": 5220 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 2 }, { "codec": "Opus (WebM)", "sampleRateHertz": 48000, "channels": 1 } ], "conversions": [ { "description": "Einspielung über virtuelle Konferenzteilnehmende aus den getrennten ursprünglichen Sprecheraufnahmen. Hybride Raumsprecher bleiben gemeinsam auf einer unveränderten Raumspur. Aus der Korpusmischung werden keine Sprecher mit Hilfe der Referenz separiert.", "tool": "scribeindex-meeting-replay", "version": "1.0" } ], "exclusions": [ { "scenarioId": "meeting-012", "reason": "Sprecherreferenz wegen Übersprechen zweier Raummikrofone nicht belastbar." }, { "scenarioId": "meeting-029", "reason": "Teilnehmende widerriefen die Nutzung der Aufnahme." } ] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 38, "resamples": 2000, "seed": 4134088586, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "3ee50ed01707c6c0c1902b3d172d67b6fe4b33360c81d07433d846f0fcbe3781" } }, { "id": "otter/meeting-scribes", "provider": "otter", "providerName": "Otter.ai", "test": "meeting-scribes", "label": "Meeting-Scribes", "category": "meeting-scribes", "url": "https://scribeindex.com/anbieter/otter/test/#meeting-scribes", "rankingUrl": "https://scribeindex.com/vergleich/meeting-scribes/", "testPeriod": "2026-Q2", "protocol": "1.0", "corpus": "de-meeting-v1", "scenarios": 38, "runs": 2, "completed": 75, "total": 76, "completionRatePercent": 98.684, "evaluation": { "output": "meeting-summary", "semanticRubric": "meeting-facts-v1", "wordErrorRate": { "applicability": "not-applicable", "basis": "unavailable", "explanation": "Bewertet werden das gelieferte Protokoll und die Sprecherzuordnung im exportierten Transkript. Die Transkript-WER gilt nur für dieses Transkript und zählt nicht zum ScribeIndex-Score." } }, "score": { "version": "2.2", "value": 56.267, "ci95": [ 49.7, 61.8 ], "ci95Method": "paired-cluster-bootstrap", "pairedDifferences": [ { "provider": "jamie", "ci95": [ -8.91, 1.16 ] }, { "provider": "fireflies", "ci95": [ -9.16, -1.52 ] }, { "provider": "fathom", "ci95": [ -17.64, -8.58 ] }, { "provider": "granola", "ci95": [ -5.85, 2.89 ] }, { "provider": "tldv", "ci95": [ -3.43, 5.07 ] }, { "provider": "happy-scribe", "ci95": [ -7.21, 2.08 ] }, { "provider": "notta", "ci95": [ 3.91, 14.83 ] }, { "provider": "read-ai", "ci95": [ -8.78, 4.18 ] }, { "provider": "meetgeek", "ci95": [ -9, 0.12 ] }, { "provider": "bluedot", "ci95": [ 0.08, 10.93 ] }, { "provider": "sembly", "ci95": [ 2.3, 12.75 ] }, { "provider": "plaud", "ci95": [ -3.76, 4.87 ] }, { "provider": "sally", "ci95": [ -3.6, 7.13 ] } ], "rank": 8, "cohortSize": 14, "criticalRatePercent": null, "contentQuality": 86.166, "references": { "key": "meeting-scribes", "qualityErrorPoints": 30, "correctionMinutes": 35, "criticalPercent": null }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 53.885, "weight": 0.75, "contribution": 40.414 }, { "key": "effort", "label": "Korrekturaufwand", "value": 54.594, "weight": 0.2, "contribution": 10.919 }, { "key": "reliability", "label": "Abschlussquote", "value": 98.684, "weight": 0.05, "contribution": 4.934 } ] }, "mainMetric": { "label": "Fakten-F1", "abbreviation": "F1", "value": 85.22, "direction": "higher", "ci95": [ 82.71, 87.38 ] }, "transcription": null, "facts": { "truePositive": 2338, "falsePositive": 298, "falseNegative": 513, "referenceFacts": 2851, "outputFacts": 2636, "precisionPercent": 88.695, "precisionCi95": [ 86.7, 90.46 ], "recallPercent": 82.006, "recallCi95": [ 78.66, 85.03 ], "f1Percent": 85.22, "f1Ci95": [ 82.71, 87.38 ] }, "latency": { "p50Seconds": 63.1, "p95Seconds": 140.6, "mode": "live-conversation", "start": "Ende der Gesprächserfassung", "end": "Vollständiges Protokoll verfügbar" }, "correction": { "minutesPerAudioHour": 15.892, "ci95": [ 13.75, 18.19 ], "estimate": { "outputs": 75, "audioSeconds": 180120, "minutes": 795.03, "ci": [ 13.75, 18.19 ], "audioHours": 50.027 } }, "additionalMetrics": [ { "key": "transcript-wer", "label": "Transkript-WER", "numerator": 49789, "denominator": 384718, "valuePercent": 12.942, "direction": "lower", "definition": "Wortersetzungen, Auslassungen und Einfügungen im exportierten Transkript pro Referenzwort nach Normalisierungsprofil de-allg-wer. Bewertet das Transkript, nicht die Zusammenfassung.", "ci95": [ 11.61, 14.4 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "der", "label": "Diarisierungsfehlerrate · DER", "numerator": 1914830, "denominator": 16468652, "valuePercent": 11.627, "direction": "lower", "definition": "Verpasste Sprache, fälschlich erkannte Sprache und falsch zugeordnete Sprecherzeit pro Referenzsprechzeit. Toleranz 250 ms um Referenzgrenzen, überlappende Sprache eingeschlossen. Liefert ein Dienst Sprecherkennungen ohne eigene Zeitmarken, bestimmt ScribeIndex die Zeitmarken durch erzwungene Ausrichtung (Forced Alignment) des gelieferten Texts an der Aufnahme. Die DER berechnet ScribeIndex daraus wie bei allen anderen Diensten, mit verpasster und fälschlich erkannter Sprache und Fehlern an Segmentgrenzen.", "ci95": [ 10.32, 13.04 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "der-strict", "label": "DER ohne Toleranz", "numerator": 2681938, "denominator": 16468652, "valuePercent": 16.285, "direction": "lower", "definition": "Diarisierungsfehlerrate wie DER, jedoch ohne Toleranzbereich um Referenzgrenzen. Die Differenz zur DER zeigt den Anteil der Fehler an Segmentgrenzen.", "ci95": [ 14.45, 18.18 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "unsupported-statements", "label": "Falsche oder unbelegte Aussagen", "numerator": 109, "denominator": 2636, "valuePercent": 4.135, "direction": "lower", "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.", "ci95": [ 3.13, 5.44 ], "ci95Method": "wilson-design-effect", "designEffect": 2.2491 }, { "key": "decision-recall", "label": "Erfasste Beschlüsse", "numerator": 221, "denominator": 297, "valuePercent": 74.411, "direction": "higher", "definition": "Korrekt als Beschluss wiedergegebene Referenzbeschlüsse mit Geltungsbereich und Status pro Referenzbeschluss. Als Beschluss ausgegebene Vorschläge zählen nicht als Treffer.", "ci95": [ 67.68, 80.15 ], "ci95Method": "wilson-design-effect", "designEffect": 1.6003 }, { "key": "action-item-recall", "label": "Erkannte Aufgaben", "numerator": 390, "denominator": 445, "valuePercent": 87.64, "direction": "higher", "definition": "Referenzaufgaben, die im Protokoll als Aufgabe erscheinen, pro Referenzaufgabe. Zuständigkeit und Frist werden getrennt bewertet.", "ci95": [ 83.53, 90.84 ], "ci95Method": "wilson-design-effect", "designEffect": 1.4226 }, { "key": "action-owner-accuracy", "label": "Korrekte Zuständigkeiten", "numerator": 263, "denominator": 322, "valuePercent": 81.677, "direction": "higher", "definition": "Korrekt wiedergegebene verantwortliche Personen pro Referenzaufgabe mit ausdrücklich genannter Zuständigkeit. Nicht erkannte Aufgaben zählen als Fehler.", "ci95": [ 76.11, 86.18 ], "ci95Method": "wilson-design-effect", "designEffect": 1.4268 }, { "key": "action-deadline-accuracy", "label": "Korrekte Fristen", "numerator": 182, "denominator": 231, "valuePercent": 78.788, "direction": "higher", "definition": "Korrekt wiedergegebene Fristen pro Referenzaufgabe mit ausdrücklich genannter Frist. Nicht erkannte Aufgaben zählen als Fehler.", "ci95": [ 71.68, 84.5 ], "ci95Method": "wilson-design-effect", "designEffect": 1.4963 }, { "key": "action-tuple-accuracy", "label": "Vollständig korrekte Aufgaben", "numerator": 297, "denominator": 445, "valuePercent": 66.742, "direction": "higher", "definition": "Aufgaben, deren Tätigkeit, Zuständigkeit und Frist vollständig korrekt wiedergegeben werden, pro Referenzaufgabe. Nicht genannte Zuständigkeiten oder Fristen müssen als nicht genannt erscheinen.", "ci95": [ 61.41, 71.67 ], "ci95Method": "wilson-design-effect", "designEffect": 1.3848 } ], "errorTypes": [ { "label": "Nicht erfasste Referenzfakten", "count": 513 }, { "label": "Falsche oder unbelegte Aussagen", "count": 109 }, { "label": "Zutreffende, aber nicht relevante Aussagen", "count": 189 } ], "failedRuns": [ { "scenarioId": "meeting-002", "run": 2, "reason": "Kein Protokoll innerhalb des festgelegten Zeitlimits" } ], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "Web-App mit Otter Notetaker, Stand 2. Quartal 2026", "modelVersions": null, "template": { "id": "si-meeting-protokoll", "version": "1.0" }, "instruction": { "id": "si-instr-meeting", "version": "1.0" }, "customVocabulary": null, "settings": { "capture": "Meeting-Bot (Otter Notetaker)", "transcriptLanguage": "de-DE", "participantList": true }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": { "id": "de-allg-wer", "version": "1.0" } }, "corpusMetadata": { "version": "1.0", "manifestSha256": "1a25115bb8a34e284f1d01d3860260a21cb8f5847004facb1596738bbac7ddab", "referenceVersion": "1.0", "referenceSha256": "eab8be0ab42fa45d7c98cb94b1a700dfc141ed5d7e96d67f4d9349c7d3a84d70", "sourceScenarioCount": 40, "evaluatedScenarioCount": 38, "totalAudioSeconds": 91260, "durationSeconds": { "minimum": 780, "maximum": 5220 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 2 }, { "codec": "Opus (WebM)", "sampleRateHertz": 48000, "channels": 1 } ], "conversions": [ { "description": "Einspielung über virtuelle Konferenzteilnehmende aus den getrennten ursprünglichen Sprecheraufnahmen. Hybride Raumsprecher bleiben gemeinsam auf einer unveränderten Raumspur. Aus der Korpusmischung werden keine Sprecher mit Hilfe der Referenz separiert.", "tool": "scribeindex-meeting-replay", "version": "1.0" } ], "exclusions": [ { "scenarioId": "meeting-012", "reason": "Sprecherreferenz wegen Übersprechen zweier Raummikrofone nicht belastbar." }, { "scenarioId": "meeting-029", "reason": "Teilnehmende widerriefen die Nutzung der Aufnahme." } ] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 38, "resamples": 2000, "seed": 4134088586, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "3ee50ed01707c6c0c1902b3d172d67b6fe4b33360c81d07433d846f0fcbe3781" } }, { "id": "plaud/meeting-scribes", "provider": "plaud", "providerName": "Plaud", "test": "meeting-scribes", "label": "Meeting-Scribes", "category": "meeting-scribes", "url": "https://scribeindex.com/anbieter/plaud/test/#meeting-scribes", "rankingUrl": "https://scribeindex.com/vergleich/meeting-scribes/", "testPeriod": "2026-Q2", "protocol": "1.0", "corpus": "de-meeting-v1", "scenarios": 38, "runs": 2, "completed": 76, "total": 76, "completionRatePercent": 100, "evaluation": { "output": "meeting-summary", "semanticRubric": "meeting-facts-v1", "wordErrorRate": { "applicability": "not-applicable", "basis": "unavailable", "explanation": "Bewertet werden das gelieferte Protokoll und die Sprecherzuordnung im exportierten Transkript. Die Transkript-WER gilt nur für dieses Transkript und zählt nicht zum ScribeIndex-Score." } }, "score": { "version": "2.2", "value": 55.6378, "ci95": [ 47.5, 61 ], "ci95Method": "paired-cluster-bootstrap", "pairedDifferences": [ { "provider": "jamie", "ci95": [ -10.54, 0.31 ] }, { "provider": "otter", "ci95": [ -4.87, 3.76 ] }, { "provider": "fireflies", "ci95": [ -10.81, -1.59 ] }, { "provider": "fathom", "ci95": [ -19.05, -9.45 ] }, { "provider": "granola", "ci95": [ -6.54, 2.38 ] }, { "provider": "tldv", "ci95": [ -4.94, 5.19 ] }, { "provider": "happy-scribe", "ci95": [ -9.7, 2.24 ] }, { "provider": "notta", "ci95": [ 1.04, 16.47 ] }, { "provider": "read-ai", "ci95": [ -10.12, 2.99 ] }, { "provider": "meetgeek", "ci95": [ -10.53, -0.34 ] }, { "provider": "bluedot", "ci95": [ -1.34, 10.13 ] }, { "provider": "sembly", "ci95": [ 1.23, 12.03 ] }, { "provider": "sally", "ci95": [ -5.25, 7.26 ] } ], "rank": 9, "cohortSize": 14, "criticalRatePercent": null, "contentQuality": 85.125, "references": { "key": "meeting-scribes", "qualityErrorPoints": 30, "correctionMinutes": 35, "criticalPercent": null }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 50.416, "weight": 0.75, "contribution": 37.812 }, { "key": "effort", "label": "Korrekturaufwand", "value": 64.129, "weight": 0.2, "contribution": 12.826 }, { "key": "reliability", "label": "Abschlussquote", "value": 100, "weight": 0.05, "contribution": 5 } ] }, "mainMetric": { "label": "Fakten-F1", "abbreviation": "F1", "value": 86.608, "direction": "higher", "ci95": [ 83.62, 88.6 ] }, "transcription": null, "facts": { "truePositive": 2477, "falsePositive": 359, "falseNegative": 407, "referenceFacts": 2884, "outputFacts": 2836, "precisionPercent": 87.341, "precisionCi95": [ 83.85, 89.83 ], "recallPercent": 85.888, "recallCi95": [ 83.09, 88.06 ], "f1Percent": 86.608, "f1Ci95": [ 83.62, 88.6 ] }, "latency": { "p50Seconds": 314.2, "p95Seconds": 621.2, "mode": "live-conversation", "start": "Ende der Gesprächserfassung", "end": "Vollständiges Protokoll verfügbar" }, "correction": { "minutesPerAudioHour": 12.5548, "ci95": [ 11, 14.67 ], "estimate": { "outputs": 76, "audioSeconds": 182520, "minutes": 636.53, "ci": [ 11, 14.67 ], "audioHours": 50.7 } }, "additionalMetrics": [ { "key": "transcript-wer", "label": "Transkript-WER", "numerator": 46243, "denominator": 389306, "valuePercent": 11.878, "direction": "lower", "definition": "Wortersetzungen, Auslassungen und Einfügungen im exportierten Transkript pro Referenzwort nach Normalisierungsprofil de-allg-wer. Bewertet das Transkript, nicht die Zusammenfassung.", "ci95": [ 10.29, 13.69 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "der", "label": "Diarisierungsfehlerrate · DER", "numerator": 3060685, "denominator": 16691388, "valuePercent": 18.337, "direction": "lower", "definition": "Verpasste Sprache, fälschlich erkannte Sprache und falsch zugeordnete Sprecherzeit pro Referenzsprechzeit. Toleranz 250 ms um Referenzgrenzen, überlappende Sprache eingeschlossen. Liefert ein Dienst Sprecherkennungen ohne eigene Zeitmarken, bestimmt ScribeIndex die Zeitmarken durch erzwungene Ausrichtung (Forced Alignment) des gelieferten Texts an der Aufnahme. Die DER berechnet ScribeIndex daraus wie bei allen anderen Diensten, mit verpasster und fälschlich erkannter Sprache und Fehlern an Segmentgrenzen.", "ci95": [ 16.22, 20.73 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "der-strict", "label": "DER ohne Toleranz", "numerator": 3807981, "denominator": 16691388, "valuePercent": 22.814, "direction": "lower", "definition": "Diarisierungsfehlerrate wie DER, jedoch ohne Toleranzbereich um Referenzgrenzen. Die Differenz zur DER zeigt den Anteil der Fehler an Segmentgrenzen.", "ci95": [ 20.19, 25.7 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "unsupported-statements", "label": "Falsche oder unbelegte Aussagen", "numerator": 95, "denominator": 2836, "valuePercent": 3.35, "direction": "lower", "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.", "ci95": [ 2.47, 4.53 ], "ci95Method": "wilson-design-effect", "designEffect": 2.3453 }, { "key": "decision-recall", "label": "Erfasste Beschlüsse", "numerator": 259, "denominator": 302, "valuePercent": 85.762, "direction": "higher", "definition": "Korrekt als Beschluss wiedergegebene Referenzbeschlüsse mit Geltungsbereich und Status pro Referenzbeschluss. Als Beschluss ausgegebene Vorschläge zählen nicht als Treffer.", "ci95": [ 80.03, 90.05 ], "ci95Method": "wilson-design-effect", "designEffect": 1.6119 }, { "key": "action-item-recall", "label": "Erkannte Aufgaben", "numerator": 420, "denominator": 456, "valuePercent": 92.105, "direction": "higher", "definition": "Referenzaufgaben, die im Protokoll als Aufgabe erscheinen, pro Referenzaufgabe. Zuständigkeit und Frist werden getrennt bewertet.", "ci95": [ 88.61, 94.6 ], "ci95Method": "wilson-design-effect", "designEffect": 1.4339 }, { "key": "action-owner-accuracy", "label": "Korrekte Zuständigkeiten", "numerator": 273, "denominator": 332, "valuePercent": 82.229, "direction": "higher", "definition": "Korrekt wiedergegebene verantwortliche Personen pro Referenzaufgabe mit ausdrücklich genannter Zuständigkeit. Nicht erkannte Aufgaben zählen als Fehler.", "ci95": [ 76.77, 86.63 ], "ci95Method": "wilson-design-effect", "designEffect": 1.4415 }, { "key": "action-deadline-accuracy", "label": "Korrekte Fristen", "numerator": 186, "denominator": 234, "valuePercent": 79.487, "direction": "higher", "definition": "Korrekt wiedergegebene Fristen pro Referenzaufgabe mit ausdrücklich genannter Frist. Nicht erkannte Aufgaben zählen als Fehler.", "ci95": [ 72.46, 85.09 ], "ci95Method": "wilson-design-effect", "designEffect": 1.5037 }, { "key": "action-tuple-accuracy", "label": "Vollständig korrekte Aufgaben", "numerator": 334, "denominator": 456, "valuePercent": 73.246, "direction": "higher", "definition": "Aufgaben, deren Tätigkeit, Zuständigkeit und Frist vollständig korrekt wiedergegeben werden, pro Referenzaufgabe. Nicht genannte Zuständigkeiten oder Fristen müssen als nicht genannt erscheinen.", "ci95": [ 68.19, 77.76 ], "ci95Method": "wilson-design-effect", "designEffect": 1.3951 } ], "errorTypes": [ { "label": "Nicht erfasste Referenzfakten", "count": 407 }, { "label": "Falsche oder unbelegte Aussagen", "count": 95 }, { "label": "Zutreffende, aber nicht relevante Aussagen", "count": 264 } ], "failedRuns": [], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "Plaud Desktop für Windows, aktiviertes Plaud Note, Stand 2. Quartal 2026", "modelVersions": [ { "name": "Spracherkennung vom Anbieter nicht benannt", "version": null }, { "name": "GPT-5.5 für Zusammenfassungen", "version": null } ], "template": { "id": "si-meeting-protokoll", "version": "1.0" }, "instruction": { "id": "si-instr-meeting", "version": "1.0" }, "customVocabulary": null, "settings": { "capture": "Desktop-Audio (Mikrofon und Systemaudio)", "transcriptLanguage": "de-DE", "outputLanguage": "de-DE", "participantList": true, "cloudSync": true, "accountRegion": "EU", "deviceActivation": "Plaud Note" }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": { "id": "de-allg-wer", "version": "1.0" } }, "corpusMetadata": { "version": "1.0", "manifestSha256": "1a25115bb8a34e284f1d01d3860260a21cb8f5847004facb1596738bbac7ddab", "referenceVersion": "1.0", "referenceSha256": "eab8be0ab42fa45d7c98cb94b1a700dfc141ed5d7e96d67f4d9349c7d3a84d70", "sourceScenarioCount": 40, "evaluatedScenarioCount": 38, "totalAudioSeconds": 91260, "durationSeconds": { "minimum": 780, "maximum": 5220 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 2 }, { "codec": "Opus (WebM)", "sampleRateHertz": 48000, "channels": 1 } ], "conversions": [ { "description": "Teilnahme an derselben Videokonferenz auf einem Testrechner, Einspielung über virtuelle Konferenzteilnehmende wie bei Meeting-Bots. Die übrigen Teilnehmenden kommen als Systemaudio an, der Mikrofonkanal trägt den Sprechanteil der Person am Testrechner.", "tool": "scribeindex-meeting-replay", "version": "1.0" } ], "exclusions": [ { "scenarioId": "meeting-012", "reason": "Sprecherreferenz wegen Übersprechen zweier Raummikrofone nicht belastbar." }, { "scenarioId": "meeting-029", "reason": "Teilnehmende widerriefen die Nutzung der Aufnahme." } ] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 38, "resamples": 2000, "seed": 4134088586, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "3ee50ed01707c6c0c1902b3d172d67b6fe4b33360c81d07433d846f0fcbe3781" } }, { "id": "playnvoice/medical-scribes:therapy-notes", "provider": "playnvoice", "providerName": "PlaynVoice", "test": "medical-scribes:therapy-notes", "label": "Psychotherapeutische Sitzungsdokumentation", "category": "medical-scribes", "task": "therapy-notes", "url": "https://scribeindex.com/anbieter/playnvoice/test/#psychotherapie", "rankingUrl": "https://scribeindex.com/vergleich/medical-scribes/psychotherapie/", "testPeriod": "2026-Q3", "protocol": "1.0", "corpus": "de-therapie-v1", "scenarios": 36, "runs": 3, "completed": 107, "total": 108, "completionRatePercent": 99.074, "evaluation": { "output": "therapy-note", "semanticRubric": "clinical-facts-v1", "wordErrorRate": { "applicability": "not-applicable", "basis": "unavailable", "explanation": "Die gelieferte Ausgabe ist eine therapeutische Sitzungsnotiz. Bewertet werden dokumentationsrelevante Fakten und ihre Zuordnung, nicht die Wortfolge des Gesprächs." } }, "score": { "version": "2.2", "value": 71.6663, "ci95": [ 66.1, 74.7 ], "ci95Method": "paired-cluster-bootstrap-beta-critical", "pairedDifferences": [ { "provider": "healthjet", "ci95": [ 0.23, 16.56 ] }, { "provider": "heidi", "ci95": [ 4.42, 21.14 ] }, { "provider": "tandem-health", "ci95": [ -0.66, 14.97 ] }, { "provider": "via-health", "ci95": [ -12.27, 0.61 ] }, { "provider": "dokudachs", "ci95": [ -10.81, 3.39 ] }, { "provider": "iptas", "ci95": [ -8.65, 1.5 ] }, { "provider": "clara-health", "ci95": [ -4.4, 6.56 ] }, { "provider": "lumanote", "ci95": [ -8.35, 6.82 ] }, { "provider": "noa-notes", "ci95": [ 4.58, 18.04 ] }, { "provider": "psynex", "ci95": [ -11.08, -0.42 ] }, { "provider": "upheal", "ci95": [ 8.37, 25.72 ] } ], "rank": 6, "cohortSize": 12, "criticalRatePercent": 0, "contentQuality": 89.163, "references": { "key": "therapy-notes", "qualityErrorPoints": 30, "correctionMinutes": 20, "criticalPercent": 20 }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 63.877, "weight": 0.6, "contribution": 38.326 }, { "key": "critical", "label": "Schwerwiegende Fehler", "value": 100, "weight": 0.2, "contribution": 20 }, { "key": "effort", "label": "Korrekturaufwand", "value": 55.911, "weight": 0.15, "contribution": 8.387 }, { "key": "reliability", "label": "Abschlussquote", "value": 99.074, "weight": 0.05, "contribution": 4.954 } ] }, "mainMetric": { "label": "Fakten-F1", "abbreviation": "F1", "value": 89.163, "direction": "higher", "ci95": [ 87.96, 90.46 ] }, "transcription": null, "facts": { "truePositive": 2855, "falsePositive": 265, "falseNegative": 429, "referenceFacts": 3284, "outputFacts": 3120, "precisionPercent": 91.506, "precisionCi95": [ 90.07, 92.94 ], "recallPercent": 86.937, "recallCi95": [ 85.02, 89.01 ], "f1Percent": 89.163, "f1Ci95": [ 87.96, 90.46 ] }, "latency": { "p50Seconds": 58.3, "p95Seconds": 146.6, "mode": "live-conversation", "start": "Beenden der Aufnahme", "end": "Vollständiges Dokument verfügbar" }, "correction": { "minutesPerAudioHour": 8.8179, "ci95": [ 7.53, 10.02 ], "estimate": { "outputs": 107, "audioSeconds": 307980, "minutes": 754.3, "ci": [ 7.53, 10.02 ], "audioHours": 85.542 } }, "additionalMetrics": [ { "key": "critical-documents", "label": "Dokumente mit schwerwiegendem Fehler", "numerator": 0, "denominator": 107, "valuePercent": 0, "direction": "lower", "definition": "Ausgaben mit mindestens einem potenziell schwerwiegenden medizinischen Fehler pro abgeschlossener Ausgabe. Bewertet wird jeder Fall nach einer festgelegten Fehlerrubrik. Fehler bei Medikation oder Verneinung zählen hier nur, wenn die Rubrik die betroffene Angabe als potenziell schwerwiegend einstuft. Die Zähler je Fehlerart enthalten auch folgenlose Abweichungen.", "ci95": [ 0, 6.59 ], "ci95Method": "wilson-design-effect", "designEffect": 1.9642 }, { "key": "unsupported-statements", "label": "Falsche oder unbelegte Aussagen", "numerator": 95, "denominator": 3120, "valuePercent": 3.045, "direction": "lower", "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.", "ci95": [ 2.24, 4.13 ], "ci95Method": "wilson-design-effect", "designEffect": 2.3865 }, { "key": "medical-term-errors", "label": "Fehler bei Fachbegriffen", "numerator": 56, "denominator": 1169, "valuePercent": 4.79, "direction": "lower", "definition": "Fachlich falsch wiedergegebene oder ausgelassene medizinische Konzepte pro annotiertem Fachkonzept der Referenz. Synonyme gelten bei gleicher Bedeutung als korrekt.", "ci95": [ 3.2, 7.1 ], "ci95Method": "wilson-design-effect", "designEffect": 2.4514 }, { "key": "medication-errors", "label": "Fehler bei Medikamenten und Dosierungen", "numerator": 1, "denominator": 74, "valuePercent": 1.351, "direction": "lower", "definition": "Falsch wiedergegebene oder ausgelassene Angaben zu Wirkstoff, Dosis, Einheit und Einnahme pro annotierter Medikationsangabe. Jede Angabe zählt höchstens einmal.", "ci95": [ 0.13, 12.54 ], "ci95Method": "wilson-design-effect", "designEffect": 2.1972 }, { "key": "negation-errors", "label": "Fehler bei Verneinungen", "numerator": 21, "denominator": 432, "valuePercent": 4.861, "direction": "lower", "definition": "Verlorene, hinzugefügte oder umgekehrte Negationen pro Referenzaussage mit verneintem oder ausdrücklich bestätigtem Befund. Eine Aussage zählt höchstens einmal.", "ci95": [ 2.45, 9.4 ], "ci95Method": "wilson-design-effect", "designEffect": 2.7173 }, { "key": "temporal-errors", "label": "Fehler bei zeitlichen Angaben", "numerator": 39, "denominator": 961, "valuePercent": 4.058, "direction": "lower", "definition": "Falsch zugeordnete oder ausgelassene Zeitpunkte, Dauern und zeitliche Beziehungen pro annotierter zeitlicher Referenzangabe.", "ci95": [ 2.5, 6.51 ], "ci95Method": "wilson-design-effect", "designEffect": 2.4594 }, { "key": "attribution-errors", "label": "Fehler bei der Zuordnung", "numerator": 78, "denominator": 1889, "valuePercent": 4.129, "direction": "lower", "definition": "Falsche oder ausgelassene Zuordnung von Aussagen zu Patient, behandelnder Person oder Drittperson pro Referenzfakt mit erforderlicher Quellenzuordnung.", "ci95": [ 2.88, 5.88 ], "ci95Method": "wilson-design-effect", "designEffect": 2.7129 }, { "key": "risk-assessment-errors", "label": "Fehler bei Risikohinweisen", "numerator": 6, "denominator": 165, "valuePercent": 3.636, "direction": "lower", "definition": "Ausgelassene, hinzugefügte oder falsch eingeordnete Aussagen zu Selbstgefährdung und Schutzfaktoren pro annotierter risikorelevanter Referenzaussage. Bewertet wird anhand des Gesprächs nach einer festgelegten Rubrik.", "ci95": [ 1.14, 10.96 ], "ci95Method": "wilson-design-effect", "designEffect": 2.3579 } ], "errorTypes": [ { "label": "Nicht erfasste Referenzfakten", "count": 429 }, { "label": "Falsche oder unbelegte Aussagen", "count": 95 }, { "label": "Zutreffende, aber nicht relevante Aussagen", "count": 170 } ], "failedRuns": [ { "scenarioId": "therapie-026", "run": 2, "reason": "Kein Dokument innerhalb des protokollierten Zeitlimits" } ], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "PlaynVoice Web-App, Stand 3. Quartal 2026", "modelVersions": null, "template": { "id": "si-therapie-verlauf", "version": "1.0" }, "instruction": { "id": "si-instr-therapie", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Aufnahme in der Anwendung über einen virtuellen Mikrofoneingang", "language": "Deutsch", "outputLanguage": "Deutsch", "output": "Psychotherapeutische Verlaufsnotiz", "manualCorrection": false }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": null }, "corpusMetadata": { "version": "1.0", "manifestSha256": "62780a1c05eb9562aa4bdbee3b73aedcf448ce0e8e6ba5fd85d7e17baa3b4bd8", "referenceVersion": "1.0", "referenceSha256": "62c50ae99e53e02e016470714f0a6524d90a92407fe393d48adae95f19a8ee2a", "sourceScenarioCount": 36, "evaluatedScenarioCount": 36, "totalAudioSeconds": 103620, "durationSeconds": { "minimum": 2220, "maximum": 3540 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 1 } ], "conversions": [ { "description": "Einspielung der Gesprächsaufnahme in Echtzeit über einen virtuellen Mikrofoneingang mit −20 dBFS RMS", "tool": "scribeindex-playback", "version": "1.0" } ], "exclusions": [] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 36, "resamples": 2000, "seed": 3733937332, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "0c35a46bc36056c43d2f55385441679c130a0d1ef5bcb7bd6cb2f19411cef23a" } }, { "id": "psynex/medical-scribes:therapy-notes", "provider": "psynex", "providerName": "Psynex", "test": "medical-scribes:therapy-notes", "label": "Psychotherapeutische Sitzungsdokumentation", "category": "medical-scribes", "task": "therapy-notes", "url": "https://scribeindex.com/anbieter/psynex/test/#psychotherapie", "rankingUrl": "https://scribeindex.com/vergleich/medical-scribes/psychotherapie/", "testPeriod": "2026-Q3", "protocol": "1.0", "corpus": "de-therapie-v1", "scenarios": 36, "runs": 3, "completed": 107, "total": 108, "completionRatePercent": 99.074, "evaluation": { "output": "therapy-note", "semanticRubric": "clinical-facts-v1", "wordErrorRate": { "applicability": "not-applicable", "basis": "unavailable", "explanation": "Die gelieferte Ausgabe ist eine therapeutische Sitzungsnotiz. Bewertet werden dokumentationsrelevante Fakten und ihre Zuordnung, nicht die Wortfolge des Gesprächs." } }, "score": { "version": "2.2", "value": 77.1929, "ci95": [ 72.5, 79.3 ], "ci95Method": "paired-cluster-bootstrap-beta-critical", "pairedDifferences": [ { "provider": "healthjet", "ci95": [ 5.7, 22.28 ] }, { "provider": "playnvoice", "ci95": [ 0.42, 11.08 ] }, { "provider": "heidi", "ci95": [ 10.32, 26.35 ] }, { "provider": "tandem-health", "ci95": [ 5.63, 19.93 ] }, { "provider": "via-health", "ci95": [ -6.54, 6.38 ] }, { "provider": "dokudachs", "ci95": [ -4.87, 8.42 ] }, { "provider": "iptas", "ci95": [ -2.71, 7.77 ] }, { "provider": "clara-health", "ci95": [ 0.36, 13.13 ] }, { "provider": "lumanote", "ci95": [ -2.25, 12.41 ] }, { "provider": "noa-notes", "ci95": [ 10.37, 23.14 ] }, { "provider": "upheal", "ci95": [ 14.32, 30.77 ] } ], "rank": 2, "cohortSize": 12, "criticalRatePercent": 0, "contentQuality": 91.249, "references": { "key": "therapy-notes", "qualityErrorPoints": 30, "correctionMinutes": 20, "criticalPercent": 20 }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 70.831, "weight": 0.6, "contribution": 42.498 }, { "key": "critical", "label": "Schwerwiegende Fehler", "value": 100, "weight": 0.2, "contribution": 20 }, { "key": "effort", "label": "Korrekturaufwand", "value": 64.938, "weight": 0.15, "contribution": 9.741 }, { "key": "reliability", "label": "Abschlussquote", "value": 99.074, "weight": 0.05, "contribution": 4.954 } ] }, "mainMetric": { "label": "Fakten-F1", "abbreviation": "F1", "value": 91.249, "direction": "higher", "ci95": [ 90.26, 92.26 ] }, "transcription": null, "facts": { "truePositive": 2951, "falsePositive": 208, "falseNegative": 358, "referenceFacts": 3309, "outputFacts": 3159, "precisionPercent": 93.416, "precisionCi95": [ 91.76, 94.95 ], "recallPercent": 89.181, "recallCi95": [ 87.87, 90.46 ], "f1Percent": 91.249, "f1Ci95": [ 90.26, 92.26 ] }, "latency": { "p50Seconds": 454.2, "p95Seconds": 670.5, "mode": "file-upload", "start": "Uploadstart", "end": "Vollständiges Dokument verfügbar" }, "correction": { "minutesPerAudioHour": 7.0124, "ci95": [ 6.24, 7.81 ], "estimate": { "outputs": 107, "audioSeconds": 308280, "minutes": 600.44, "ci": [ 6.24, 7.81 ], "audioHours": 85.626 } }, "additionalMetrics": [ { "key": "critical-documents", "label": "Dokumente mit schwerwiegendem Fehler", "numerator": 0, "denominator": 107, "valuePercent": 0, "direction": "lower", "definition": "Ausgaben mit mindestens einem potenziell schwerwiegenden medizinischen Fehler pro abgeschlossener Ausgabe. Bewertet wird jeder Fall nach einer festgelegten Fehlerrubrik. Fehler bei Medikation oder Verneinung zählen hier nur, wenn die Rubrik die betroffene Angabe als potenziell schwerwiegend einstuft. Die Zähler je Fehlerart enthalten auch folgenlose Abweichungen.", "ci95": [ 0, 6.59 ], "ci95Method": "wilson-design-effect", "designEffect": 1.9642 }, { "key": "unsupported-statements", "label": "Falsche oder unbelegte Aussagen", "numerator": 62, "denominator": 3159, "valuePercent": 1.963, "direction": "lower", "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.", "ci95": [ 1.34, 2.87 ], "ci95Method": "wilson-design-effect", "designEffect": 2.4041 }, { "key": "medical-term-errors", "label": "Fehler bei Fachbegriffen", "numerator": 45, "denominator": 1180, "valuePercent": 3.814, "direction": "lower", "definition": "Fachlich falsch wiedergegebene oder ausgelassene medizinische Konzepte pro annotiertem Fachkonzept der Referenz. Synonyme gelten bei gleicher Bedeutung als korrekt.", "ci95": [ 2.43, 5.93 ], "ci95Method": "wilson-design-effect", "designEffect": 2.4655 }, { "key": "medication-errors", "label": "Fehler bei Medikamenten und Dosierungen", "numerator": 2, "denominator": 75, "valuePercent": 2.667, "direction": "lower", "definition": "Falsch wiedergegebene oder ausgelassene Angaben zu Wirkstoff, Dosis, Einheit und Einnahme pro annotierter Medikationsangabe. Jede Angabe zählt höchstens einmal.", "ci95": [ 0.43, 14.56 ], "ci95Method": "wilson-design-effect", "designEffect": 2.2198 }, { "key": "negation-errors", "label": "Fehler bei Verneinungen", "numerator": 7, "denominator": 433, "valuePercent": 1.617, "direction": "lower", "definition": "Verlorene, hinzugefügte oder umgekehrte Negationen pro Referenzaussage mit verneintem oder ausdrücklich bestätigtem Befund. Eine Aussage zählt höchstens einmal.", "ci95": [ 0.5, 5.01 ], "ci95Method": "wilson-design-effect", "designEffect": 2.7216 }, { "key": "temporal-errors", "label": "Fehler bei zeitlichen Angaben", "numerator": 35, "denominator": 964, "valuePercent": 3.631, "direction": "lower", "definition": "Falsch zugeordnete oder ausgelassene Zeitpunkte, Dauern und zeitliche Beziehungen pro annotierter zeitlicher Referenzangabe.", "ci95": [ 2.18, 5.99 ], "ci95Method": "wilson-design-effect", "designEffect": 2.4641 }, { "key": "attribution-errors", "label": "Fehler bei der Zuordnung", "numerator": 70, "denominator": 1900, "valuePercent": 3.684, "direction": "lower", "definition": "Falsche oder ausgelassene Zuordnung von Aussagen zu Patient, behandelnder Person oder Drittperson pro Referenzfakt mit erforderlicher Quellenzuordnung.", "ci95": [ 2.52, 5.36 ], "ci95Method": "wilson-design-effect", "designEffect": 2.723 }, { "key": "risk-assessment-errors", "label": "Fehler bei Risikohinweisen", "numerator": 0, "denominator": 171, "valuePercent": 0, "direction": "lower", "definition": "Ausgelassene, hinzugefügte oder falsch eingeordnete Aussagen zu Selbstgefährdung und Schutzfaktoren pro annotierter risikorelevanter Referenzaussage. Bewertet wird anhand des Gesprächs nach einer festgelegten Rubrik.", "ci95": [ 0, 5.15 ], "ci95Method": "wilson-design-effect", "designEffect": 2.4129 } ], "errorTypes": [ { "label": "Nicht erfasste Referenzfakten", "count": 358 }, { "label": "Falsche oder unbelegte Aussagen", "count": 62 }, { "label": "Zutreffende, aber nicht relevante Aussagen", "count": 146 } ], "failedRuns": [ { "scenarioId": "therapie-009", "run": 1, "reason": "Export unvollständig, Dokument nach dem dritten Abschnitt abgeschnitten" } ], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "Psynex Browseranwendung mit Audio-Upload, Stand 3. Quartal 2026", "modelVersions": null, "template": { "id": "si-therapie-verlauf", "version": "1.0" }, "instruction": { "id": "si-instr-therapie", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Dateiupload der Korpusdatei im Browser", "outputLanguage": "de-DE", "specialty": "Psychotherapie" }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": null }, "corpusMetadata": { "version": "1.0", "manifestSha256": "62780a1c05eb9562aa4bdbee3b73aedcf448ce0e8e6ba5fd85d7e17baa3b4bd8", "referenceVersion": "1.0", "referenceSha256": "62c50ae99e53e02e016470714f0a6524d90a92407fe393d48adae95f19a8ee2a", "sourceScenarioCount": 36, "evaluatedScenarioCount": 36, "totalAudioSeconds": 103620, "durationSeconds": { "minimum": 2220, "maximum": 3540 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 1 } ], "conversions": [], "exclusions": [] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 36, "resamples": 2000, "seed": 3733937332, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "0c35a46bc36056c43d2f55385441679c130a0d1ef5bcb7bd6cb2f19411cef23a" } }, { "id": "quixxs/medical-scribes:clinical-notes", "provider": "quixxs", "providerName": "QUIXXS", "test": "medical-scribes:clinical-notes", "label": "Ärztliche Gesprächsdokumentation", "category": "medical-scribes", "task": "clinical-notes", "url": "https://scribeindex.com/anbieter/quixxs/test/#aerztliche-dokumentation", "rankingUrl": "https://scribeindex.com/vergleich/medical-scribes/aerztliche-dokumentation/", "testPeriod": "2026-Q3", "protocol": "1.0", "corpus": "de-klinik-v1", "scenarios": 48, "runs": 3, "completed": 142, "total": 144, "completionRatePercent": 98.611, "evaluation": { "output": "clinical-note", "semanticRubric": "clinical-facts-v1", "wordErrorRate": { "applicability": "not-applicable", "basis": "unavailable", "explanation": "Die gelieferte Ausgabe ist eine verdichtete Dokumentation, keine wortnahe Abschrift. Deshalb gibt es keine WER." } }, "score": { "version": "2.2", "value": 66.9684, "ci95": [ 60.4, 71.2 ], "ci95Method": "paired-cluster-bootstrap-beta-critical", "pairedDifferences": [ { "provider": "healthjet", "ci95": [ -20.59, -8.47 ] }, { "provider": "heidi", "ci95": [ -21.67, -8.57 ] }, { "provider": "tippiti", "ci95": [ -26.33, -14.39 ] }, { "provider": "tandem-health", "ci95": [ -19.09, -5.6 ] }, { "provider": "noa-notes", "ci95": [ -15, -1.43 ] }, { "provider": "doctolib-assistent", "ci95": [ -28.09, -16.96 ] }, { "provider": "dragon-copilot", "ci95": [ -22.78, -9.47 ] }, { "provider": "speechlive-health", "ci95": [ -19.57, -7.01 ] }, { "provider": "gospeech-medical", "ci95": [ -23.92, -12.62 ] }, { "provider": "idana-flow", "ci95": [ -20.48, -6.95 ] } ], "rank": 11, "cohortSize": 11, "criticalRatePercent": 2.817, "contentQuality": 87.669, "references": { "key": "clinical-notes", "qualityErrorPoints": 30, "correctionMinutes": 59, "criticalPercent": 20 }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 58.898, "weight": 0.6, "contribution": 35.339 }, { "key": "critical", "label": "Schwerwiegende Fehler", "value": 85.915, "weight": 0.2, "contribution": 17.183 }, { "key": "effort", "label": "Korrekturaufwand", "value": 63.439, "weight": 0.15, "contribution": 9.516 }, { "key": "reliability", "label": "Abschlussquote", "value": 98.611, "weight": 0.05, "contribution": 4.931 } ] }, "mainMetric": { "label": "Fakten-F1", "abbreviation": "F1", "value": 87.669, "direction": "higher", "ci95": [ 86.33, 88.99 ] }, "transcription": null, "facts": { "truePositive": 3363, "falsePositive": 242, "falseNegative": 704, "referenceFacts": 4067, "outputFacts": 3605, "precisionPercent": 93.287, "precisionCi95": [ 92.03, 94.54 ], "recallPercent": 82.69, "recallCi95": [ 80.83, 84.47 ], "f1Percent": 87.669, "f1Ci95": [ 86.33, 88.99 ] }, "latency": { "p50Seconds": 40.6, "p95Seconds": 79, "mode": "live-conversation", "start": "Beenden der Aufnahme", "end": "Vollständiges Dokument verfügbar" }, "correction": { "minutesPerAudioHour": 21.5711, "ci95": [ 18.78, 24.64 ], "estimate": { "outputs": 142, "audioSeconds": 102780, "minutes": 615.79, "ci": [ 18.78, 24.64 ], "audioHours": 28.547 } }, "additionalMetrics": [ { "key": "critical-documents", "label": "Dokumente mit schwerwiegendem Fehler", "numerator": 4, "denominator": 142, "valuePercent": 2.817, "direction": "lower", "definition": "Ausgaben mit mindestens einem potenziell schwerwiegenden medizinischen Fehler pro abgeschlossener Ausgabe. Bewertet wird jeder Fall nach einer festgelegten Fehlerrubrik. Fehler bei Medikation oder Verneinung zählen hier nur, wenn die Rubrik die betroffene Angabe als potenziell schwerwiegend einstuft. Die Zähler je Fehlerart enthalten auch folgenlose Abweichungen.", "ci95": [ 0.78, 9.6 ], "ci95Method": "wilson-design-effect", "designEffect": 1.9574 }, { "key": "unsupported-statements", "label": "Falsche oder unbelegte Aussagen", "numerator": 102, "denominator": 3605, "valuePercent": 2.829, "direction": "lower", "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.", "ci95": [ 2.09, 3.82 ], "ci95Method": "wilson-design-effect", "designEffect": 2.506 }, { "key": "medical-term-errors", "label": "Fehler bei Fachbegriffen", "numerator": 265, "denominator": 3444, "valuePercent": 7.695, "direction": "lower", "definition": "Fachlich falsch wiedergegebene oder ausgelassene medizinische Konzepte pro annotiertem Fachkonzept der Referenz. Synonyme gelten bei gleicher Bedeutung als korrekt.", "ci95": [ 6.38, 9.24 ], "ci95Method": "wilson-design-effect", "designEffect": 2.5519 }, { "key": "medication-errors", "label": "Fehler bei Medikamenten und Dosierungen", "numerator": 34, "denominator": 615, "valuePercent": 5.528, "direction": "lower", "definition": "Falsch wiedergegebene oder ausgelassene Angaben zu Wirkstoff, Dosis, Einheit und Einnahme pro annotierter Medikationsangabe. Jede Angabe zählt höchstens einmal.", "ci95": [ 3.44, 8.77 ], "ci95Method": "wilson-design-effect", "designEffect": 2.0956 }, { "key": "negation-errors", "label": "Fehler bei Verneinungen", "numerator": 28, "denominator": 810, "valuePercent": 3.457, "direction": "lower", "definition": "Verlorene, hinzugefügte oder umgekehrte Negationen pro Referenzaussage mit verneintem oder ausdrücklich bestätigtem Befund. Eine Aussage zählt höchstens einmal.", "ci95": [ 1.99, 5.94 ], "ci95Method": "wilson-design-effect", "designEffect": 2.3208 }, { "key": "temporal-errors", "label": "Fehler bei zeitlichen Angaben", "numerator": 78, "denominator": 920, "valuePercent": 8.478, "direction": "lower", "definition": "Falsch zugeordnete oder ausgelassene Zeitpunkte, Dauern und zeitliche Beziehungen pro annotierter zeitlicher Referenzangabe.", "ci95": [ 6.03, 11.78 ], "ci95Method": "wilson-design-effect", "designEffect": 2.5122 }, { "key": "attribution-errors", "label": "Fehler bei der Zuordnung", "numerator": 135, "denominator": 2133, "valuePercent": 6.329, "direction": "lower", "definition": "Falsche oder ausgelassene Zuordnung von Aussagen zu Patient, behandelnder Person oder Drittperson pro Referenzfakt mit erforderlicher Quellenzuordnung.", "ci95": [ 4.84, 8.24 ], "ci95Method": "wilson-design-effect", "designEffect": 2.6569 } ], "errorTypes": [ { "label": "Nicht erfasste Referenzfakten", "count": 704 }, { "label": "Falsche oder unbelegte Aussagen", "count": 102 }, { "label": "Zutreffende, aber nicht relevante Aussagen", "count": 140 } ], "failedRuns": [ { "scenarioId": "klinik-020", "run": 3, "reason": "Aufnahme nach App-Unterbrechung verworfen" }, { "scenarioId": "klinik-034", "run": 3, "reason": "Aufnahme nach App-Unterbrechung verworfen" } ], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "QUIXXS Mobil-App und Weboberfläche, Stand 3. Quartal 2026", "modelVersions": null, "template": { "id": "anbieter-klinischer-bericht", "version": null }, "instruction": { "id": "si-instr-sprechstunde", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Aufnahme in der Anwendung über einen virtuellen Mikrofoneingang", "mode": "Ambient-Modus", "outputLanguage": "de-DE", "specialty": "Medizin allgemein", "region": "Deutschland" }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": null }, "corpusMetadata": { "version": "1.0", "manifestSha256": "07e4ff2bb9cb21c1b350d732b5e593f4f1830354a230c75954136f03552f7ba5", "referenceVersion": "1.0", "referenceSha256": "9ddba13742d943cd28b478c231a53d71ed064e1ba7681896e21faedfe2bb2207", "sourceScenarioCount": 50, "evaluatedScenarioCount": 48, "totalAudioSeconds": 34860, "durationSeconds": { "minimum": 360, "maximum": 2400 }, "audioFormats": [ { "codec": "AAC-LC (M4A)", "sampleRateHertz": 48000, "channels": 1 }, { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 2 } ], "conversions": [ { "description": "Einspielung der Gesprächsaufnahme in Echtzeit über einen virtuellen Mikrofoneingang mit −20 dBFS RMS", "tool": "scribeindex-playback", "version": "1.0" } ], "exclusions": [ { "scenarioId": "klinik-016", "reason": "Einwilligung zur Nutzung der Aufnahme vor Testbeginn widerrufen." }, { "scenarioId": "klinik-033", "reason": "Relevanzmenge auch nach fachlicher Durchsicht nicht eindeutig festlegbar." } ] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 48, "resamples": 2000, "seed": 2234884632, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "f630f8568c719864793b7aacf8e58f4627c6b7bdcdf5f3730abfda50ad6bfb37" } }, { "id": "read-ai/meeting-scribes", "provider": "read-ai", "providerName": "Read AI", "test": "meeting-scribes", "label": "Meeting-Scribes", "category": "meeting-scribes", "url": "https://scribeindex.com/anbieter/read-ai/test/#meeting-scribes", "rankingUrl": "https://scribeindex.com/vergleich/meeting-scribes/", "testPeriod": "2026-Q2", "protocol": "1.0", "corpus": "de-meeting-v1", "scenarios": 38, "runs": 2, "completed": 76, "total": 76, "completionRatePercent": 100, "evaluation": { "output": "meeting-summary", "semanticRubric": "meeting-facts-v1", "wordErrorRate": { "applicability": "not-applicable", "basis": "unavailable", "explanation": "Bewertet werden das gelieferte Protokoll und die Sprecherzuordnung im exportierten Transkript. Die Transkript-WER gilt nur für dieses Transkript und zählt nicht zum ScribeIndex-Score." } }, "score": { "version": "2.2", "value": 58.5343, "ci95": [ 54.3, 62.7 ], "ci95Method": "paired-cluster-bootstrap", "pairedDifferences": [ { "provider": "jamie", "ci95": [ -5.91, 2.7 ] }, { "provider": "otter", "ci95": [ -4.18, 8.78 ] }, { "provider": "fireflies", "ci95": [ -7.59, 1.97 ] }, { "provider": "fathom", "ci95": [ -15.19, -6.69 ] }, { "provider": "granola", "ci95": [ -4.67, 6.43 ] }, { "provider": "tldv", "ci95": [ -1.71, 8.37 ] }, { "provider": "happy-scribe", "ci95": [ -4.51, 4.1 ] }, { "provider": "notta", "ci95": [ 4.9, 19.11 ] }, { "provider": "meetgeek", "ci95": [ -7.22, 2.98 ] }, { "provider": "bluedot", "ci95": [ 2.13, 12.96 ] }, { "provider": "sembly", "ci95": [ 5.52, 14.51 ] }, { "provider": "plaud", "ci95": [ -2.99, 10.12 ] }, { "provider": "sally", "ci95": [ -2.37, 10.45 ] } ], "rank": 6, "cohortSize": 14, "criticalRatePercent": null, "contentQuality": 86.781, "references": { "key": "meeting-scribes", "qualityErrorPoints": 30, "correctionMinutes": 35, "criticalPercent": null }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 55.936, "weight": 0.75, "contribution": 41.952 }, { "key": "effort", "label": "Korrekturaufwand", "value": 57.91, "weight": 0.2, "contribution": 11.582 }, { "key": "reliability", "label": "Abschlussquote", "value": 100, "weight": 0.05, "contribution": 5 } ] }, "mainMetric": { "label": "Fakten-F1", "abbreviation": "F1", "value": 85.811, "direction": "higher", "ci95": [ 84.08, 87.56 ] }, "transcription": null, "facts": { "truePositive": 2413, "falsePositive": 327, "falseNegative": 471, "referenceFacts": 2884, "outputFacts": 2740, "precisionPercent": 88.066, "precisionCi95": [ 86.03, 90.04 ], "recallPercent": 83.669, "recallCi95": [ 81.35, 86 ], "f1Percent": 85.811, "f1Ci95": [ 84.08, 87.56 ] }, "latency": { "p50Seconds": 751, "p95Seconds": 2060.6, "mode": "live-conversation", "start": "Ende der Gesprächserfassung", "end": "Vollständiges Protokoll verfügbar" }, "correction": { "minutesPerAudioHour": 14.7316, "ci95": [ 13.15, 16.5 ], "estimate": { "outputs": 76, "audioSeconds": 182520, "minutes": 746.89, "ci": [ 13.15, 16.5 ], "audioHours": 50.7 } }, "additionalMetrics": [ { "key": "transcript-wer", "label": "Transkript-WER", "numerator": 46545, "denominator": 389306, "valuePercent": 11.956, "direction": "lower", "definition": "Wortersetzungen, Auslassungen und Einfügungen im exportierten Transkript pro Referenzwort nach Normalisierungsprofil de-allg-wer. Bewertet das Transkript, nicht die Zusammenfassung.", "ci95": [ 10.66, 13.34 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "der", "label": "Diarisierungsfehlerrate · DER", "numerator": 1828613, "denominator": 16691388, "valuePercent": 10.955, "direction": "lower", "definition": "Verpasste Sprache, fälschlich erkannte Sprache und falsch zugeordnete Sprecherzeit pro Referenzsprechzeit. Toleranz 250 ms um Referenzgrenzen, überlappende Sprache eingeschlossen. Liefert ein Dienst Sprecherkennungen ohne eigene Zeitmarken, bestimmt ScribeIndex die Zeitmarken durch erzwungene Ausrichtung (Forced Alignment) des gelieferten Texts an der Aufnahme. Die DER berechnet ScribeIndex daraus wie bei allen anderen Diensten, mit verpasster und fälschlich erkannter Sprache und Fehlern an Segmentgrenzen.", "ci95": [ 9.7, 12.32 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "der-strict", "label": "DER ohne Toleranz", "numerator": 2599185, "denominator": 16691388, "valuePercent": 15.572, "direction": "lower", "definition": "Diarisierungsfehlerrate wie DER, jedoch ohne Toleranzbereich um Referenzgrenzen. Die Differenz zur DER zeigt den Anteil der Fehler an Segmentgrenzen.", "ci95": [ 13.76, 17.57 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "unsupported-statements", "label": "Falsche oder unbelegte Aussagen", "numerator": 167, "denominator": 2740, "valuePercent": 6.095, "direction": "lower", "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.", "ci95": [ 4.87, 7.6 ], "ci95Method": "wilson-design-effect", "designEffect": 2.2991 }, { "key": "decision-recall", "label": "Erfasste Beschlüsse", "numerator": 242, "denominator": 302, "valuePercent": 80.132, "direction": "higher", "definition": "Korrekt als Beschluss wiedergegebene Referenzbeschlüsse mit Geltungsbereich und Status pro Referenzbeschluss. Als Beschluss ausgegebene Vorschläge zählen nicht als Treffer.", "ci95": [ 73.83, 85.22 ], "ci95Method": "wilson-design-effect", "designEffect": 1.6119 }, { "key": "action-item-recall", "label": "Erkannte Aufgaben", "numerator": 415, "denominator": 456, "valuePercent": 91.009, "direction": "higher", "definition": "Referenzaufgaben, die im Protokoll als Aufgabe erscheinen, pro Referenzaufgabe. Zuständigkeit und Frist werden getrennt bewertet.", "ci95": [ 87.35, 93.69 ], "ci95Method": "wilson-design-effect", "designEffect": 1.4339 }, { "key": "action-owner-accuracy", "label": "Korrekte Zuständigkeiten", "numerator": 266, "denominator": 332, "valuePercent": 80.12, "direction": "higher", "definition": "Korrekt wiedergegebene verantwortliche Personen pro Referenzaufgabe mit ausdrücklich genannter Zuständigkeit. Nicht erkannte Aufgaben zählen als Fehler.", "ci95": [ 74.49, 84.77 ], "ci95Method": "wilson-design-effect", "designEffect": 1.4415 }, { "key": "action-deadline-accuracy", "label": "Korrekte Fristen", "numerator": 182, "denominator": 234, "valuePercent": 77.778, "direction": "higher", "definition": "Korrekt wiedergegebene Fristen pro Referenzaufgabe mit ausdrücklich genannter Frist. Nicht erkannte Aufgaben zählen als Fehler.", "ci95": [ 70.62, 83.6 ], "ci95Method": "wilson-design-effect", "designEffect": 1.5037 }, { "key": "action-tuple-accuracy", "label": "Vollständig korrekte Aufgaben", "numerator": 339, "denominator": 456, "valuePercent": 74.342, "direction": "higher", "definition": "Aufgaben, deren Tätigkeit, Zuständigkeit und Frist vollständig korrekt wiedergegeben werden, pro Referenzaufgabe. Nicht genannte Zuständigkeiten oder Fristen müssen als nicht genannt erscheinen.", "ci95": [ 69.34, 78.78 ], "ci95Method": "wilson-design-effect", "designEffect": 1.3951 } ], "errorTypes": [ { "label": "Nicht erfasste Referenzfakten", "count": 471 }, { "label": "Falsche oder unbelegte Aussagen", "count": 167 }, { "label": "Zutreffende, aber nicht relevante Aussagen", "count": 160 } ], "failedRuns": [], "configuration": { "locale": "de-DE", "automaticLanguageDetection": true, "productVersion": "Read AI Web-App mit Meeting-Bot, Stand 2. Quartal 2026", "modelVersions": null, "template": { "id": "anbieter-standard-protokoll", "version": null }, "instruction": { "id": "si-instr-meeting", "version": "1.0" }, "customVocabulary": null, "settings": { "capture": "Meeting-Bot", "transcriptLanguage": "de-DE", "outputLanguage": "de-DE", "participantList": true, "dataRegion": "USA (AWS us-east-1)", "calendarCapture": true }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": { "id": "de-allg-wer", "version": "1.0" } }, "corpusMetadata": { "version": "1.0", "manifestSha256": "1a25115bb8a34e284f1d01d3860260a21cb8f5847004facb1596738bbac7ddab", "referenceVersion": "1.0", "referenceSha256": "eab8be0ab42fa45d7c98cb94b1a700dfc141ed5d7e96d67f4d9349c7d3a84d70", "sourceScenarioCount": 40, "evaluatedScenarioCount": 38, "totalAudioSeconds": 91260, "durationSeconds": { "minimum": 780, "maximum": 5220 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 2 }, { "codec": "Opus (WebM)", "sampleRateHertz": 48000, "channels": 1 } ], "conversions": [ { "description": "Einspielung über virtuelle Konferenzteilnehmende aus den getrennten ursprünglichen Sprecheraufnahmen. Hybride Raumsprecher bleiben gemeinsam auf einer unveränderten Raumspur. Aus der Korpusmischung werden keine Sprecher mit Hilfe der Referenz separiert.", "tool": "scribeindex-meeting-replay", "version": "1.0" } ], "exclusions": [ { "scenarioId": "meeting-012", "reason": "Sprecherreferenz wegen Übersprechen zweier Raummikrofone nicht belastbar." }, { "scenarioId": "meeting-029", "reason": "Teilnehmende widerriefen die Nutzung der Aufnahme." } ] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 38, "resamples": 2000, "seed": 4134088586, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "3ee50ed01707c6c0c1902b3d172d67b6fe4b33360c81d07433d846f0fcbe3781" } }, { "id": "sally/meeting-scribes", "provider": "sally", "providerName": "Sally AI", "test": "meeting-scribes", "label": "Meeting-Scribes", "category": "meeting-scribes", "url": "https://scribeindex.com/anbieter/sally/test/#meeting-scribes", "rankingUrl": "https://scribeindex.com/vergleich/meeting-scribes/", "testPeriod": "2026-Q3", "protocol": "1.0", "corpus": "de-meeting-v1", "scenarios": 38, "runs": 2, "completed": 75, "total": 76, "completionRatePercent": 98.684, "evaluation": { "output": "meeting-summary", "semanticRubric": "meeting-facts-v1", "wordErrorRate": { "applicability": "not-applicable", "basis": "unavailable", "explanation": "Bewertet werden das gelieferte Protokoll und die Sprecherzuordnung im exportierten Transkript. Die Transkript-WER gilt nur für dieses Transkript und zählt nicht zum ScribeIndex-Score." } }, "score": { "version": "2.2", "value": 54.4203, "ci95": [ 48.4, 60.3 ], "ci95Method": "paired-cluster-bootstrap", "pairedDifferences": [ { "provider": "jamie", "ci95": [ -11.89, -0.14 ] }, { "provider": "otter", "ci95": [ -7.13, 3.6 ] }, { "provider": "fireflies", "ci95": [ -11.86, -2.49 ] }, { "provider": "fathom", "ci95": [ -20.13, -10.36 ] }, { "provider": "granola", "ci95": [ -9.84, 3.08 ] }, { "provider": "tldv", "ci95": [ -6.28, 4.47 ] }, { "provider": "happy-scribe", "ci95": [ -9.74, 1.05 ] }, { "provider": "notta", "ci95": [ 1.22, 12.92 ] }, { "provider": "read-ai", "ci95": [ -10.45, 2.37 ] }, { "provider": "meetgeek", "ci95": [ -11.87, -0.65 ] }, { "provider": "bluedot", "ci95": [ -1.71, 8.93 ] }, { "provider": "sembly", "ci95": [ -1.19, 12.41 ] }, { "provider": "plaud", "ci95": [ -7.26, 5.25 ] } ], "rank": 11, "cohortSize": 14, "criticalRatePercent": null, "contentQuality": 85.824, "references": { "key": "meeting-scribes", "qualityErrorPoints": 30, "correctionMinutes": 35, "criticalPercent": null }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 52.746, "weight": 0.75, "contribution": 39.559 }, { "key": "effort", "label": "Korrekturaufwand", "value": 49.635, "weight": 0.2, "contribution": 9.927 }, { "key": "reliability", "label": "Abschlussquote", "value": 98.684, "weight": 0.05, "contribution": 4.934 } ] }, "mainMetric": { "label": "Fakten-F1", "abbreviation": "F1", "value": 84.23, "direction": "higher", "ci95": [ 81.68, 86.66 ] }, "transcription": null, "facts": { "truePositive": 2318, "falsePositive": 337, "falseNegative": 531, "referenceFacts": 2849, "outputFacts": 2655, "precisionPercent": 87.307, "precisionCi95": [ 84.81, 89.61 ], "recallPercent": 81.362, "recallCi95": [ 77.98, 84.36 ], "f1Percent": 84.23, "f1Ci95": [ 81.68, 86.66 ] }, "latency": { "p50Seconds": 92, "p95Seconds": 170.4, "mode": "live-conversation", "start": "Ende der Gesprächserfassung", "end": "Vollständiges Protokoll verfügbar" }, "correction": { "minutesPerAudioHour": 17.6279, "ci95": [ 15.29, 20.17 ], "estimate": { "outputs": 75, "audioSeconds": 180000, "minutes": 881.27, "ci": [ 15.29, 20.17 ], "audioHours": 49.993 } }, "additionalMetrics": [ { "key": "transcript-wer", "label": "Transkript-WER", "numerator": 48895, "denominator": 383844, "valuePercent": 12.738, "direction": "lower", "definition": "Wortersetzungen, Auslassungen und Einfügungen im exportierten Transkript pro Referenzwort nach Normalisierungsprofil de-allg-wer. Bewertet das Transkript, nicht die Zusammenfassung.", "ci95": [ 11.7, 13.8 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "der", "label": "Diarisierungsfehlerrate · DER", "numerator": 1722959, "denominator": 16476672, "valuePercent": 10.457, "direction": "lower", "definition": "Verpasste Sprache, fälschlich erkannte Sprache und falsch zugeordnete Sprecherzeit pro Referenzsprechzeit. Toleranz 250 ms um Referenzgrenzen, überlappende Sprache eingeschlossen. Liefert ein Dienst Sprecherkennungen ohne eigene Zeitmarken, bestimmt ScribeIndex die Zeitmarken durch erzwungene Ausrichtung (Forced Alignment) des gelieferten Texts an der Aufnahme. Die DER berechnet ScribeIndex daraus wie bei allen anderen Diensten, mit verpasster und fälschlich erkannter Sprache und Fehlern an Segmentgrenzen.", "ci95": [ 9.38, 11.53 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "der-strict", "label": "DER ohne Toleranz", "numerator": 2299123, "denominator": 16476672, "valuePercent": 13.954, "direction": "lower", "definition": "Diarisierungsfehlerrate wie DER, jedoch ohne Toleranzbereich um Referenzgrenzen. Die Differenz zur DER zeigt den Anteil der Fehler an Segmentgrenzen.", "ci95": [ 12.53, 15.37 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "unsupported-statements", "label": "Falsche oder unbelegte Aussagen", "numerator": 173, "denominator": 2655, "valuePercent": 6.516, "direction": "lower", "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.", "ci95": [ 5.24, 8.08 ], "ci95Method": "wilson-design-effect", "designEffect": 2.2583 }, { "key": "decision-recall", "label": "Erfasste Beschlüsse", "numerator": 224, "denominator": 297, "valuePercent": 75.421, "direction": "higher", "definition": "Korrekt als Beschluss wiedergegebene Referenzbeschlüsse mit Geltungsbereich und Status pro Referenzbeschluss. Als Beschluss ausgegebene Vorschläge zählen nicht als Treffer.", "ci95": [ 68.75, 81.06 ], "ci95Method": "wilson-design-effect", "designEffect": 1.6003 }, { "key": "action-item-recall", "label": "Erkannte Aufgaben", "numerator": 397, "denominator": 451, "valuePercent": 88.027, "direction": "higher", "definition": "Referenzaufgaben, die im Protokoll als Aufgabe erscheinen, pro Referenzaufgabe. Zuständigkeit und Frist werden getrennt bewertet.", "ci95": [ 83.98, 91.16 ], "ci95Method": "wilson-design-effect", "designEffect": 1.4288 }, { "key": "action-owner-accuracy", "label": "Korrekte Zuständigkeiten", "numerator": 253, "denominator": 329, "valuePercent": 76.9, "direction": "higher", "definition": "Korrekt wiedergegebene verantwortliche Personen pro Referenzaufgabe mit ausdrücklich genannter Zuständigkeit. Nicht erkannte Aufgaben zählen als Fehler.", "ci95": [ 71.02, 81.89 ], "ci95Method": "wilson-design-effect", "designEffect": 1.4371 }, { "key": "action-deadline-accuracy", "label": "Korrekte Fristen", "numerator": 165, "denominator": 231, "valuePercent": 71.429, "direction": "higher", "definition": "Korrekt wiedergegebene Fristen pro Referenzaufgabe mit ausdrücklich genannter Frist. Nicht erkannte Aufgaben zählen als Fehler.", "ci95": [ 63.85, 77.97 ], "ci95Method": "wilson-design-effect", "designEffect": 1.4963 }, { "key": "action-tuple-accuracy", "label": "Vollständig korrekte Aufgaben", "numerator": 278, "denominator": 451, "valuePercent": 61.641, "direction": "higher", "definition": "Aufgaben, deren Tätigkeit, Zuständigkeit und Frist vollständig korrekt wiedergegeben werden, pro Referenzaufgabe. Nicht genannte Zuständigkeiten oder Fristen müssen als nicht genannt erscheinen.", "ci95": [ 56.24, 66.77 ], "ci95Method": "wilson-design-effect", "designEffect": 1.3904 } ], "errorTypes": [ { "label": "Nicht erfasste Referenzfakten", "count": 531 }, { "label": "Falsche oder unbelegte Aussagen", "count": 173 }, { "label": "Zutreffende, aber nicht relevante Aussagen", "count": 164 } ], "failedRuns": [ { "scenarioId": "meeting-025", "run": 2, "reason": "Leere Zusammenfassung ausgegeben" } ], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "Sally AI Web-App mit Meeting-Bot, Stand 3. Quartal 2026", "modelVersions": null, "template": { "id": "si-meeting-protokoll", "version": "1.0" }, "instruction": { "id": "si-instr-meeting", "version": "1.0" }, "customVocabulary": null, "settings": { "capture": "Meeting-Bot", "transcriptLanguage": "de-DE", "outputLanguage": "de-DE", "participantList": true, "dataRegion": "Deutschland", "asrSelection": "Automatisch, Sally zeigt das verwendete Erkennungsmodell nicht an" }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": { "id": "de-allg-wer", "version": "1.0" } }, "corpusMetadata": { "version": "1.0", "manifestSha256": "1a25115bb8a34e284f1d01d3860260a21cb8f5847004facb1596738bbac7ddab", "referenceVersion": "1.0", "referenceSha256": "eab8be0ab42fa45d7c98cb94b1a700dfc141ed5d7e96d67f4d9349c7d3a84d70", "sourceScenarioCount": 40, "evaluatedScenarioCount": 38, "totalAudioSeconds": 91260, "durationSeconds": { "minimum": 780, "maximum": 5220 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 2 }, { "codec": "Opus (WebM)", "sampleRateHertz": 48000, "channels": 1 } ], "conversions": [ { "description": "Einspielung über virtuelle Konferenzteilnehmende aus den getrennten ursprünglichen Sprecheraufnahmen. Hybride Raumsprecher bleiben gemeinsam auf einer unveränderten Raumspur. Aus der Korpusmischung werden keine Sprecher mit Hilfe der Referenz separiert.", "tool": "scribeindex-meeting-replay", "version": "1.0" } ], "exclusions": [ { "scenarioId": "meeting-012", "reason": "Sprecherreferenz wegen Übersprechen zweier Raummikrofone nicht belastbar." }, { "scenarioId": "meeting-029", "reason": "Teilnehmende widerriefen die Nutzung der Aufnahme." } ] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 38, "resamples": 2000, "seed": 4134088586, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "3ee50ed01707c6c0c1902b3d172d67b6fe4b33360c81d07433d846f0fcbe3781" } }, { "id": "sembly/meeting-scribes", "provider": "sembly", "providerName": "Sembly AI", "test": "meeting-scribes", "label": "Meeting-Scribes", "category": "meeting-scribes", "url": "https://scribeindex.com/anbieter/sembly/test/#meeting-scribes", "rankingUrl": "https://scribeindex.com/vergleich/meeting-scribes/", "testPeriod": "2026-Q2", "protocol": "1.0", "corpus": "de-meeting-v1", "scenarios": 38, "runs": 2, "completed": 74, "total": 76, "completionRatePercent": 97.368, "evaluation": { "output": "meeting-summary", "semanticRubric": "meeting-facts-v1", "wordErrorRate": { "applicability": "not-applicable", "basis": "unavailable", "explanation": "Bewertet werden das gelieferte Protokoll und die Sprecherzuordnung im exportierten Transkript. Die Transkript-WER gilt nur für dieses Transkript und zählt nicht zum ScribeIndex-Score." } }, "score": { "version": "2.2", "value": 48.6305, "ci95": [ 44.1, 52.9 ], "ci95Method": "paired-cluster-bootstrap", "pairedDifferences": [ { "provider": "jamie", "ci95": [ -15.46, -7.21 ] }, { "provider": "otter", "ci95": [ -12.75, -2.3 ] }, { "provider": "fireflies", "ci95": [ -18.08, -7.59 ] }, { "provider": "fathom", "ci95": [ -24.73, -16.8 ] }, { "provider": "granola", "ci95": [ -14.05, -3.9 ] }, { "provider": "tldv", "ci95": [ -11.19, -2.26 ] }, { "provider": "happy-scribe", "ci95": [ -14.54, -5.78 ] }, { "provider": "notta", "ci95": [ -4.5, 8.6 ] }, { "provider": "read-ai", "ci95": [ -14.51, -5.52 ] }, { "provider": "meetgeek", "ci95": [ -16.07, -7.7 ] }, { "provider": "bluedot", "ci95": [ -7.35, 3.3 ] }, { "provider": "plaud", "ci95": [ -12.03, -1.23 ] }, { "provider": "sally", "ci95": [ -12.41, 1.19 ] } ], "rank": 13, "cohortSize": 14, "criticalRatePercent": null, "contentQuality": 83.632, "references": { "key": "meeting-scribes", "qualityErrorPoints": 30, "correctionMinutes": 35, "criticalPercent": null }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 45.441, "weight": 0.75, "contribution": 34.081 }, { "key": "effort", "label": "Korrekturaufwand", "value": 48.406, "weight": 0.2, "contribution": 9.681 }, { "key": "reliability", "label": "Abschlussquote", "value": 97.368, "weight": 0.05, "contribution": 4.868 } ] }, "mainMetric": { "label": "Fakten-F1", "abbreviation": "F1", "value": 81.909, "direction": "higher", "ci95": [ 80.18, 83.69 ] }, "transcription": null, "facts": { "truePositive": 2162, "falsePositive": 343, "falseNegative": 612, "referenceFacts": 2774, "outputFacts": 2505, "precisionPercent": 86.307, "precisionCi95": [ 83.99, 88.53 ], "recallPercent": 77.938, "recallCi95": [ 75.48, 80.31 ], "f1Percent": 81.909, "f1Ci95": [ 80.18, 83.69 ] }, "latency": { "p50Seconds": 198.9, "p95Seconds": 519.6, "mode": "live-conversation", "start": "Ende der Gesprächserfassung", "end": "Vollständiges Protokoll verfügbar" }, "correction": { "minutesPerAudioHour": 18.058, "ci95": [ 16.56, 19.54 ], "estimate": { "outputs": 74, "audioSeconds": 175620, "minutes": 880.98, "ci": [ 16.56, 19.54 ], "audioHours": 48.786 } }, "additionalMetrics": [ { "key": "transcript-wer", "label": "Transkript-WER", "numerator": 48133, "denominator": 374671, "valuePercent": 12.847, "direction": "lower", "definition": "Wortersetzungen, Auslassungen und Einfügungen im exportierten Transkript pro Referenzwort nach Normalisierungsprofil de-allg-wer. Bewertet das Transkript, nicht die Zusammenfassung.", "ci95": [ 11.6, 14.21 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "der", "label": "Diarisierungsfehlerrate · DER", "numerator": 1977823, "denominator": 16018155, "valuePercent": 12.347, "direction": "lower", "definition": "Verpasste Sprache, fälschlich erkannte Sprache und falsch zugeordnete Sprecherzeit pro Referenzsprechzeit. Toleranz 250 ms um Referenzgrenzen, überlappende Sprache eingeschlossen. Liefert ein Dienst Sprecherkennungen ohne eigene Zeitmarken, bestimmt ScribeIndex die Zeitmarken durch erzwungene Ausrichtung (Forced Alignment) des gelieferten Texts an der Aufnahme. Die DER berechnet ScribeIndex daraus wie bei allen anderen Diensten, mit verpasster und fälschlich erkannter Sprache und Fehlern an Segmentgrenzen.", "ci95": [ 10.88, 14.13 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "der-strict", "label": "DER ohne Toleranz", "numerator": 2377973, "denominator": 16018155, "valuePercent": 14.845, "direction": "lower", "definition": "Diarisierungsfehlerrate wie DER, jedoch ohne Toleranzbereich um Referenzgrenzen. Die Differenz zur DER zeigt den Anteil der Fehler an Segmentgrenzen.", "ci95": [ 13.02, 17.1 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "unsupported-statements", "label": "Falsche oder unbelegte Aussagen", "numerator": 117, "denominator": 2505, "valuePercent": 4.671, "direction": "lower", "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.", "ci95": [ 3.59, 6.06 ], "ci95Method": "wilson-design-effect", "designEffect": 2.1861 }, { "key": "decision-recall", "label": "Erfasste Beschlüsse", "numerator": 234, "denominator": 293, "valuePercent": 79.863, "direction": "higher", "definition": "Korrekt als Beschluss wiedergegebene Referenzbeschlüsse mit Geltungsbereich und Status pro Referenzbeschluss. Als Beschluss ausgegebene Vorschläge zählen nicht als Treffer.", "ci95": [ 73.48, 85.02 ], "ci95Method": "wilson-design-effect", "designEffect": 1.5911 }, { "key": "action-item-recall", "label": "Erkannte Aufgaben", "numerator": 382, "denominator": 437, "valuePercent": 87.414, "direction": "higher", "definition": "Referenzaufgaben, die im Protokoll als Aufgabe erscheinen, pro Referenzaufgabe. Zuständigkeit und Frist werden getrennt bewertet.", "ci95": [ 83.25, 90.66 ], "ci95Method": "wilson-design-effect", "designEffect": 1.4144 }, { "key": "action-owner-accuracy", "label": "Korrekte Zuständigkeiten", "numerator": 252, "denominator": 322, "valuePercent": 78.261, "direction": "higher", "definition": "Korrekt wiedergegebene verantwortliche Personen pro Referenzaufgabe mit ausdrücklich genannter Zuständigkeit. Nicht erkannte Aufgaben zählen als Fehler.", "ci95": [ 72.43, 83.15 ], "ci95Method": "wilson-design-effect", "designEffect": 1.4268 }, { "key": "action-deadline-accuracy", "label": "Korrekte Fristen", "numerator": 165, "denominator": 224, "valuePercent": 73.661, "direction": "higher", "definition": "Korrekt wiedergegebene Fristen pro Referenzaufgabe mit ausdrücklich genannter Frist. Nicht erkannte Aufgaben zählen als Fehler.", "ci95": [ 66.12, 80.03 ], "ci95Method": "wilson-design-effect", "designEffect": 1.4788 }, { "key": "action-tuple-accuracy", "label": "Vollständig korrekte Aufgaben", "numerator": 312, "denominator": 437, "valuePercent": 71.396, "direction": "higher", "definition": "Aufgaben, deren Tätigkeit, Zuständigkeit und Frist vollständig korrekt wiedergegeben werden, pro Referenzaufgabe. Nicht genannte Zuständigkeiten oder Fristen müssen als nicht genannt erscheinen.", "ci95": [ 66.19, 76.09 ], "ci95Method": "wilson-design-effect", "designEffect": 1.3773 } ], "errorTypes": [ { "label": "Nicht erfasste Referenzfakten", "count": 612 }, { "label": "Falsche oder unbelegte Aussagen", "count": 117 }, { "label": "Zutreffende, aber nicht relevante Aussagen", "count": 226 } ], "failedRuns": [ { "scenarioId": "meeting-004", "run": 1, "reason": "Meeting-Bot nicht in die Konferenz zugelassen" }, { "scenarioId": "meeting-031", "run": 1, "reason": "Kein Protokoll innerhalb des festgelegten Zeitlimits" } ], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "Sembly AI Web-App mit Meeting-Agent, Stand 2. Quartal 2026", "modelVersions": null, "template": { "id": "anbieter-standard-protokoll", "version": null }, "instruction": { "id": "si-instr-meeting", "version": "1.0" }, "customVocabulary": null, "settings": { "capture": "Meeting-Bot", "transcriptLanguage": "de-DE", "outputLanguage": "de-DE", "participantList": true, "trainingOptOut": true, "dataRegion": "EU-Instanz", "notesOnboarding": "Notes im neuen Konto aktiviert" }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": { "id": "de-allg-wer", "version": "1.0" } }, "corpusMetadata": { "version": "1.0", "manifestSha256": "1a25115bb8a34e284f1d01d3860260a21cb8f5847004facb1596738bbac7ddab", "referenceVersion": "1.0", "referenceSha256": "eab8be0ab42fa45d7c98cb94b1a700dfc141ed5d7e96d67f4d9349c7d3a84d70", "sourceScenarioCount": 40, "evaluatedScenarioCount": 38, "totalAudioSeconds": 91260, "durationSeconds": { "minimum": 780, "maximum": 5220 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 2 }, { "codec": "Opus (WebM)", "sampleRateHertz": 48000, "channels": 1 } ], "conversions": [ { "description": "Einspielung über virtuelle Konferenzteilnehmende aus den getrennten ursprünglichen Sprecheraufnahmen. Hybride Raumsprecher bleiben gemeinsam auf einer unveränderten Raumspur. Aus der Korpusmischung werden keine Sprecher mit Hilfe der Referenz separiert.", "tool": "scribeindex-meeting-replay", "version": "1.0" } ], "exclusions": [ { "scenarioId": "meeting-012", "reason": "Sprecherreferenz wegen Übersprechen zweier Raummikrofone nicht belastbar." }, { "scenarioId": "meeting-029", "reason": "Teilnehmende widerriefen die Nutzung der Aufnahme." } ] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 38, "resamples": 2000, "seed": 4134088586, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "3ee50ed01707c6c0c1902b3d172d67b6fe4b33360c81d07433d846f0fcbe3781" } }, { "id": "sonix/audio-transkription", "provider": "sonix", "providerName": "Sonix", "test": "audio-transkription", "label": "Audiotranskription", "category": "audio-transkription", "url": "https://scribeindex.com/anbieter/sonix/test/#audio-transkription", "rankingUrl": "https://scribeindex.com/vergleich/audio-transkription/", "testPeriod": "2026-Q2", "protocol": "1.0", "corpus": "de-audio-v1", "scenarios": 44, "runs": 3, "completed": 130, "total": 132, "completionRatePercent": 98.485, "evaluation": { "output": "verbatim-transcript", "semanticRubric": null, "wordErrorRate": { "applicability": "word-aligned", "basis": "delivered-output", "explanation": "WER wird aus der gelieferten wortnahen Transkriptausgabe gegen die normalisierte Referenz berechnet." } }, "score": { "version": "2.2", "value": 61.1535, "ci95": [ 57.4, 64.4 ], "ci95Method": "paired-cluster-bootstrap", "pairedDifferences": [ { "provider": "amberscript", "ci95": [ -5.67, -0.88 ] }, { "provider": "happy-scribe", "ci95": [ -8.06, -1.89 ] }, { "provider": "turboscribe", "ci95": [ -3.27, 2.83 ] }, { "provider": "f4", "ci95": [ -1.27, 7.04 ] }, { "provider": "notta", "ci95": [ 2.19, 8.93 ] }, { "provider": "noscribe", "ci95": [ -3.75, 2.59 ] }, { "provider": "maxqda-transcription", "ci95": [ -17.05, -12.05 ] }, { "provider": "trint", "ci95": [ -2.26, 5.28 ] } ], "rank": 6, "cohortSize": 9, "criticalRatePercent": null, "contentQuality": 88.359, "references": { "key": "audio-transkription", "qualityErrorPoints": 30, "correctionMinutes": 220, "criticalPercent": null }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 61.196, "weight": 0.75, "contribution": 45.897 }, { "key": "effort", "label": "Korrekturaufwand", "value": 51.66, "weight": 0.2, "contribution": 10.332 }, { "key": "reliability", "label": "Abschlussquote", "value": 98.485, "weight": 0.05, "contribution": 4.924 } ] }, "mainMetric": { "label": "Wortfehlerrate", "abbreviation": "WER", "value": 10.048, "direction": "lower", "ci95": [ 9.12, 11.11 ] }, "transcription": { "referenceWords": 556611, "substitutions": 28622, "deletions": 14968, "insertions": 12341, "errors": 55931, "werPercent": 10.048, "ci95": [ 9.12, 11.11 ], "comparable": true }, "facts": null, "latency": { "p50Seconds": 1443.2, "p95Seconds": 3880, "mode": "file-upload", "start": "Uploadstart", "end": "Vollständiger Export verfügbar" }, "correction": { "minutesPerAudioHour": 106.3489, "ci95": [ 98.23, 115.45 ], "estimate": { "outputs": 130, "audioSeconds": 235740, "minutes": 6963.83, "ci": [ 98.23, 115.45 ], "audioHours": 65.481 } }, "additionalMetrics": [ { "key": "cer", "label": "Zeichenfehlerrate · CER", "numerator": 152959, "denominator": 3567380, "valuePercent": 4.288, "direction": "lower", "definition": "Zeichenabweichungen pro Referenzzeichen nach NFC-Normalisierung, einheitlicher Groß- und Kleinschreibung, entfernten Satzzeichen und zu einem Leerzeichen zusammengefasstem Leerraum. Leerzeichen zählen als Zeichen.", "ci95": [ 3.92, 4.72 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "der", "label": "Diarisierungsfehlerrate · DER", "numerator": 3400886, "denominator": 22145376, "valuePercent": 15.357, "direction": "lower", "definition": "Verpasste Sprache, fälschlich erkannte Sprache und falsch zugeordnete Sprecherzeit pro Referenzsprechzeit. Toleranz 250 ms um Referenzgrenzen, überlappende Sprache eingeschlossen. Liefert ein Dienst Sprecherkennungen ohne eigene Zeitmarken, bestimmt ScribeIndex die Zeitmarken durch erzwungene Ausrichtung (Forced Alignment) des gelieferten Texts an der Aufnahme. Die DER berechnet ScribeIndex daraus wie bei allen anderen Diensten, mit verpasster und fälschlich erkannter Sprache und Fehlern an Segmentgrenzen.", "ci95": [ 14.01, 16.8 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "der-strict", "label": "DER ohne Toleranz", "numerator": 4287933, "denominator": 22145376, "valuePercent": 19.363, "direction": "lower", "definition": "Diarisierungsfehlerrate wie DER, jedoch ohne Toleranzbereich um Referenzgrenzen. Die Differenz zur DER zeigt den Anteil der Fehler an Segmentgrenzen.", "ci95": [ 17.68, 21.17 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null } ], "errorTypes": [ { "label": "Ersetzungen", "count": 28622 }, { "label": "Auslassungen", "count": 14968 }, { "label": "Einfügungen", "count": 12341 } ], "failedRuns": [ { "scenarioId": "audio-001", "run": 1, "reason": "Verarbeitung nicht innerhalb der Abbruchfrist abgeschlossen" }, { "scenarioId": "audio-028", "run": 2, "reason": "Verarbeitung nicht innerhalb der Abbruchfrist abgeschlossen" } ], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "Web-App, Stand 2. Quartal 2026", "modelVersions": null, "template": null, "instruction": { "id": "si-instr-audio-wortgetreu", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Dateiupload im Browser", "language": "Deutsch", "speakerRecognition": true, "customVocabularyEntries": 0, "aiWorkspace": false }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": { "id": "de-allg-wer", "version": "1.0" } }, "corpusMetadata": { "version": "1.0", "manifestSha256": "3bfaff5fa8338156ad4c6bef800ed2cec7c625802242a9f638e07991384aeffc", "referenceVersion": "1.0", "referenceSha256": "903e4e0cc118b16f9d63c460d4f5845b497a1f1d276c2c82b9a2294b542018b4", "sourceScenarioCount": 46, "evaluatedScenarioCount": 44, "totalAudioSeconds": 79500, "durationSeconds": { "minimum": 360, "maximum": 5280 }, "audioFormats": [ { "codec": "FLAC", "sampleRateHertz": 48000, "channels": 1 }, { "codec": "AAC-LC (M4A)", "sampleRateHertz": 44100, "channels": 1 }, { "codec": "Opus (WebM)", "sampleRateHertz": 48000, "channels": 1 }, { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 2 }, { "codec": "G.711 A-law (WAV)", "sampleRateHertz": 8000, "channels": 1 } ], "conversions": [], "exclusions": [ { "scenarioId": "audio-038", "reason": "Eine mitwirkende Person widerrief die Einwilligung zur Nutzung der Aufnahme." }, { "scenarioId": "audio-041", "reason": "Referenz enthielt mehr als 5 % unverständliche Passagen." } ] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 44, "resamples": 2000, "seed": 1146018123, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "f8a6a79fd7ce74ec952adb5978dd20f46986d1fd5dc8a1502862be03c2f8e886" } }, { "id": "sonix/untertitel:file-subtitles", "provider": "sonix", "providerName": "Sonix", "test": "untertitel:file-subtitles", "label": "Untertitel für Videodateien", "category": "untertitel", "task": "file-subtitles", "url": "https://scribeindex.com/anbieter/sonix/test/#videodateien", "rankingUrl": "https://scribeindex.com/vergleich/untertitel/videodateien/", "testPeriod": "2026-Q2", "protocol": "1.0", "corpus": "de-untertitel-v1", "scenarios": 40, "runs": 3, "completed": 120, "total": 120, "completionRatePercent": 100, "evaluation": { "output": "subtitles", "semanticRubric": null, "wordErrorRate": { "applicability": "word-aligned", "basis": "delivered-output", "explanation": "WER wird aus dem zusammengeführten Text der exportierten SRT- oder WebVTT-Datei gegen die normalisierte Referenz berechnet. Zeitmarken und Segmentnummern zählen nicht." } }, "score": { "version": "2.2", "value": 47.3771, "ci95": [ 42.4, 51.3 ], "ci95Method": "paired-cluster-bootstrap", "pairedDifferences": [ { "provider": "ai-media", "ci95": [ -15.67, -9.27 ] }, { "provider": "clevercast", "ci95": [ -0.78, 5.17 ] }, { "provider": "happy-scribe", "ci95": [ -9.29, -2.38 ] }, { "provider": "amberscript", "ci95": [ -6.55, 5.03 ] }, { "provider": "veed", "ci95": [ -0.59, 8.27 ] }, { "provider": "kapwing", "ci95": [ 5.07, 11.84 ] }, { "provider": "maestra", "ci95": [ -11.63, -5.23 ] } ], "rank": 5, "cohortSize": 8, "criticalRatePercent": null, "contentQuality": 82.786, "references": { "key": "file-subtitles", "qualityErrorPoints": 30, "correctionMinutes": 233, "criticalPercent": null }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 42.619, "weight": 0.75, "contribution": 31.964 }, { "key": "effort", "label": "Korrekturaufwand", "value": 52.063, "weight": 0.2, "contribution": 10.413 }, { "key": "reliability", "label": "Abschlussquote", "value": 100, "weight": 0.05, "contribution": 5 } ] }, "mainMetric": { "label": "Wortfehlerrate", "abbreviation": "WER", "value": 7.943, "direction": "lower", "ci95": [ 7.13, 8.81 ] }, "transcription": { "referenceWords": 287784, "substitutions": 11644, "deletions": 5980, "insertions": 5235, "errors": 22859, "werPercent": 7.943, "ci95": [ 7.13, 8.81 ], "comparable": true }, "facts": null, "latency": { "p50Seconds": 922.1, "p95Seconds": 3031.9, "mode": "file-upload", "start": "Uploadstart", "end": "Vollständiger Export verfügbar" }, "correction": { "minutesPerAudioHour": 111.6922, "ci95": [ 102.6, 121.8 ], "estimate": { "outputs": 120, "audioSeconds": 145500, "minutes": 4514.6, "ci": [ 102.6, 121.8 ], "audioHours": 40.42 } }, "additionalMetrics": [ { "key": "cer", "label": "Zeichenfehlerrate · CER", "numerator": 63459, "denominator": 1860348, "valuePercent": 3.411, "direction": "lower", "definition": "Zeichenabweichungen pro Referenzzeichen nach NFC-Normalisierung, einheitlicher Groß- und Kleinschreibung, entfernten Satzzeichen und zu einem Leerzeichen zusammengefasstem Leerraum. Leerzeichen zählen als Zeichen.", "ci95": [ 3.04, 3.82 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "subtitle-timing-accuracy", "label": "Zeitlich passende Untertitel", "numerator": 21459, "denominator": 29448, "valuePercent": 72.871, "direction": "higher", "definition": "Vollständig abgedeckte Referenzsegmente, bei denen der früheste Beginn und das späteste Ende der zugeordneten Untertitel jeweils höchstens 200 ms von der Referenz abweichen. Fehlende Segmente zählen als nicht passend.", "ci95": [ 70, 75.56 ], "ci95Method": "wilson-design-effect", "designEffect": 29.9602 }, { "key": "subtitle-layout-accuracy", "label": "Lesbare Untertitel", "numerator": 21933, "denominator": 29448, "valuePercent": 74.48, "direction": "higher", "definition": "Vollständig abgedeckte Referenzsegmente mit höchstens 2 Zeilen, 42 Zeichen je Zeile und 17 Zeichen je Sekunde in allen zugeordneten Ausgabesegmenten.", "ci95": [ 72.19, 76.64 ], "ci95Method": "wilson-design-effect", "designEffect": 19.8956 } ], "scalarMetrics": [ { "key": "subtitle-timing-offset-ms", "label": "Mittlere Zeitabweichung", "value": 296.64, "unit": "ms", "direction": "lower", "definition": "Mittel der absoluten Abweichung der äußeren Start- und Endgrenzen von den zugeordneten Referenzsegmenten, gewichtet je Referenzsegment.", "statistic": "mean", "sampleSize": 29297, "ci": [ 282.82, 311.77 ] }, { "key": "subtitle-reading-speed-cps", "label": "Mittlere Lesegeschwindigkeit", "value": 14.37, "unit": "Zeichen/s", "direction": "none", "definition": "Sichtbare Zeichen einschließlich Leerzeichen innerhalb der Zeilen, geteilt durch die jeweilige Standzeit, je ausgegebenem Untertitel, gemittelt über alle ausgegebenen Untertitel.", "statistic": "mean", "sampleSize": 36579, "ci": [ 13.74, 14.98 ] }, { "key": "subtitle-line-length-cpl", "label": "Mittlere Zeilenlänge", "value": 30.93, "unit": "Zeichen/Zeile", "direction": "none", "definition": "Mittlere Zahl sichtbarer Unicode-Zeichen je ausgegebener Untertitelzeile.", "statistic": "mean", "sampleSize": 61189, "ci": [ 30.33, 31.48 ] } ], "errorTypes": [ { "label": "Ersetzungen", "count": 11644 }, { "label": "Auslassungen", "count": 5980 }, { "label": "Einfügungen", "count": 5235 } ], "failedRuns": [], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "Web-App, deutsche Videountertitel, Stand 2. Quartal 2026", "modelVersions": null, "template": null, "instruction": { "id": "si-instr-subtitles", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "MP4-Dateiupload", "language": "Deutsch", "translation": false, "export": "SRT", "manualCorrection": false }, "scorer": { "name": "scribeindex-subtitles", "version": "1.0" }, "normalization": { "id": "de-subtitle-wer", "version": "1.0" } }, "corpusMetadata": { "version": "1.0", "manifestSha256": "a35c5ee698d61b365b97c82257195aeb72edbd47eab9da548608335d37899941", "referenceVersion": "1.0", "referenceSha256": "6ec7f71b2989eb19791326360ba6649b7c8c020915a316303d8763a8f58b2d45", "sourceScenarioCount": 40, "evaluatedScenarioCount": 40, "totalAudioSeconds": 48480, "durationSeconds": { "minimum": 180, "maximum": 3540 }, "audioFormats": [ { "codec": "H.264 MP4, AAC-LC", "sampleRateHertz": 48000, "channels": 2 } ], "conversions": [], "exclusions": [] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 40, "resamples": 2000, "seed": 1605653364, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "22c41832e7f4054b58c4911e41b1b961649b0482f9f511ad72891e68023bafbc" } }, { "id": "speechlive-health/medical-scribes:clinical-notes", "provider": "speechlive-health", "providerName": "Philips SpeechLive Health", "test": "medical-scribes:clinical-notes", "label": "Ärztliche Gesprächsdokumentation", "category": "medical-scribes", "task": "clinical-notes", "url": "https://scribeindex.com/anbieter/speechlive-health/test/#aerztliche-dokumentation", "rankingUrl": "https://scribeindex.com/vergleich/medical-scribes/aerztliche-dokumentation/", "testPeriod": "2026-Q3", "protocol": "1.0", "corpus": "de-klinik-v1", "scenarios": 48, "runs": 3, "completed": 144, "total": 144, "completionRatePercent": 100, "evaluation": { "output": "clinical-note", "semanticRubric": "clinical-facts-v1", "wordErrorRate": { "applicability": "not-applicable", "basis": "unavailable", "explanation": "Die gelieferte Ausgabe ist eine verdichtete Dokumentation, keine wortnahe Abschrift. Deshalb gibt es keine WER." } }, "score": { "version": "2.2", "value": 79.9918, "ci95": [ 74.7, 83 ], "ci95Method": "paired-cluster-bootstrap-beta-critical", "pairedDifferences": [ { "provider": "healthjet", "ci95": [ -6.57, 3.97 ] }, { "provider": "heidi", "ci95": [ -7.55, 3.69 ] }, { "provider": "tippiti", "ci95": [ -11.86, -2.27 ] }, { "provider": "tandem-health", "ci95": [ -5.42, 7.1 ] }, { "provider": "noa-notes", "ci95": [ -1.51, 11.32 ] }, { "provider": "doctolib-assistent", "ci95": [ -14.19, -4.64 ] }, { "provider": "dragon-copilot", "ci95": [ -8.72, 3.42 ] }, { "provider": "gospeech-medical", "ci95": [ -9.86, 0.12 ] }, { "provider": "quixxs", "ci95": [ 7.01, 19.57 ] }, { "provider": "idana-flow", "ci95": [ -6.36, 5.73 ] } ], "rank": 8, "cohortSize": 11, "criticalRatePercent": 2.083, "contentQuality": 92.665, "references": { "key": "clinical-notes", "qualityErrorPoints": 30, "correctionMinutes": 59, "criticalPercent": 20 }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 75.549, "weight": 0.6, "contribution": 45.33 }, { "key": "critical", "label": "Schwerwiegende Fehler", "value": 89.583, "weight": 0.2, "contribution": 17.917 }, { "key": "effort", "label": "Korrekturaufwand", "value": 78.304, "weight": 0.15, "contribution": 11.746 }, { "key": "reliability", "label": "Abschlussquote", "value": 100, "weight": 0.05, "contribution": 5 } ] }, "mainMetric": { "label": "Fakten-F1", "abbreviation": "F1", "value": 92.665, "direction": "higher", "ci95": [ 91.76, 93.52 ] }, "transcription": null, "facts": { "truePositive": 3733, "falsePositive": 187, "falseNegative": 404, "referenceFacts": 4137, "outputFacts": 3920, "precisionPercent": 95.23, "precisionCi95": [ 94.22, 96.26 ], "recallPercent": 90.234, "recallCi95": [ 88.91, 91.53 ], "f1Percent": 92.665, "f1Ci95": [ 91.76, 93.52 ] }, "latency": { "p50Seconds": 171.8, "p95Seconds": 545, "mode": "file-upload", "start": "Uploadstart", "end": "Vollständiges Dokument verfügbar" }, "correction": { "minutesPerAudioHour": 12.8007, "ci95": [ 10.92, 14.84 ], "estimate": { "outputs": 144, "audioSeconds": 104580, "minutes": 371.77, "ci": [ 10.92, 14.84 ], "audioHours": 29.043 } }, "additionalMetrics": [ { "key": "critical-documents", "label": "Dokumente mit schwerwiegendem Fehler", "numerator": 3, "denominator": 144, "valuePercent": 2.083, "direction": "lower", "definition": "Ausgaben mit mindestens einem potenziell schwerwiegenden medizinischen Fehler pro abgeschlossener Ausgabe. Bewertet wird jeder Fall nach einer festgelegten Fehlerrubrik. Fehler bei Medikation oder Verneinung zählen hier nur, wenn die Rubrik die betroffene Angabe als potenziell schwerwiegend einstuft. Die Zähler je Fehlerart enthalten auch folgenlose Abweichungen.", "ci95": [ 0.48, 8.49 ], "ci95Method": "wilson-design-effect", "designEffect": 1.9778 }, { "key": "unsupported-statements", "label": "Falsche oder unbelegte Aussagen", "numerator": 83, "denominator": 3920, "valuePercent": 2.117, "direction": "lower", "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.", "ci95": [ 1.49, 2.99 ], "ci95Method": "wilson-design-effect", "designEffect": 2.6394 }, { "key": "medical-term-errors", "label": "Fehler bei Fachbegriffen", "numerator": 132, "denominator": 3507, "valuePercent": 3.764, "direction": "lower", "definition": "Fachlich falsch wiedergegebene oder ausgelassene medizinische Konzepte pro annotiertem Fachkonzept der Referenz. Synonyme gelten bei gleicher Bedeutung als korrekt.", "ci95": [ 2.87, 4.92 ], "ci95Method": "wilson-design-effect", "designEffect": 2.5807 }, { "key": "medication-errors", "label": "Fehler bei Medikamenten und Dosierungen", "numerator": 24, "denominator": 621, "valuePercent": 3.865, "direction": "lower", "definition": "Falsch wiedergegebene oder ausgelassene Angaben zu Wirkstoff, Dosis, Einheit und Einnahme pro annotierter Medikationsangabe. Jede Angabe zählt höchstens einmal.", "ci95": [ 2.19, 6.73 ], "ci95Method": "wilson-design-effect", "designEffect": 2.1072 }, { "key": "negation-errors", "label": "Fehler bei Verneinungen", "numerator": 23, "denominator": 822, "valuePercent": 2.798, "direction": "lower", "definition": "Verlorene, hinzugefügte oder umgekehrte Negationen pro Referenzaussage mit verneintem oder ausdrücklich bestätigtem Befund. Eine Aussage zählt höchstens einmal.", "ci95": [ 1.51, 5.1 ], "ci95Method": "wilson-design-effect", "designEffect": 2.3416 }, { "key": "temporal-errors", "label": "Fehler bei zeitlichen Angaben", "numerator": 49, "denominator": 939, "valuePercent": 5.218, "direction": "lower", "definition": "Falsch zugeordnete oder ausgelassene Zeitpunkte, Dauern und zeitliche Beziehungen pro annotierter zeitlicher Referenzangabe.", "ci95": [ 3.37, 7.99 ], "ci95Method": "wilson-design-effect", "designEffect": 2.5451 }, { "key": "attribution-errors", "label": "Fehler bei der Zuordnung", "numerator": 104, "denominator": 2166, "valuePercent": 4.801, "direction": "lower", "definition": "Falsche oder ausgelassene Zuordnung von Aussagen zu Patient, behandelnder Person oder Drittperson pro Referenzfakt mit erforderlicher Quellenzuordnung.", "ci95": [ 3.52, 6.51 ], "ci95Method": "wilson-design-effect", "designEffect": 2.6831 } ], "errorTypes": [ { "label": "Nicht erfasste Referenzfakten", "count": 404 }, { "label": "Falsche oder unbelegte Aussagen", "count": 83 }, { "label": "Zutreffende, aber nicht relevante Aussagen", "count": 104 } ], "failedRuns": [], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "SpeechLive Health im Browser, Dateiimport, Stand 3. Quartal 2026", "modelVersions": null, "template": { "id": "anbieter-soap", "version": null }, "instruction": { "id": "si-instr-sprechstunde", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Dateiupload der Korpusdatei im Health-Assistenten", "language": "Deutsch", "documentLanguage": "Deutsch", "template": "SOAP", "patientContext": "Ohne zusätzliche Angaben außerhalb des Gesprächs", "consentDialog": true }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": null }, "corpusMetadata": { "version": "1.0", "manifestSha256": "07e4ff2bb9cb21c1b350d732b5e593f4f1830354a230c75954136f03552f7ba5", "referenceVersion": "1.0", "referenceSha256": "9ddba13742d943cd28b478c231a53d71ed064e1ba7681896e21faedfe2bb2207", "sourceScenarioCount": 50, "evaluatedScenarioCount": 48, "totalAudioSeconds": 34860, "durationSeconds": { "minimum": 360, "maximum": 2400 }, "audioFormats": [ { "codec": "AAC-LC (M4A)", "sampleRateHertz": 48000, "channels": 1 }, { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 2 } ], "conversions": [], "exclusions": [ { "scenarioId": "klinik-016", "reason": "Einwilligung zur Nutzung der Aufnahme vor Testbeginn widerrufen." }, { "scenarioId": "klinik-033", "reason": "Relevanzmenge auch nach fachlicher Durchsicht nicht eindeutig festlegbar." } ] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 48, "resamples": 2000, "seed": 2234884632, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "f630f8568c719864793b7aacf8e58f4627c6b7bdcdf5f3730abfda50ad6bfb37" } }, { "id": "speechlive-legal/diktiersoftware:legal-dictation", "provider": "speechlive-legal", "providerName": "Philips SpeechLive Legal", "test": "diktiersoftware:legal-dictation", "label": "Juristische Diktate", "category": "diktiersoftware", "task": "legal-dictation", "url": "https://scribeindex.com/anbieter/speechlive-legal/test/#juristisch", "rankingUrl": "https://scribeindex.com/vergleich/diktiersoftware/juristisch/", "testPeriod": "2026-Q2", "protocol": "1.0", "corpus": "de-recht-diktat-v1", "scenarios": 40, "runs": 3, "completed": 119, "total": 120, "completionRatePercent": 99.167, "evaluation": { "output": "verbatim-transcript", "semanticRubric": "legal-errors-v1", "wordErrorRate": { "applicability": "word-aligned", "basis": "delivered-output", "explanation": "WER wird aus der gelieferten wortnahen Transkriptausgabe gegen die normalisierte Referenz berechnet." } }, "score": { "version": "2.2", "value": 68.373, "ci95": [ 60.8, 78.9 ], "ci95Method": "paired-cluster-bootstrap", "pairedDifferences": [ { "provider": "dragon-legal", "ci95": [ -16.39, 10.31 ] }, { "provider": "dictnow", "ci95": [ -15.84, 11.63 ] }, { "provider": "wispr-flow", "ci95": [ -7.92, 16.3 ] } ], "rank": 3, "cohortSize": 4, "criticalRatePercent": 10.084, "contentQuality": 93.162, "references": { "key": "legal-dictation", "qualityErrorPoints": 30, "correctionMinutes": 167, "criticalPercent": 15 }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 77.205, "weight": 0.6, "contribution": 46.323 }, { "key": "critical", "label": "Schwerwiegende Fehler", "value": 32.773, "weight": 0.2, "contribution": 6.555 }, { "key": "effort", "label": "Korrekturaufwand", "value": 70.245, "weight": 0.15, "contribution": 10.537 }, { "key": "reliability", "label": "Abschlussquote", "value": 99.167, "weight": 0.05, "contribution": 4.958 } ] }, "mainMetric": { "label": "Wortfehlerrate", "abbreviation": "WER", "value": 7.963, "direction": "lower", "ci95": [ 7.26, 8.75 ] }, "transcription": { "referenceWords": 95027, "substitutions": 3051, "deletions": 1935, "insertions": 2581, "errors": 7567, "werPercent": 7.963, "ci95": [ 7.26, 8.75 ], "comparable": true }, "facts": null, "latency": { "p50Seconds": 1.7, "p95Seconds": 2.6, "mode": "live-dictation", "start": "Ende des letzten zugespielten Wortes", "end": "Stabile nutzbare Textausgabe" }, "correction": { "minutesPerAudioHour": 49.6903, "ci95": [ 45.62, 53.79 ], "estimate": { "outputs": 119, "audioSeconds": 43740, "minutes": 603.34, "ci": [ 45.62, 53.79 ], "audioHours": 12.142 } }, "additionalMetrics": [ { "key": "cer", "label": "Zeichenfehlerrate · CER", "numerator": 27871, "denominator": 612354, "valuePercent": 4.551, "direction": "lower", "definition": "Zeichenabweichungen pro Referenzzeichen nach NFC-Normalisierung, einheitlicher Groß- und Kleinschreibung, entfernten Satzzeichen und zu einem Leerzeichen zusammengefasstem Leerraum. Leerzeichen zählen als Zeichen.", "ci95": [ 4.06, 5.08 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "critical-documents", "label": "Dokumente mit schwerwiegendem Fehler", "numerator": 12, "denominator": 119, "valuePercent": 10.084, "direction": "lower", "definition": "Ausgaben mit mindestens einem schwerwiegenden juristischen Fehler pro abgeschlossener Ausgabe. Bewertet werden Parteien, Fristen, Forderungen und Normbezüge nach der Rubrik legal-errors-v1.", "ci95": [ 4.19, 22.33 ], "ci95Method": "wilson-design-effect", "designEffect": 2.6765 }, { "key": "legal-citation-errors", "label": "Fehler bei Normzitaten und Aktenzeichen", "numerator": 43, "denominator": 1037, "valuePercent": 4.147, "direction": "lower", "definition": "Falsche oder fehlende Paragraphen, Absätze, Gesetze und Aktenzeichen pro annotierter Referenzangabe. Vorab freigegebene typografische Varianten gelten als korrekt.", "ci95": [ 2.67, 6.37 ], "ci95Method": "wilson-design-effect", "designEffect": 2.23 }, { "key": "deadline-errors", "label": "Fehler bei Fristen und Daten", "numerator": 7, "denominator": 636, "valuePercent": 1.101, "direction": "lower", "definition": "Falsche oder fehlende Fristen und Datumsangaben pro Referenzangabe. Zahlen und Bezugspunkte müssen zusammen stimmen.", "ci95": [ 0.33, 3.58 ], "ci95Method": "wilson-design-effect", "designEffect": 2.9481 }, { "key": "party-errors", "label": "Fehler bei Parteien und Rollen", "numerator": 35, "denominator": 1009, "valuePercent": 3.469, "direction": "lower", "definition": "Falsche oder fehlende Zuordnung einer Partei oder Rolle pro referenzierter Parteienangabe. Eine vertauschte Kläger- und Beklagtenrolle zählt als Fehler.", "ci95": [ 1.94, 6.13 ], "ci95Method": "wilson-design-effect", "designEffect": 3.2212 }, { "key": "amount-errors", "label": "Fehler bei Beträgen", "numerator": 7, "denominator": 520, "valuePercent": 1.346, "direction": "lower", "definition": "Falsche oder fehlende Geldbeträge einschließlich Währung pro annotierter Betragsangabe. Wert und Währung müssen zusammen mit der Referenz übereinstimmen.", "ci95": [ 0.5, 3.53 ], "ci95Method": "wilson-design-effect", "designEffect": 1.8927 }, { "key": "dictation-command-accuracy", "label": "Umgesetzte Diktatbefehle", "numerator": 899, "denominator": 996, "valuePercent": 90.261, "direction": "higher", "definition": "Richtig ausgeführte festgelegte Satzzeichen-, Absatz- und Korrekturbefehle pro ausgesprochenem Referenzbefehl. Der Befehl soll wirken und nicht als Befehlswort im Text stehen.", "ci95": [ 85.72, 93.47 ], "ci95Method": "wilson-design-effect", "designEffect": 4.3647 }, { "key": "self-correction-accuracy", "label": "Umgesetzte Selbstkorrekturen", "numerator": 3, "denominator": 254, "valuePercent": 1.181, "direction": "higher", "definition": "Spontane Selbstkorrekturen, nach denen das Dokument nur die endgültige Angabe enthält, pro annotierter Selbstkorrektur der Referenz. Steht die verworfene Angabe noch im Text oder ersetzt sie die endgültige, ist die Selbstkorrektur nicht umgesetzt. Ob eine Regel oder ein Sprachmodell sie umsetzt, spielt keine Rolle.", "ci95": [ 0.19, 6.92 ], "ci95Method": "wilson-design-effect", "designEffect": 3.3755 }, { "key": "edit-instruction-accuracy", "label": "Umgesetzte Bearbeitungsanweisungen", "numerator": 0, "denominator": 108, "valuePercent": 0, "direction": "higher", "definition": "Frei formulierte Anweisungen an das Dokument, deren Wirkung das gelieferte Dokument zeigt, pro annotierter Anweisung der Referenz. Eine solche Anweisung ändert eine früher genannte Angabe, ergänzt Inhalt an einer früheren Stelle oder verschiebt einen Abschnitt. Steht sie wörtlich im Text oder bleibt sie ohne Wirkung, ist sie nicht umgesetzt. Ob eine Regel oder ein Sprachmodell sie umsetzt, spielt keine Rolle.", "ci95": [ 0, 15.47 ], "ci95Method": "wilson-design-effect", "designEffect": 5.1429 } ], "errorTypes": [ { "label": "Ersetzungen", "count": 3051 }, { "label": "Auslassungen", "count": 1935 }, { "label": "Einfügungen", "count": 2581 } ], "failedRuns": [ { "scenarioId": "recht-024", "run": 1, "reason": "Verbindung zur Cloud-Erkennung während der Einspielung getrennt, Text unvollständig" } ], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "SpeechLive Rechts-Spracherkennung, Stand 2. Quartal 2026", "modelVersions": null, "template": null, "instruction": { "id": "si-instr-diktat-wortnah", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Virtueller Mikrofoneingang in eine leere Zielanwendung", "language": "Deutsch", "customVocabularyEntries": 0, "outputStyle": "Wortnah mit Satzzeichen", "voiceCommands": true }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": { "id": "de-legal-wer", "version": "1.0" } }, "corpusMetadata": { "version": "1.0", "manifestSha256": "2e856c64cf093797ea7a7b27b4ac15e541a33528e55d943bde123a02d67c7e83", "referenceVersion": "1.0", "referenceSha256": "686a87e5af4681ab48fa6d1b65481ec57e9d04c2ef6bb6c22a5023b47bea5732", "sourceScenarioCount": 40, "evaluatedScenarioCount": 40, "totalAudioSeconds": 14580, "durationSeconds": { "minimum": 60, "maximum": 1080 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 1 } ], "conversions": [ { "description": "Kontrollierte Wiedergabe der Referenzaufnahmen über einen virtuellen Mikrofoneingang mit −20 dBFS RMS in Echtzeit", "tool": "scribeindex-playback", "version": "1.0" } ], "exclusions": [] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 40, "resamples": 2000, "seed": 5519911, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "1045b46bde817656db5bc6b6b8be5c8a0aa04f1b4670527079e1ac9da69ba920" } }, { "id": "speechlive-legal/diktiersoftware:voice-writing", "provider": "speechlive-legal", "providerName": "Philips SpeechLive Legal", "test": "diktiersoftware:voice-writing", "label": "Sprachgestützte Textausarbeitung", "category": "diktiersoftware", "task": "voice-writing", "url": "https://scribeindex.com/anbieter/speechlive-legal/test/#textausarbeitung", "rankingUrl": "https://scribeindex.com/vergleich/diktiersoftware/textausarbeitung/", "testPeriod": "2026-Q2", "protocol": "1.0", "corpus": "de-voice-writing-v1", "scenarios": 40, "runs": 3, "completed": 120, "total": 120, "completionRatePercent": 100, "evaluation": { "output": "written-document", "semanticRubric": "writing-facts-v1", "wordErrorRate": { "applicability": "not-applicable", "basis": "unavailable", "explanation": "Die gelieferte Ausgabe ist ein ausgearbeiteter Text, keine wortnahe Abschrift. Deshalb gibt es keine WER." } }, "score": { "version": "2.2", "value": 81.305, "ci95": [ 77, 85.2 ], "ci95Method": "paired-cluster-bootstrap", "pairedDifferences": [ { "provider": "wispr-flow", "ci95": [ -7.32, 1.58 ] }, { "provider": "superwhisper", "ci95": [ 1.32, 12.08 ] }, { "provider": "letterly", "ci95": [ -6.9, 4.7 ] }, { "provider": "audiopen", "ci95": [ 0.11, 9.09 ] } ], "rank": 3, "cohortSize": 5, "criticalRatePercent": null, "contentQuality": 93.714, "references": { "key": "voice-writing", "qualityErrorPoints": 30, "correctionMinutes": 142, "criticalPercent": null }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 79.047, "weight": 0.75, "contribution": 59.285 }, { "key": "effort", "label": "Korrekturaufwand", "value": 85.098, "weight": 0.2, "contribution": 17.02 }, { "key": "reliability", "label": "Abschlussquote", "value": 100, "weight": 0.05, "contribution": 5 } ] }, "mainMetric": { "label": "Fakten-F1", "abbreviation": "F1", "value": 94.5, "direction": "higher", "ci95": [ 93.24, 95.72 ] }, "transcription": null, "facts": { "truePositive": 2414, "falsePositive": 82, "falseNegative": 199, "referenceFacts": 2613, "outputFacts": 2496, "precisionPercent": 96.715, "precisionCi95": [ 95.41, 98.02 ], "recallPercent": 92.384, "recallCi95": [ 90.26, 94.26 ], "f1Percent": 94.5, "f1Ci95": [ 93.24, 95.72 ] }, "latency": { "p50Seconds": 19.4, "p95Seconds": 44.3, "mode": "live-dictation", "start": "Ende des gesprochenen Auftrags", "end": "Fertiger Text verfügbar" }, "correction": { "minutesPerAudioHour": 21.1605, "ci95": [ 15.79, 27.69 ], "estimate": { "outputs": 120, "audioSeconds": 28740, "minutes": 168.84, "ci": [ 15.79, 27.69 ], "audioHours": 7.979 } }, "additionalMetrics": [ { "key": "unsupported-statements", "label": "Falsche oder unbelegte Aussagen", "numerator": 40, "denominator": 2496, "valuePercent": 1.603, "direction": "lower", "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.", "ci95": [ 1.01, 2.53 ], "ci95Method": "wilson-design-effect", "designEffect": 2.2486 }, { "key": "instruction-compliance", "label": "Umgesetzte Schreibanweisungen", "numerator": 682, "denominator": 753, "valuePercent": 90.571, "direction": "higher", "definition": "Korrekt umgesetzte explizite Anweisungen zu Format, Ton, Reihenfolge und Änderungen pro vorab festgelegter Schreibanweisung. Eine korrekt geschriebene E-Mail ersetzt keinen fehlenden Einzelauftrag.", "ci95": [ 86, 93.76 ], "ci95Method": "wilson-design-effect", "designEffect": 3.3977 } ], "errorTypes": [ { "label": "Nicht erfasste Referenzfakten", "count": 199 }, { "label": "Falsche oder unbelegte Aussagen", "count": 40 }, { "label": "Zutreffende, aber nicht relevante Aussagen", "count": 42 } ], "failedRuns": [], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "SpeechLive Legal AI Assistant, Stand 2. Quartal 2026", "modelVersions": null, "template": { "id": "si-freie-textausarbeitung", "version": "1.0" }, "instruction": { "id": "si-instr-voice-writing", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Virtueller Mikrofoneingang", "language": "Deutsch", "template": "Eigene Vorlage für E-Mail, strukturierte Notiz oder Aufgabenbeschreibung je Zieltextgruppe", "mode": "Nach Aufnahme Vorlage auswählen und Generieren auslösen. Änderungen anschließend im geöffneten Dokument per diktiertem Chatauftrag", "personalDictionary": false, "extraContext": false }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": null }, "corpusMetadata": { "version": "1.0", "manifestSha256": "a2194236d0c043d838b24210574c7bf8a3c918cbe1bcce4db693e95b675ca2e2", "referenceVersion": "1.0", "referenceSha256": "2d895d782442beec8769e48974bf2d650e4c80f2b6555d633e58c77a5a161833", "sourceScenarioCount": 40, "evaluatedScenarioCount": 40, "totalAudioSeconds": 9600, "durationSeconds": { "minimum": 60, "maximum": 600 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 1 } ], "conversions": [ { "description": "Kontrollierte Wiedergabe der Referenzaufnahmen über einen virtuellen Mikrofoneingang mit −20 dBFS RMS in Echtzeit", "tool": "scribeindex-playback", "version": "1.0" } ], "exclusions": [] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 40, "resamples": 2000, "seed": 3301926752, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "175bb08bcec3d46df9a7e79d3383ed75fd39e092bfc7ebe4823aec3915a1820a" } }, { "id": "superwhisper/diktiersoftware:general-dictation", "provider": "superwhisper", "providerName": "Superwhisper", "test": "diktiersoftware:general-dictation", "label": "Allgemeine Diktate", "category": "diktiersoftware", "task": "general-dictation", "url": "https://scribeindex.com/anbieter/superwhisper/test/#allgemein", "rankingUrl": "https://scribeindex.com/vergleich/diktiersoftware/allgemein/", "testPeriod": "2026-Q4", "protocol": "1.0", "corpus": "de-buero-diktat-v1", "scenarios": 40, "runs": 3, "completed": 120, "total": 120, "completionRatePercent": 100, "evaluation": { "output": "verbatim-transcript", "semanticRubric": null, "wordErrorRate": { "applicability": "word-aligned", "basis": "delivered-output", "explanation": "WER wird aus der gelieferten wortnahen Transkriptausgabe gegen die normalisierte Referenz berechnet." } }, "score": { "version": "2.2", "value": 60.5791, "ci95": [ 57.1, 64 ], "ci95Method": "paired-cluster-bootstrap", "pairedDifferences": [ { "provider": "audiopen", "ci95": [ -13.67, -5.43 ] }, { "provider": "wispr-flow", "ci95": [ -26.26, -20.89 ] }, { "provider": "dragon-legal", "ci95": [ -23.03, -16.58 ] }, { "provider": "letterly", "ci95": [ -14.92, -8.26 ] }, { "provider": "dictnow", "ci95": [ -17.86, -11.59 ] } ], "rank": 6, "cohortSize": 6, "criticalRatePercent": null, "contentQuality": 87.465, "references": { "key": "general-dictation", "qualityErrorPoints": 30, "correctionMinutes": 164, "criticalPercent": null }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 58.216, "weight": 0.75, "contribution": 43.662 }, { "key": "effort", "label": "Korrekturaufwand", "value": 59.585, "weight": 0.2, "contribution": 11.917 }, { "key": "reliability", "label": "Abschlussquote", "value": 100, "weight": 0.05, "contribution": 5 } ] }, "mainMetric": { "label": "Wortfehlerrate", "abbreviation": "WER", "value": 12.17, "direction": "lower", "ci95": [ 11.03, 13.24 ] }, "transcription": { "referenceWords": 53508, "substitutions": 2192, "deletions": 1588, "insertions": 2732, "errors": 6512, "werPercent": 12.17, "ci95": [ 11.03, 13.24 ], "comparable": true }, "facts": null, "latency": { "p50Seconds": 8.5, "p95Seconds": 22.2, "mode": "live-dictation", "start": "Ende des letzten zugespielten Wortes", "end": "Stabile nutzbare Textausgabe" }, "correction": { "minutesPerAudioHour": 66.281, "ci95": [ 60.27, 72.27 ], "estimate": { "outputs": 120, "audioSeconds": 25080, "minutes": 461.78, "ci": [ 60.27, 72.27 ], "audioHours": 6.967 } }, "additionalMetrics": [ { "key": "cer", "label": "Zeichenfehlerrate · CER", "numerator": 23581, "denominator": 344913, "valuePercent": 6.837, "direction": "lower", "definition": "Zeichenabweichungen pro Referenzzeichen nach NFC-Normalisierung, einheitlicher Groß- und Kleinschreibung, entfernten Satzzeichen und zu einem Leerzeichen zusammengefasstem Leerraum. Leerzeichen zählen als Zeichen.", "ci95": [ 6.09, 7.54 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "name-accuracy", "label": "Korrekte Namen", "numerator": 388, "denominator": 480, "valuePercent": 80.833, "direction": "higher", "definition": "Korrekt übernommene Personen- und Firmennamen pro annotiertem Referenznamen. Vorab freigegebene Schreibvarianten zählen als richtig.", "ci95": [ 73.91, 86.26 ], "ci95Method": "wilson-design-effect", "designEffect": 3.1029 }, { "key": "number-accuracy", "label": "Korrekte Zahlen", "numerator": 651, "denominator": 714, "valuePercent": 91.176, "direction": "higher", "definition": "Korrekt übernommene Zahlen mit ihrer Einheit und ihrem Bezug pro annotierter Zahlenangabe. Falsche oder ausgelassene Werte zählen als nicht korrekt.", "ci95": [ 86.81, 94.2 ], "ci95Method": "wilson-design-effect", "designEffect": 3.0845 }, { "key": "dictation-command-accuracy", "label": "Umgesetzte Diktatbefehle", "numerator": 0, "denominator": 441, "valuePercent": null, "direction": "higher", "definition": "Richtig ausgeführte festgelegte Satzzeichen-, Absatz- und Korrekturbefehle pro ausgesprochenem Referenzbefehl. Der Befehl soll wirken und nicht als Befehlswort im Text stehen.", "ci95": null, "ci95Method": null, "designEffect": null }, { "key": "self-correction-accuracy", "label": "Umgesetzte Selbstkorrekturen", "numerator": 0, "denominator": 207, "valuePercent": 0, "direction": "higher", "definition": "Spontane Selbstkorrekturen, nach denen das Dokument nur die endgültige Angabe enthält, pro annotierter Selbstkorrektur der Referenz. Steht die verworfene Angabe noch im Text oder ersetzt sie die endgültige, ist die Selbstkorrektur nicht umgesetzt. Ob eine Regel oder ein Sprachmodell sie umsetzt, spielt keine Rolle.", "ci95": [ 0, 6.14 ], "ci95Method": "wilson-design-effect", "designEffect": 3.5215 }, { "key": "edit-instruction-accuracy", "label": "Umgesetzte Bearbeitungsanweisungen", "numerator": 0, "denominator": 36, "valuePercent": 0, "direction": "higher", "definition": "Frei formulierte Anweisungen an das Dokument, deren Wirkung das gelieferte Dokument zeigt, pro annotierter Anweisung der Referenz. Eine solche Anweisung ändert eine früher genannte Angabe, ergänzt Inhalt an einer früheren Stelle oder verschiebt einen Abschnitt. Steht sie wörtlich im Text oder bleibt sie ohne Wirkung, ist sie nicht umgesetzt. Ob eine Regel oder ein Sprachmodell sie umsetzt, spielt keine Rolle.", "ci95": [ 0, 25.89 ], "ci95Method": "wilson-design-effect", "designEffect": 3.2727 } ], "errorTypes": [ { "label": "Ersetzungen", "count": 2192 }, { "label": "Auslassungen", "count": 1588 }, { "label": "Einfügungen", "count": 2732 } ], "failedRuns": [], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "Superwhisper, Voice-to-Text, Stand 4. Quartal 2026", "modelVersions": [ { "name": "Cohere Transcribe", "version": null } ], "template": null, "instruction": { "id": "si-instr-diktat-wortnah", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Virtueller Mikrofoneingang", "platform": "macOS Desktop", "language": "Deutsch", "mode": "Voice to Text, keine KI-Ausarbeitung oder Befehlsausführung", "model": "Cohere Transcribe lokal über MLX (4 Bit)", "processing": "Lokale Erkennung nach Aufnahmeende", "hardware": "Mac mini M2 Pro, 32 GB RAM, macOS 26", "voiceCommands": false, "context": false }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": { "id": "de-allg-wer", "version": "1.0" } }, "corpusMetadata": { "version": "1.0", "manifestSha256": "be86355a52a9e6e6ac547fa75797ca0c34d34b998965c77efe431e8cac1bf200", "referenceVersion": "1.0", "referenceSha256": "2f3f1976d19c5059b932063bd9b929c3ad3df1d749efd78e0060e5b1364c5f41", "sourceScenarioCount": 40, "evaluatedScenarioCount": 40, "totalAudioSeconds": 8340, "durationSeconds": { "minimum": 60, "maximum": 600 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 1 } ], "conversions": [ { "description": "Kontrollierte Wiedergabe der Referenzaufnahmen über einen virtuellen Mikrofoneingang mit −20 dBFS RMS in Echtzeit", "tool": "scribeindex-playback", "version": "1.0" } ], "exclusions": [] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 40, "resamples": 2000, "seed": 2217701174, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "5b6419a32e9fc2e489a2dae6029ddcb9e755388234d69b65a19df934ad0bdabc" } }, { "id": "superwhisper/diktiersoftware:voice-writing", "provider": "superwhisper", "providerName": "Superwhisper", "test": "diktiersoftware:voice-writing", "label": "Sprachgestützte Textausarbeitung", "category": "diktiersoftware", "task": "voice-writing", "url": "https://scribeindex.com/anbieter/superwhisper/test/#textausarbeitung", "rankingUrl": "https://scribeindex.com/vergleich/diktiersoftware/textausarbeitung/", "testPeriod": "2026-Q4", "protocol": "1.0", "corpus": "de-voice-writing-v1", "scenarios": 40, "runs": 3, "completed": 120, "total": 120, "completionRatePercent": 100, "evaluation": { "output": "written-document", "semanticRubric": "writing-facts-v1", "wordErrorRate": { "applicability": "not-applicable", "basis": "unavailable", "explanation": "Die gelieferte Ausgabe ist ein ausgearbeiteter Text, keine wortnahe Abschrift. Deshalb gibt es keine WER." } }, "score": { "version": "2.2", "value": 74.2994, "ci95": [ 71, 77.5 ], "ci95Method": "paired-cluster-bootstrap", "pairedDifferences": [ { "provider": "wispr-flow", "ci95": [ -13.97, -5.33 ] }, { "provider": "letterly", "ci95": [ -12.23, -3.74 ] }, { "provider": "audiopen", "ci95": [ -6.71, 2.14 ] }, { "provider": "speechlive-legal", "ci95": [ -12.08, -1.32 ] } ], "rank": 5, "cohortSize": 5, "criticalRatePercent": null, "contentQuality": 91.24, "references": { "key": "voice-writing", "qualityErrorPoints": 30, "correctionMinutes": 142, "criticalPercent": null }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 70.801, "weight": 0.75, "contribution": 53.1 }, { "key": "effort", "label": "Korrekturaufwand", "value": 80.995, "weight": 0.2, "contribution": 16.199 }, { "key": "reliability", "label": "Abschlussquote", "value": 100, "weight": 0.05, "contribution": 5 } ] }, "mainMetric": { "label": "Fakten-F1", "abbreviation": "F1", "value": 92.735, "direction": "higher", "ci95": [ 91.77, 93.76 ] }, "transcription": null, "facts": { "truePositive": 2368, "falsePositive": 126, "falseNegative": 245, "referenceFacts": 2613, "outputFacts": 2494, "precisionPercent": 94.948, "precisionCi95": [ 93.86, 96.06 ], "recallPercent": 90.624, "recallCi95": [ 88.78, 92.58 ], "f1Percent": 92.735, "f1Ci95": [ 91.77, 93.76 ] }, "latency": { "p50Seconds": 24.4, "p95Seconds": 45, "mode": "live-dictation", "start": "Ende des gesprochenen Auftrags", "end": "Fertiger Text verfügbar" }, "correction": { "minutesPerAudioHour": 26.9871, "ci95": [ 23.07, 30.76 ], "estimate": { "outputs": 120, "audioSeconds": 28740, "minutes": 215.33, "ci": [ 23.07, 30.76 ], "audioHours": 7.979 } }, "additionalMetrics": [ { "key": "unsupported-statements", "label": "Falsche oder unbelegte Aussagen", "numerator": 50, "denominator": 2494, "valuePercent": 2.005, "direction": "lower", "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.", "ci95": [ 1.33, 3.02 ], "ci95Method": "wilson-design-effect", "designEffect": 2.2476 }, { "key": "instruction-compliance", "label": "Umgesetzte Schreibanweisungen", "numerator": 642, "denominator": 753, "valuePercent": 85.259, "direction": "higher", "definition": "Korrekt umgesetzte explizite Anweisungen zu Format, Ton, Reihenfolge und Änderungen pro vorab festgelegter Schreibanweisung. Eine korrekt geschriebene E-Mail ersetzt keinen fehlenden Einzelauftrag.", "ci95": [ 79.99, 89.33 ], "ci95Method": "wilson-design-effect", "designEffect": 3.3977 } ], "errorTypes": [ { "label": "Nicht erfasste Referenzfakten", "count": 245 }, { "label": "Falsche oder unbelegte Aussagen", "count": 50 }, { "label": "Zutreffende, aber nicht relevante Aussagen", "count": 76 } ], "failedRuns": [], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "Superwhisper, benutzerdefinierter Modus, Stand 4. Quartal 2026", "modelVersions": [ { "name": "Cohere Transcribe", "version": null }, { "name": "S1-Language", "version": null } ], "template": null, "instruction": { "id": "si-instr-voice-writing", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Virtueller Mikrofoneingang", "platform": "macOS Desktop", "language": "Deutsch", "mode": "Benutzerdefinierter Modus, Anweisung je Fall aus dem Arbeitsauftrag", "model": "Spracherkennung Cohere Transcribe lokal, Textbearbeitung mit S1-Language (Standard)", "hardware": "Mac mini M2 Pro, 32 GB RAM, macOS 26", "target": "Vorab festgelegter Textauftrag", "personalDictionary": false, "extraContext": false }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": null }, "corpusMetadata": { "version": "1.0", "manifestSha256": "a2194236d0c043d838b24210574c7bf8a3c918cbe1bcce4db693e95b675ca2e2", "referenceVersion": "1.0", "referenceSha256": "2d895d782442beec8769e48974bf2d650e4c80f2b6555d633e58c77a5a161833", "sourceScenarioCount": 40, "evaluatedScenarioCount": 40, "totalAudioSeconds": 9600, "durationSeconds": { "minimum": 60, "maximum": 600 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 1 } ], "conversions": [ { "description": "Kontrollierte Wiedergabe der Referenzaufnahmen über einen virtuellen Mikrofoneingang mit −20 dBFS RMS in Echtzeit", "tool": "scribeindex-playback", "version": "1.0" } ], "exclusions": [] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 40, "resamples": 2000, "seed": 3301926752, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "175bb08bcec3d46df9a7e79d3383ed75fd39e092bfc7ebe4823aec3915a1820a" } }, { "id": "syncwords/untertitel:live-subtitles", "provider": "syncwords", "providerName": "SyncWords", "test": "untertitel:live-subtitles", "label": "Live-Untertitel", "category": "untertitel", "task": "live-subtitles", "url": "https://scribeindex.com/anbieter/syncwords/test/#live", "rankingUrl": "https://scribeindex.com/vergleich/untertitel/live/", "testPeriod": "2026-Q2", "protocol": "1.0", "corpus": "de-live-untertitel-v1", "scenarios": 30, "runs": 2, "completed": 60, "total": 60, "completionRatePercent": 100, "evaluation": { "output": "live-subtitles", "semanticRubric": null, "wordErrorRate": { "applicability": "word-aligned", "basis": "delivered-output", "explanation": "WER wird aus dem endgültigen Stand der angezeigten Untertitel gegen die normalisierte Referenz berechnet. Zwischenstände der Anzeige gehen in die Stabilität ein, nicht in die WER." } }, "score": { "version": "2.2", "value": 62.4766, "ci95": [ 60.9, 64.2 ], "ci95Method": "paired-cluster-bootstrap", "pairedDifferences": [ { "provider": "ai-media", "ci95": [ -10.11, -7.02 ] }, { "provider": "wordly", "ci95": [ 7.02, 11.33 ] }, { "provider": "interprefy", "ci95": [ -0.32, 3.32 ] }, { "provider": "clevercast", "ci95": [ -3.95, 0.88 ] }, { "provider": "maestra", "ci95": [ 12.8, 16.12 ] } ], "rank": 3, "cohortSize": 6, "criticalRatePercent": null, "contentQuality": 89.666, "references": { "key": "live-subtitles", "qualityErrorPoints": 30, "correctionMinutes": 276, "criticalPercent": null }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 65.553, "weight": 0.75, "contribution": 49.164 }, { "key": "effort", "label": "Korrekturaufwand", "value": 41.561, "weight": 0.2, "contribution": 8.312 }, { "key": "reliability", "label": "Abschlussquote", "value": 100, "weight": 0.05, "contribution": 5 } ] }, "mainMetric": { "label": "Wortfehlerrate", "abbreviation": "WER", "value": 8.239, "direction": "lower", "ci95": [ 7.56, 8.91 ] }, "transcription": { "referenceWords": 299308, "substitutions": 12542, "deletions": 6698, "insertions": 5420, "errors": 24660, "werPercent": 8.239, "ci95": [ 7.56, 8.91 ], "comparable": true }, "facts": null, "latency": { "p50Seconds": 1.1, "p95Seconds": 2.2, "mode": "live-stream", "start": "Wortende im Ton beim Publikum", "end": "Erste Anzeige des Wortes in endgültiger Form" }, "correction": { "minutesPerAudioHour": 161.2914, "ci95": [ 153.72, 168.46 ], "estimate": { "outputs": 60, "audioSeconds": 127620, "minutes": 5717.94, "ci": [ 153.72, 168.46 ], "audioHours": 35.451 } }, "additionalMetrics": [ { "key": "cer", "label": "Zeichenfehlerrate · CER", "numerator": 64268, "denominator": 1938614, "valuePercent": 3.315, "direction": "lower", "definition": "Zeichenabweichungen pro Referenzzeichen nach NFC-Normalisierung, einheitlicher Groß- und Kleinschreibung, entfernten Satzzeichen und zu einem Leerzeichen zusammengefasstem Leerraum. Leerzeichen zählen als Zeichen.", "ci95": [ 3.05, 3.58 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "live-caption-timeliness", "label": "Rechtzeitig angezeigte Wörter", "numerator": 273224, "denominator": 299308, "valuePercent": 91.285, "direction": "higher", "definition": "Referenzwörter, deren endgültige Form höchstens 3 Sekunden vor oder nach dem Wortende im Ton beim Publikum erstmals angezeigt wird, pro Referenzwort. Fehlende und falsch erkannte Wörter zählen als nicht rechtzeitig.", "ci95": [ 90.29, 92.18 ], "ci95Method": "wilson-design-effect", "designEffect": 86.5172 }, { "key": "live-caption-stability", "label": "Stabil angezeigte Wörter", "numerator": 245428, "denominator": 299308, "valuePercent": 81.998, "direction": "higher", "definition": "Referenzwörter, die ab ihrer ersten Anzeige unverändert in endgültiger Form stehen, pro Referenzwort. Vorher anders angezeigte, später umgeschriebene oder entfernte sowie fehlende und falsch erkannte Wörter zählen als nicht stabil.", "ci95": [ 80.53, 83.38 ], "ci95Method": "wilson-design-effect", "designEffect": 106.8291 } ], "scalarMetrics": [ { "key": "live-audio-delay", "label": "Mittlere Übertragungsverzögerung", "value": 0, "unit": "s", "direction": "none", "definition": "Mittlere Zeit vom Wortende im Eingangston bis zum Wortende im Ton beim Publikum. Gewichtet wird je Referenzwort. Bei unverzögerter Audioausgabe beträgt sie null.", "statistic": "mean", "sampleSize": 299308, "ci": [ 0, 0 ] } ], "errorTypes": [ { "label": "Ersetzungen", "count": 12542 }, { "label": "Auslassungen", "count": 6698 }, { "label": "Einfügungen", "count": 5420 } ], "failedRuns": [], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "SyncWords Events, Browser-Widget mit Speechmatics, Stand 2. Quartal 2026", "modelVersions": null, "template": null, "instruction": { "id": "si-instr-live-subtitles", "version": "1.0" }, "customVocabulary": null, "settings": { "language": "Deutsch", "translation": false, "customVocabularyEntries": 0, "humanCorrection": false, "capture": "Ereignisprotokoll der angezeigten Untertitel", "inputPath": "Echtzeit-RTMP mit virtuellem Audioeingang", "display": "Deutsche Originaluntertitel im Events-Browser-Widget", "asrEngine": "Speechmatics", "fillerFilter": false, "profanityFilter": false, "diarization": true, "punctuationSensitivity": "0,5 (mittlere Stufe)", "additionalVideoDelaySeconds": 0, "transcriptStorage": true, "export": "WebVTT" }, "scorer": { "name": "scribeindex-live-subtitles", "version": "1.0" }, "normalization": { "id": "de-subtitle-wer", "version": "1.0" } }, "corpusMetadata": { "version": "1.0", "manifestSha256": "82acc1a0ff5f8f62ab47815747ab1a96383fb705780eb9597c1d3c51a6b044aa", "referenceVersion": "1.0", "referenceSha256": "12f7090789671983e962a05c01cb6abb03849e6536dc9afde6de15f11454f43b", "sourceScenarioCount": 30, "evaluatedScenarioCount": 30, "totalAudioSeconds": 63840, "durationSeconds": { "minimum": 480, "maximum": 5340 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 1 } ], "conversions": [ { "description": "Einspielung der Aufnahme in Echtzeit als Audioquelle der Live-Sitzung über einen virtuellen Audioeingang mit −20 dBFS RMS", "tool": "scribeindex-playback", "version": "1.0" } ], "exclusions": [] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 30, "resamples": 2000, "seed": 3355895643, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "0f26e97bd0626cfdf95f5dee7a05315be56e31165714a518399326f79379755a" } }, { "id": "tandem-health/medical-scribes:clinical-notes", "provider": "tandem-health", "providerName": "Tandem Health", "test": "medical-scribes:clinical-notes", "label": "Ärztliche Gesprächsdokumentation", "category": "medical-scribes", "task": "clinical-notes", "url": "https://scribeindex.com/anbieter/tandem-health/test/#aerztliche-dokumentation", "rankingUrl": "https://scribeindex.com/vergleich/medical-scribes/aerztliche-dokumentation/", "testPeriod": "2026-Q2", "protocol": "1.0", "corpus": "de-klinik-v1", "scenarios": 48, "runs": 3, "completed": 143, "total": 144, "completionRatePercent": 99.306, "evaluation": { "output": "clinical-note", "semanticRubric": "clinical-facts-v1", "wordErrorRate": { "applicability": "not-applicable", "basis": "unavailable", "explanation": "Die gelieferte Ausgabe ist eine verdichtete Dokumentation, keine wortnahe Abschrift. Deshalb gibt es keine WER." } }, "score": { "version": "2.2", "value": 79.2549, "ci95": [ 73.3, 82.6 ], "ci95Method": "paired-cluster-bootstrap-beta-critical", "pairedDifferences": [ { "provider": "healthjet", "ci95": [ -7.72, 3.2 ] }, { "provider": "heidi", "ci95": [ -8.68, 3.18 ] }, { "provider": "tippiti", "ci95": [ -13.57, -2.69 ] }, { "provider": "noa-notes", "ci95": [ -2.48, 10.54 ] }, { "provider": "doctolib-assistent", "ci95": [ -15.69, -5.13 ] }, { "provider": "dragon-copilot", "ci95": [ -10.14, 2.82 ] }, { "provider": "speechlive-health", "ci95": [ -7.1, 5.42 ] }, { "provider": "gospeech-medical", "ci95": [ -11.09, -1.04 ] }, { "provider": "quixxs", "ci95": [ 5.6, 19.09 ] }, { "provider": "idana-flow", "ci95": [ -7.81, 4.98 ] } ], "rank": 9, "cohortSize": 11, "criticalRatePercent": 2.797, "contentQuality": 92.412, "references": { "key": "clinical-notes", "qualityErrorPoints": 30, "correctionMinutes": 59, "criticalPercent": 20 }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 74.707, "weight": 0.6, "contribution": 44.824 }, { "key": "critical", "label": "Schwerwiegende Fehler", "value": 86.014, "weight": 0.2, "contribution": 17.203 }, { "key": "effort", "label": "Korrekturaufwand", "value": 81.752, "weight": 0.15, "contribution": 12.263 }, { "key": "reliability", "label": "Abschlussquote", "value": 99.306, "weight": 0.05, "contribution": 4.965 } ] }, "mainMetric": { "label": "Fakten-F1", "abbreviation": "F1", "value": 92.412, "direction": "higher", "ci95": [ 91.4, 93.35 ] }, "transcription": null, "facts": { "truePositive": 3678, "falsePositive": 178, "falseNegative": 426, "referenceFacts": 4104, "outputFacts": 3856, "precisionPercent": 95.384, "precisionCi95": [ 94.24, 96.51 ], "recallPercent": 89.62, "recallCi95": [ 88.27, 90.92 ], "f1Percent": 92.412, "f1Ci95": [ 91.4, 93.35 ] }, "latency": { "p50Seconds": 48.2, "p95Seconds": 79.6, "mode": "live-conversation", "start": "Beenden der Aufnahme", "end": "Vollständiges Dokument verfügbar" }, "correction": { "minutesPerAudioHour": 10.7665, "ci95": [ 9.24, 12.4 ], "estimate": { "outputs": 143, "audioSeconds": 103680, "minutes": 310, "ci": [ 9.24, 12.4 ], "audioHours": 28.793 } }, "additionalMetrics": [ { "key": "critical-documents", "label": "Dokumente mit schwerwiegendem Fehler", "numerator": 4, "denominator": 143, "valuePercent": 2.797, "direction": "lower", "definition": "Ausgaben mit mindestens einem potenziell schwerwiegenden medizinischen Fehler pro abgeschlossener Ausgabe. Bewertet wird jeder Fall nach einer festgelegten Fehlerrubrik. Fehler bei Medikation oder Verneinung zählen hier nur, wenn die Rubrik die betroffene Angabe als potenziell schwerwiegend einstuft. Die Zähler je Fehlerart enthalten auch folgenlose Abweichungen.", "ci95": [ 0.77, 9.56 ], "ci95Method": "wilson-design-effect", "designEffect": 1.9676 }, { "key": "unsupported-statements", "label": "Falsche oder unbelegte Aussagen", "numerator": 83, "denominator": 3856, "valuePercent": 2.152, "direction": "lower", "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.", "ci95": [ 1.52, 3.03 ], "ci95Method": "wilson-design-effect", "designEffect": 2.6123 }, { "key": "medical-term-errors", "label": "Fehler bei Fachbegriffen", "numerator": 154, "denominator": 3483, "valuePercent": 4.421, "direction": "lower", "definition": "Fachlich falsch wiedergegebene oder ausgelassene medizinische Konzepte pro annotiertem Fachkonzept der Referenz. Synonyme gelten bei gleicher Bedeutung als korrekt.", "ci95": [ 3.44, 5.66 ], "ci95Method": "wilson-design-effect", "designEffect": 2.5697 }, { "key": "medication-errors", "label": "Fehler bei Medikamenten und Dosierungen", "numerator": 7, "denominator": 616, "valuePercent": 1.136, "direction": "lower", "definition": "Falsch wiedergegebene oder ausgelassene Angaben zu Wirkstoff, Dosis, Einheit und Einnahme pro annotierter Medikationsangabe. Jede Angabe zählt höchstens einmal.", "ci95": [ 0.4, 3.13 ], "ci95Method": "wilson-design-effect", "designEffect": 2.0975 }, { "key": "negation-errors", "label": "Fehler bei Verneinungen", "numerator": 26, "denominator": 818, "valuePercent": 3.178, "direction": "lower", "definition": "Verlorene, hinzugefügte oder umgekehrte Negationen pro Referenzaussage mit verneintem oder ausdrücklich bestätigtem Befund. Eine Aussage zählt höchstens einmal.", "ci95": [ 1.79, 5.59 ], "ci95Method": "wilson-design-effect", "designEffect": 2.3347 }, { "key": "temporal-errors", "label": "Fehler bei zeitlichen Angaben", "numerator": 45, "denominator": 933, "valuePercent": 4.823, "direction": "lower", "definition": "Falsch zugeordnete oder ausgelassene Zeitpunkte, Dauern und zeitliche Beziehungen pro annotierter zeitlicher Referenzangabe.", "ci95": [ 3.06, 7.52 ], "ci95Method": "wilson-design-effect", "designEffect": 2.5347 }, { "key": "attribution-errors", "label": "Fehler bei der Zuordnung", "numerator": 66, "denominator": 2149, "valuePercent": 3.071, "direction": "lower", "definition": "Falsche oder ausgelassene Zuordnung von Aussagen zu Patient, behandelnder Person oder Drittperson pro Referenzfakt mit erforderlicher Quellenzuordnung.", "ci95": [ 2.08, 4.51 ], "ci95Method": "wilson-design-effect", "designEffect": 2.6696 } ], "errorTypes": [ { "label": "Nicht erfasste Referenzfakten", "count": 426 }, { "label": "Falsche oder unbelegte Aussagen", "count": 83 }, { "label": "Zutreffende, aber nicht relevante Aussagen", "count": 95 } ], "failedRuns": [ { "scenarioId": "klinik-011", "run": 2, "reason": "Kein Dokument innerhalb des protokollierten Zeitlimits" } ], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "Tandem Web-App, Stand 2. Quartal 2026", "modelVersions": null, "template": { "id": "si-sprechstunde-notiz", "version": "1.0" }, "instruction": { "id": "si-instr-sprechstunde", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Aufnahme in der Anwendung über einen virtuellen Mikrofoneingang", "outputLanguage": "de-DE", "specialty": "Allgemeinmedizin" }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": null }, "corpusMetadata": { "version": "1.0", "manifestSha256": "07e4ff2bb9cb21c1b350d732b5e593f4f1830354a230c75954136f03552f7ba5", "referenceVersion": "1.0", "referenceSha256": "9ddba13742d943cd28b478c231a53d71ed064e1ba7681896e21faedfe2bb2207", "sourceScenarioCount": 50, "evaluatedScenarioCount": 48, "totalAudioSeconds": 34860, "durationSeconds": { "minimum": 360, "maximum": 2400 }, "audioFormats": [ { "codec": "AAC-LC (M4A)", "sampleRateHertz": 48000, "channels": 1 }, { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 2 } ], "conversions": [ { "description": "Einspielung der Gesprächsaufnahme in Echtzeit über einen virtuellen Mikrofoneingang mit −20 dBFS RMS", "tool": "scribeindex-playback", "version": "1.0" } ], "exclusions": [ { "scenarioId": "klinik-016", "reason": "Einwilligung zur Nutzung der Aufnahme vor Testbeginn widerrufen." }, { "scenarioId": "klinik-033", "reason": "Relevanzmenge auch nach fachlicher Durchsicht nicht eindeutig festlegbar." } ] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 48, "resamples": 2000, "seed": 2234884632, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "f630f8568c719864793b7aacf8e58f4627c6b7bdcdf5f3730abfda50ad6bfb37" } }, { "id": "tandem-health/medical-scribes:therapy-notes", "provider": "tandem-health", "providerName": "Tandem Health", "test": "medical-scribes:therapy-notes", "label": "Psychotherapeutische Sitzungsdokumentation", "category": "medical-scribes", "task": "therapy-notes", "url": "https://scribeindex.com/anbieter/tandem-health/test/#psychotherapie", "rankingUrl": "https://scribeindex.com/vergleich/medical-scribes/psychotherapie/", "testPeriod": "2026-Q2", "protocol": "1.0", "corpus": "de-therapie-v1", "scenarios": 36, "runs": 3, "completed": 107, "total": 108, "completionRatePercent": 99.074, "evaluation": { "output": "therapy-note", "semanticRubric": "clinical-facts-v1", "wordErrorRate": { "applicability": "not-applicable", "basis": "unavailable", "explanation": "Die gelieferte Ausgabe ist eine therapeutische Sitzungsnotiz. Bewertet werden dokumentationsrelevante Fakten und ihre Zuordnung, nicht die Wortfolge des Gesprächs." } }, "score": { "version": "2.2", "value": 65.062, "ci95": [ 56.4, 70 ], "ci95Method": "paired-cluster-bootstrap-beta-critical", "pairedDifferences": [ { "provider": "healthjet", "ci95": [ -8.49, 11.39 ] }, { "provider": "playnvoice", "ci95": [ -14.97, 0.66 ] }, { "provider": "heidi", "ci95": [ -4.22, 15.29 ] }, { "provider": "via-health", "ci95": [ -21.93, -4.43 ] }, { "provider": "dokudachs", "ci95": [ -20.42, -2.11 ] }, { "provider": "iptas", "ci95": [ -18.21, -2.84 ] }, { "provider": "clara-health", "ci95": [ -14.5, 2.15 ] }, { "provider": "lumanote", "ci95": [ -16.98, 1.69 ] }, { "provider": "noa-notes", "ci95": [ -5.15, 12.35 ] }, { "provider": "psynex", "ci95": [ -19.93, -5.63 ] }, { "provider": "upheal", "ci95": [ 0, 19.73 ] } ], "rank": 8, "cohortSize": 12, "criticalRatePercent": 3.738, "contentQuality": 87.853, "references": { "key": "therapy-notes", "qualityErrorPoints": 30, "correctionMinutes": 20, "criticalPercent": 20 }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 59.508, "weight": 0.6, "contribution": 35.705 }, { "key": "critical", "label": "Schwerwiegende Fehler", "value": 81.308, "weight": 0.2, "contribution": 16.262 }, { "key": "effort", "label": "Korrekturaufwand", "value": 54.277, "weight": 0.15, "contribution": 8.142 }, { "key": "reliability", "label": "Abschlussquote", "value": 99.074, "weight": 0.05, "contribution": 4.954 } ] }, "mainMetric": { "label": "Fakten-F1", "abbreviation": "F1", "value": 87.853, "direction": "higher", "ci95": [ 86.18, 89.42 ] }, "transcription": null, "facts": { "truePositive": 2788, "falsePositive": 281, "falseNegative": 490, "referenceFacts": 3278, "outputFacts": 3069, "precisionPercent": 90.844, "precisionCi95": [ 88.95, 92.75 ], "recallPercent": 85.052, "recallCi95": [ 82.63, 87.3 ], "f1Percent": 87.853, "f1Ci95": [ 86.18, 89.42 ] }, "latency": { "p50Seconds": 72.6, "p95Seconds": 121.2, "mode": "live-conversation", "start": "Beenden der Aufnahme", "end": "Vollständiges Dokument verfügbar" }, "correction": { "minutesPerAudioHour": 9.1446, "ci95": [ 7.89, 10.46 ], "estimate": { "outputs": 107, "audioSeconds": 307320, "minutes": 780.63, "ci": [ 7.89, 10.46 ], "audioHours": 85.365 } }, "additionalMetrics": [ { "key": "critical-documents", "label": "Dokumente mit schwerwiegendem Fehler", "numerator": 4, "denominator": 107, "valuePercent": 3.738, "direction": "lower", "definition": "Ausgaben mit mindestens einem potenziell schwerwiegenden medizinischen Fehler pro abgeschlossener Ausgabe. Bewertet wird jeder Fall nach einer festgelegten Fehlerrubrik. Fehler bei Medikation oder Verneinung zählen hier nur, wenn die Rubrik die betroffene Angabe als potenziell schwerwiegend einstuft. Die Zähler je Fehlerart enthalten auch folgenlose Abweichungen.", "ci95": [ 1.04, 12.53 ], "ci95Method": "wilson-design-effect", "designEffect": 1.9642 }, { "key": "unsupported-statements", "label": "Falsche oder unbelegte Aussagen", "numerator": 120, "denominator": 3069, "valuePercent": 3.91, "direction": "lower", "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.", "ci95": [ 2.98, 5.11 ], "ci95Method": "wilson-design-effect", "designEffect": 2.3636 }, { "key": "medical-term-errors", "label": "Fehler bei Fachbegriffen", "numerator": 52, "denominator": 1169, "valuePercent": 4.448, "direction": "lower", "definition": "Fachlich falsch wiedergegebene oder ausgelassene medizinische Konzepte pro annotiertem Fachkonzept der Referenz. Synonyme gelten bei gleicher Bedeutung als korrekt.", "ci95": [ 2.93, 6.7 ], "ci95Method": "wilson-design-effect", "designEffect": 2.4514 }, { "key": "medication-errors", "label": "Fehler bei Medikamenten und Dosierungen", "numerator": 1, "denominator": 74, "valuePercent": 1.351, "direction": "lower", "definition": "Falsch wiedergegebene oder ausgelassene Angaben zu Wirkstoff, Dosis, Einheit und Einnahme pro annotierter Medikationsangabe. Jede Angabe zählt höchstens einmal.", "ci95": [ 0.13, 12.54 ], "ci95Method": "wilson-design-effect", "designEffect": 2.1972 }, { "key": "negation-errors", "label": "Fehler bei Verneinungen", "numerator": 23, "denominator": 429, "valuePercent": 5.361, "direction": "lower", "definition": "Verlorene, hinzugefügte oder umgekehrte Negationen pro Referenzaussage mit verneintem oder ausdrücklich bestätigtem Befund. Eine Aussage zählt höchstens einmal.", "ci95": [ 2.79, 10.04 ], "ci95Method": "wilson-design-effect", "designEffect": 2.7043 }, { "key": "temporal-errors", "label": "Fehler bei zeitlichen Angaben", "numerator": 58, "denominator": 956, "valuePercent": 6.067, "direction": "lower", "definition": "Falsch zugeordnete oder ausgelassene Zeitpunkte, Dauern und zeitliche Beziehungen pro annotierter zeitlicher Referenzangabe.", "ci95": [ 4.09, 8.9 ], "ci95Method": "wilson-design-effect", "designEffect": 2.4515 }, { "key": "attribution-errors", "label": "Fehler bei der Zuordnung", "numerator": 61, "denominator": 1886, "valuePercent": 3.234, "direction": "lower", "definition": "Falsche oder ausgelassene Zuordnung von Aussagen zu Patient, behandelnder Person oder Drittperson pro Referenzfakt mit erforderlicher Quellenzuordnung.", "ci95": [ 2.15, 4.83 ], "ci95Method": "wilson-design-effect", "designEffect": 2.7101 }, { "key": "risk-assessment-errors", "label": "Fehler bei Risikohinweisen", "numerator": 12, "denominator": 169, "valuePercent": 7.101, "direction": "lower", "definition": "Ausgelassene, hinzugefügte oder falsch eingeordnete Aussagen zu Selbstgefährdung und Schutzfaktoren pro annotierter risikorelevanter Referenzaussage. Bewertet wird anhand des Gesprächs nach einer festgelegten Rubrik.", "ci95": [ 3.07, 15.56 ], "ci95Method": "wilson-design-effect", "designEffect": 2.3946 } ], "errorTypes": [ { "label": "Nicht erfasste Referenzfakten", "count": 490 }, { "label": "Falsche oder unbelegte Aussagen", "count": 120 }, { "label": "Zutreffende, aber nicht relevante Aussagen", "count": 161 } ], "failedRuns": [ { "scenarioId": "therapie-025", "run": 2, "reason": "Aufnahme nach App-Unterbrechung verworfen" } ], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "Tandem Web-App, Stand 2. Quartal 2026", "modelVersions": null, "template": { "id": "si-therapie-verlauf", "version": "1.0" }, "instruction": { "id": "si-instr-therapie", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Aufnahme in der Anwendung über einen virtuellen Mikrofoneingang", "outputLanguage": "de-DE", "specialty": "Psychotherapie" }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": null }, "corpusMetadata": { "version": "1.0", "manifestSha256": "62780a1c05eb9562aa4bdbee3b73aedcf448ce0e8e6ba5fd85d7e17baa3b4bd8", "referenceVersion": "1.0", "referenceSha256": "62c50ae99e53e02e016470714f0a6524d90a92407fe393d48adae95f19a8ee2a", "sourceScenarioCount": 36, "evaluatedScenarioCount": 36, "totalAudioSeconds": 103620, "durationSeconds": { "minimum": 2220, "maximum": 3540 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 1 } ], "conversions": [ { "description": "Einspielung der Gesprächsaufnahme in Echtzeit über einen virtuellen Mikrofoneingang mit −20 dBFS RMS", "tool": "scribeindex-playback", "version": "1.0" } ], "exclusions": [] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 36, "resamples": 2000, "seed": 3733937332, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "0c35a46bc36056c43d2f55385441679c130a0d1ef5bcb7bd6cb2f19411cef23a" } }, { "id": "tandem-health/medical-scribes:nursing-notes", "provider": "tandem-health", "providerName": "Tandem Health", "test": "medical-scribes:nursing-notes", "label": "Pflegedokumentation", "category": "medical-scribes", "task": "nursing-notes", "url": "https://scribeindex.com/anbieter/tandem-health/test/#pflegedokumentation", "rankingUrl": "https://scribeindex.com/vergleich/medical-scribes/pflegedokumentation/", "testPeriod": "2026-Q2", "protocol": "1.0", "corpus": "de-pflege-v1", "scenarios": 40, "runs": 3, "completed": 120, "total": 120, "completionRatePercent": 100, "evaluation": { "output": "nursing-note", "semanticRubric": "nursing-facts-v1", "wordErrorRate": { "applicability": "not-applicable", "basis": "unavailable", "explanation": "Bewertet werden die gelieferten Einträge der Pflegedokumentation. Strukturierte Felder und umformulierte Berichte werden über die Faktenrubrik abgeglichen, nicht gegen die Wortfolge der Aufnahme." } }, "score": { "version": "2.2", "value": 83.1781, "ci95": [ 76.4, 86.4 ], "ci95Method": "paired-cluster-bootstrap-beta-critical", "pairedDifferences": [ { "provider": "heidi", "ci95": [ 2.67, 17.68 ] }, { "provider": "gospeech-medical", "ci95": [ 2.43, 16.52 ] } ], "rank": 1, "cohortSize": 3, "criticalRatePercent": 2.5, "contentQuality": 93.938, "references": { "key": "nursing-notes", "qualityErrorPoints": 30, "correctionMinutes": 72, "criticalPercent": 20 }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 79.792, "weight": 0.6, "contribution": 47.875 }, { "key": "critical", "label": "Schwerwiegende Fehler", "value": 87.5, "weight": 0.2, "contribution": 17.5 }, { "key": "effort", "label": "Korrekturaufwand", "value": 85.351, "weight": 0.15, "contribution": 12.803 }, { "key": "reliability", "label": "Abschlussquote", "value": 100, "weight": 0.05, "contribution": 5 } ] }, "mainMetric": { "label": "Fakten-F1", "abbreviation": "F1", "value": 93.938, "direction": "higher", "ci95": [ 92.97, 94.8 ] }, "transcription": null, "facts": { "truePositive": 3378, "falsePositive": 142, "falseNegative": 294, "referenceFacts": 3672, "outputFacts": 3520, "precisionPercent": 95.966, "precisionCi95": [ 95.07, 96.9 ], "recallPercent": 91.993, "recallCi95": [ 90.07, 93.64 ], "f1Percent": 93.938, "f1Ci95": [ 92.97, 94.8 ] }, "latency": { "p50Seconds": 31.2, "p95Seconds": 51.1, "mode": "live-conversation", "start": "Beenden der Aufnahme", "end": "Vollständiges Dokument verfügbar" }, "correction": { "minutesPerAudioHour": 10.547, "ci95": [ 8.75, 13.43 ], "estimate": { "outputs": 120, "audioSeconds": 42120, "minutes": 123.41, "ci": [ 8.75, 13.43 ], "audioHours": 11.701 } }, "additionalMetrics": [ { "key": "critical-documents", "label": "Dokumente mit schwerwiegendem Fehler", "numerator": 3, "denominator": 120, "valuePercent": 2.5, "direction": "lower", "definition": "Ausgaben mit mindestens einem potenziell schwerwiegenden medizinischen Fehler pro abgeschlossener Ausgabe. Bewertet wird jeder Fall nach einer festgelegten Fehlerrubrik. Fehler bei Medikation oder Verneinung zählen hier nur, wenn die Rubrik die betroffene Angabe als potenziell schwerwiegend einstuft. Die Zähler je Fehlerart enthalten auch folgenlose Abweichungen.", "ci95": [ 0.58, 10.08 ], "ci95Method": "wilson-design-effect", "designEffect": 1.9778 }, { "key": "unsupported-statements", "label": "Falsche oder unbelegte Aussagen", "numerator": 60, "denominator": 3520, "valuePercent": 1.705, "direction": "lower", "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.", "ci95": [ 1.14, 2.53 ], "ci95Method": "wilson-design-effect", "designEffect": 2.4893 }, { "key": "medical-term-errors", "label": "Fehler bei Fachbegriffen", "numerator": 31, "denominator": 1230, "valuePercent": 2.52, "direction": "lower", "definition": "Fachlich falsch wiedergegebene oder ausgelassene medizinische Konzepte pro annotiertem Fachkonzept der Referenz. Synonyme gelten bei gleicher Bedeutung als korrekt.", "ci95": [ 1.6, 3.95 ], "ci95Method": "wilson-design-effect", "designEffect": 1.7096 }, { "key": "medication-errors", "label": "Fehler bei Medikamenten und Dosierungen", "numerator": 9, "denominator": 300, "valuePercent": 3, "direction": "lower", "definition": "Falsch wiedergegebene oder ausgelassene Angaben zu Wirkstoff, Dosis, Einheit und Einnahme pro annotierter Medikationsangabe. Jede Angabe zählt höchstens einmal.", "ci95": [ 1.17, 7.46 ], "ci95Method": "wilson-design-effect", "designEffect": 2.2497 }, { "key": "negation-errors", "label": "Fehler bei Verneinungen", "numerator": 10, "denominator": 570, "valuePercent": 1.754, "direction": "lower", "definition": "Verlorene, hinzugefügte oder umgekehrte Negationen pro Referenzaussage mit verneintem oder ausdrücklich bestätigtem Befund. Eine Aussage zählt höchstens einmal.", "ci95": [ 0.65, 4.64 ], "ci95Method": "wilson-design-effect", "designEffect": 2.7804 }, { "key": "temporal-errors", "label": "Fehler bei zeitlichen Angaben", "numerator": 35, "denominator": 921, "valuePercent": 3.8, "direction": "lower", "definition": "Falsch zugeordnete oder ausgelassene Zeitpunkte, Dauern und zeitliche Beziehungen pro annotierter zeitlicher Referenzangabe.", "ci95": [ 2.28, 6.25 ], "ci95Method": "wilson-design-effect", "designEffect": 2.4508 }, { "key": "attribution-errors", "label": "Fehler bei der Zuordnung", "numerator": 37, "denominator": 1734, "valuePercent": 2.134, "direction": "lower", "definition": "Falsche oder ausgelassene Zuordnung von Aussagen zu Patient, behandelnder Person oder Drittperson pro Referenzfakt mit erforderlicher Quellenzuordnung.", "ci95": [ 1.18, 3.82 ], "ci95Method": "wilson-design-effect", "designEffect": 3.4675 }, { "key": "vital-sign-errors", "label": "Fehler bei Vitalwerten", "numerator": 12, "denominator": 429, "valuePercent": 2.797, "direction": "lower", "definition": "Falsch übernommene oder ausgelassene Vitalwerte pro annotiertem Vitalwert der Referenz. Wert, Einheit, Messzeitpunkt und versorgte Person müssen zusammen stimmen.", "ci95": [ 1.17, 6.54 ], "ci95Method": "wilson-design-effect", "designEffect": 2.5543 }, { "key": "dictation-command-accuracy", "label": "Umgesetzte Diktatbefehle", "numerator": 78, "denominator": 90, "valuePercent": 86.667, "direction": "higher", "definition": "Richtig ausgeführte festgelegte Satzzeichen-, Absatz- und Korrekturbefehle pro ausgesprochenem Referenzbefehl. Der Befehl soll wirken und nicht als Befehlswort im Text stehen.", "ci95": [ 73.18, 93.94 ], "ci95Method": "wilson-design-effect", "designEffect": 2.1706 }, { "key": "self-correction-accuracy", "label": "Umgesetzte Selbstkorrekturen", "numerator": 30, "denominator": 30, "valuePercent": 100, "direction": "higher", "definition": "Spontane Selbstkorrekturen, nach denen das Dokument nur die endgültige Angabe enthält, pro annotierter Selbstkorrektur der Referenz. Steht die verworfene Angabe noch im Text oder ersetzt sie die endgültige, ist die Selbstkorrektur nicht umgesetzt. Ob eine Regel oder ein Sprachmodell sie umsetzt, spielt keine Rolle.", "ci95": [ 70.08, 100 ], "ci95Method": "wilson-design-effect", "designEffect": 3.3333 }, { "key": "edit-instruction-accuracy", "label": "Umgesetzte Bearbeitungsanweisungen", "numerator": 7, "denominator": 12, "valuePercent": 58.333, "direction": "higher", "definition": "Frei formulierte Anweisungen an das Dokument, deren Wirkung das gelieferte Dokument zeigt, pro annotierter Anweisung der Referenz. Eine solche Anweisung ändert eine früher genannte Angabe, ergänzt Inhalt an einer früheren Stelle oder verschiebt einen Abschnitt. Steht sie wörtlich im Text oder bleibt sie ohne Wirkung, ist sie nicht umgesetzt. Ob eine Regel oder ein Sprachmodell sie umsetzt, spielt keine Rolle.", "ci95": [ 22.94, 86.81 ], "ci95Method": "wilson-design-effect", "designEffect": 2.212 } ], "errorTypes": [ { "label": "Nicht erfasste Referenzfakten", "count": 294 }, { "label": "Falsche oder unbelegte Aussagen", "count": 60 }, { "label": "Zutreffende, aber nicht relevante Aussagen", "count": 82 } ], "failedRuns": [], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "Tandem Health im Browser mit Pflegevorlage, Stand 2. Quartal 2026", "modelVersions": null, "template": { "id": "si-pflegebericht", "version": "1.0" }, "instruction": { "id": "si-instr-pflege", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Aufnahme in der Anwendung über einen virtuellen Mikrofoneingang", "language": "Deutsch", "outputLanguage": "Deutsch", "mode": "Gesprächsaufnahme für Pflegebericht, Assessment und Schichtübergabe", "template": "Pflegebericht mit getrennten Personen, Vitalwerten, Maßnahmen und Verlauf", "target": "Erzeugte Pflegedokumentation vor manueller Korrektur oder Übertragung", "extraContext": false, "manualCorrection": false }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": null }, "corpusMetadata": { "version": "1.0", "manifestSha256": "7502ed0b4f30247995e97f03b1a7a0cd3f54907c6b780831019a233cbd092a84", "referenceVersion": "1.0", "referenceSha256": "81561a613839ad570ef1ff39ee99889d0210625a97c37e39de452ea787a783ad", "sourceScenarioCount": 41, "evaluatedScenarioCount": 40, "totalAudioSeconds": 14040, "durationSeconds": { "minimum": 60, "maximum": 1680 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 1 } ], "conversions": [ { "description": "Einspielung der Gesprächsaufnahme in Echtzeit über einen virtuellen Mikrofoneingang mit −20 dBFS RMS", "tool": "scribeindex-playback", "version": "1.0" } ], "exclusions": [ { "scenarioId": "pflege-028", "reason": "Eine mitwirkende Person nannte in der Übergabe versehentlich echte Namen. Die Aufnahme wurde vor der Referenzfreigabe zurückgezogen." } ] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 40, "resamples": 2000, "seed": 1588450526, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "d4572266c17fe472c4e040fee447b07920271bd3b5b3838b241e77b8839549a9" } }, { "id": "tippiti/medizinische-transkription", "provider": "tippiti", "providerName": "Tippiti", "test": "medizinische-transkription", "label": "Medizinische Spracherkennung", "category": "medizinische-transkription", "url": "https://scribeindex.com/anbieter/tippiti/test/#medizinische-transkription", "rankingUrl": "https://scribeindex.com/vergleich/medizinische-spracherkennung/", "testPeriod": "2026-Q3", "protocol": "1.0", "corpus": "de-diktat-v1", "scenarios": 62, "runs": 3, "completed": 186, "total": 186, "completionRatePercent": 100, "evaluation": { "output": "edited-transcript", "semanticRubric": "clinical-facts-v1", "wordErrorRate": { "applicability": "diagnostic", "basis": "delivered-output", "explanation": "Der Dienst liefert eine KI-überarbeitete Ausgabe, keine wortnahe Abschrift. Die WER vergleicht sie Wort für Wort mit dem Diktat. Gewollte Korrekturen, Umstellungen und Glättungen zählen dabei mit. Der Wert zeigt deshalb vor allem, wie weit der Text vom Wortlaut abweicht, nicht wie viele Fehler er enthält. Ob die Inhalte stimmen, misst der Faktenabgleich. Die Erkennungsfehler zählen falsch erkannte oder inhaltlich veränderte Wörter, bezogen auf dieselben Referenzwörter. Bei wortnaher Ausgabe zählt jede Abweichung vom Wortlaut, bei KI-überarbeiteter Ausgabe bleiben zulässige Umformulierungen außen vor. Vergleiche stehen deshalb nur innerhalb derselben Ausgabeart. Die WER geht nicht in den ScribeIndex-Score ein." } }, "score": { "version": "2.2", "value": 96.7581, "ci95": [ 93.3, 97.2 ], "ci95Method": "paired-cluster-bootstrap-beta-critical", "pairedDifferences": [ { "provider": "dragon-medical-one", "ci95": [ 8.12, 15.88 ] }, { "provider": "heidi", "ci95": [ 0.46, 6.44 ] }, { "provider": "dragon-copilot", "ci95": [ 9.28, 17.07 ] }, { "provider": "mira-medical", "ci95": [ 11.34, 19.82 ] }, { "provider": "dictnow", "ci95": [ 10.91, 19.35 ] }, { "provider": "fluency-direct", "ci95": [ 13.48, 20.64 ] }, { "provider": "idana-flow", "ci95": [ 0.23, 6.42 ] }, { "provider": "healthjet", "ci95": [ 1.94, 9.16 ] } ], "rank": 1, "cohortSize": 9, "criticalRatePercent": 0, "contentQuality": 98.857, "references": { "key": "medizinische-transkription", "qualityErrorPoints": 30, "correctionMinutes": 141, "criticalPercent": 15 }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 96.189, "weight": 0.6, "contribution": 57.713 }, { "key": "critical", "label": "Schwerwiegende Fehler", "value": 100, "weight": 0.2, "contribution": 20 }, { "key": "effort", "label": "Korrekturaufwand", "value": 93.633, "weight": 0.15, "contribution": 14.045 }, { "key": "reliability", "label": "Abschlussquote", "value": 100, "weight": 0.05, "contribution": 5 } ] }, "mainMetric": { "label": "Fakten-F1", "abbreviation": "F1", "value": 98.857, "direction": "higher", "ci95": [ 98.57, 99.13 ] }, "transcription": { "referenceWords": 103161, "substitutions": 4300, "deletions": 2785, "insertions": 1874, "errors": 8959, "werPercent": 8.684, "ci95": [ 8.16, 9.22 ], "comparable": false }, "facts": { "truePositive": 6614, "falsePositive": 62, "falseNegative": 91, "referenceFacts": 6705, "outputFacts": 6676, "precisionPercent": 99.071, "precisionCi95": [ 98.71, 99.41 ], "recallPercent": 98.643, "recallCi95": [ 98.26, 99.02 ], "f1Percent": 98.857, "f1Ci95": [ 98.57, 99.13 ] }, "latency": { "p50Seconds": 85.4, "p95Seconds": 231.3, "mode": "file-upload", "start": "Uploadstart", "end": "Vollständig verfügbares, exportierbares Ergebnis" }, "correction": { "minutesPerAudioHour": 8.9773, "ci95": [ 8.09, 9.93 ], "estimate": { "outputs": 186, "audioSeconds": 56220, "minutes": 140.18, "ci": [ 8.09, 9.93 ], "audioHours": 15.615 } }, "additionalMetrics": [ { "key": "recognition-errors", "label": "Erkennungsfehler", "numerator": 1264, "denominator": 103161, "valuePercent": 1.225, "direction": "lower", "definition": "Falsch erkannte, ausgelassene oder eingefügte Wörter pro Referenzwort, ohne zulässige Umformulierungen. Bei wortnaher Ausgabe entspricht der Wert der WER, dort zählt jede Abweichung vom Wortlaut. Bei KI-überarbeiteter Ausgabe zählen nur falsch erkannte oder inhaltlich veränderte Wörter. Für wortnahe Dienste ist die Zählung damit strenger.", "ci95": [ 1.09, 1.37 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "cer", "label": "Zeichenfehlerrate · CER", "numerator": 35080, "denominator": 743736, "valuePercent": 4.717, "direction": "lower", "definition": "Zeichenabweichungen pro Referenzzeichen nach NFC-Normalisierung, einheitlicher Groß- und Kleinschreibung, entfernten Satzzeichen und zu einem Leerzeichen zusammengefasstem Leerraum. Leerzeichen zählen als Zeichen.", "ci95": [ 4.43, 5.02 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "critical-documents", "label": "Dokumente mit schwerwiegendem Fehler", "numerator": 0, "denominator": 186, "valuePercent": 0, "direction": "lower", "definition": "Ausgaben mit mindestens einem potenziell schwerwiegenden medizinischen Fehler pro abgeschlossener Ausgabe. Bewertet wird jeder Fall nach einer festgelegten Fehlerrubrik. Fehler bei Medikation oder Verneinung zählen hier nur, wenn die Rubrik die betroffene Angabe als potenziell schwerwiegend einstuft. Die Zähler je Fehlerart enthalten auch folgenlose Abweichungen.", "ci95": [ 0, 3.93 ], "ci95Method": "wilson-design-effect", "designEffect": 1.9778 }, { "key": "unsupported-statements", "label": "Falsche oder unbelegte Aussagen", "numerator": 38, "denominator": 6676, "valuePercent": 0.569, "direction": "lower", "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.", "ci95": [ 0.34, 0.94 ], "ci95Method": "wilson-design-effect", "designEffect": 2.5405 }, { "key": "medical-term-errors", "label": "Fehler bei Fachbegriffen", "numerator": 119, "denominator": 11205, "valuePercent": 1.062, "direction": "lower", "definition": "Fachlich falsch wiedergegebene oder ausgelassene medizinische Konzepte pro annotiertem Fachkonzept der Referenz. Synonyme gelten bei gleicher Bedeutung als korrekt.", "ci95": [ 0.77, 1.45 ], "ci95Method": "wilson-design-effect", "designEffect": 3.0102 }, { "key": "medication-errors", "label": "Fehler bei Medikamenten und Dosierungen", "numerator": 9, "denominator": 762, "valuePercent": 1.181, "direction": "lower", "definition": "Falsch wiedergegebene oder ausgelassene Angaben zu Wirkstoff, Dosis, Einheit und Einnahme pro annotierter Medikationsangabe. Jede Angabe zählt höchstens einmal.", "ci95": [ 0.43, 3.14 ], "ci95Method": "wilson-design-effect", "designEffect": 2.4965 }, { "key": "negation-errors", "label": "Fehler bei Verneinungen", "numerator": 14, "denominator": 1107, "valuePercent": 1.265, "direction": "lower", "definition": "Verlorene, hinzugefügte oder umgekehrte Negationen pro Referenzaussage mit verneintem oder ausdrücklich bestätigtem Befund. Eine Aussage zählt höchstens einmal.", "ci95": [ 0.55, 2.84 ], "ci95Method": "wilson-design-effect", "designEffect": 2.5899 }, { "key": "temporal-errors", "label": "Fehler bei zeitlichen Angaben", "numerator": 15, "denominator": 1455, "valuePercent": 1.031, "direction": "lower", "definition": "Falsch zugeordnete oder ausgelassene Zeitpunkte, Dauern und zeitliche Beziehungen pro annotierter zeitlicher Referenzangabe.", "ci95": [ 0.45, 2.3 ], "ci95Method": "wilson-design-effect", "designEffect": 2.6964 }, { "key": "attribution-errors", "label": "Fehler bei der Zuordnung", "numerator": 15, "denominator": 2415, "valuePercent": 0.621, "direction": "lower", "definition": "Falsche oder ausgelassene Zuordnung von Aussagen zu Patient, behandelnder Person oder Drittperson pro Referenzfakt mit erforderlicher Quellenzuordnung.", "ci95": [ 0.28, 1.34 ], "ci95Method": "wilson-design-effect", "designEffect": 2.4518 }, { "key": "dictation-command-accuracy", "label": "Umgesetzte Diktatbefehle", "numerator": 1223, "denominator": 1326, "valuePercent": 92.232, "direction": "higher", "definition": "Richtig ausgeführte festgelegte Satzzeichen-, Absatz- und Korrekturbefehle pro ausgesprochenem Referenzbefehl. Der Befehl soll wirken und nicht als Befehlswort im Text stehen.", "ci95": [ 89.05, 94.55 ], "ci95Method": "wilson-design-effect", "designEffect": 3.5814 }, { "key": "self-correction-accuracy", "label": "Umgesetzte Selbstkorrekturen", "numerator": 241, "denominator": 252, "valuePercent": 95.635, "direction": "higher", "definition": "Spontane Selbstkorrekturen, nach denen das Dokument nur die endgültige Angabe enthält, pro annotierter Selbstkorrektur der Referenz. Steht die verworfene Angabe noch im Text oder ersetzt sie die endgültige, ist die Selbstkorrektur nicht umgesetzt. Ob eine Regel oder ein Sprachmodell sie umsetzt, spielt keine Rolle.", "ci95": [ 90.01, 98.16 ], "ci95Method": "wilson-design-effect", "designEffect": 2.3037 }, { "key": "edit-instruction-accuracy", "label": "Umgesetzte Bearbeitungsanweisungen", "numerator": 79, "denominator": 90, "valuePercent": 87.778, "direction": "higher", "definition": "Frei formulierte Anweisungen an das Dokument, deren Wirkung das gelieferte Dokument zeigt, pro annotierter Anweisung der Referenz. Eine solche Anweisung ändert eine früher genannte Angabe, ergänzt Inhalt an einer früheren Stelle oder verschiebt einen Abschnitt. Steht sie wörtlich im Text oder bleibt sie ohne Wirkung, ist sie nicht umgesetzt. Ob eine Regel oder ein Sprachmodell sie umsetzt, spielt keine Rolle.", "ci95": [ 72.75, 95.08 ], "ci95Method": "wilson-design-effect", "designEffect": 2.6683 } ], "errorTypes": [ { "label": "Nicht erfasste Referenzfakten", "count": 91 }, { "label": "Falsche oder unbelegte Aussagen", "count": 38 }, { "label": "Zutreffende, aber nicht relevante Aussagen", "count": 24 } ], "failedRuns": [], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "Web-App, Stand 3. Quartal 2026", "modelVersions": null, "template": null, "instruction": { "id": "si-instr-diktat-ausarbeitung", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Dateiupload im Browser", "mode": "Diktat, korrigierter Text", "outputLanguage": "de-DE", "outputStyle": "Korrigierter Diktattext ohne Dokumentvorlage" }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": { "id": "de-med-wer", "version": "1.0" } }, "corpusMetadata": { "version": "1.0", "manifestSha256": "6768f28bb70c0457e31c2eaafd4f3c498c05b4aec26501537825bbaa22733060", "referenceVersion": "1.0", "referenceSha256": "18772162e86230bce7cfb8a2f52f90244df2b1cdf52bdb6a646494dd3596dbb9", "sourceScenarioCount": 64, "evaluatedScenarioCount": 62, "totalAudioSeconds": 18720, "durationSeconds": { "minimum": 60, "maximum": 900 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 1 }, { "codec": "MP3 128 kbit/s", "sampleRateHertz": 44100, "channels": 1 }, { "codec": "AAC-LC (M4A)", "sampleRateHertz": 44100, "channels": 1 } ], "conversions": [], "exclusions": [ { "scenarioId": "diktat-023", "reason": "Die sprechende Person nannte versehentlich einen echten Namen. Die Aufnahme wurde vor der Referenzfreigabe zurückgezogen." }, { "scenarioId": "diktat-057", "reason": "Endgültige Angabe einer Selbstkorrektur auch nach Prüfung der Aufnahme nicht eindeutig hörbar." } ] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 62, "resamples": 2000, "seed": 4214870755, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "1feb69fb1f1a9ee5134ab583a5bf6a80625f840f53d2d833da91149ac9f1550a" } }, { "id": "tippiti/medical-scribes:clinical-notes", "provider": "tippiti", "providerName": "Tippiti", "test": "medical-scribes:clinical-notes", "label": "Ärztliche Gesprächsdokumentation", "category": "medical-scribes", "task": "clinical-notes", "url": "https://scribeindex.com/anbieter/tippiti/test/#aerztliche-dokumentation", "rankingUrl": "https://scribeindex.com/vergleich/medical-scribes/aerztliche-dokumentation/", "testPeriod": "2026-Q3", "protocol": "1.0", "corpus": "de-klinik-v1", "scenarios": 48, "runs": 3, "completed": 144, "total": 144, "completionRatePercent": 100, "evaluation": { "output": "clinical-note", "semanticRubric": "clinical-facts-v1", "wordErrorRate": { "applicability": "not-applicable", "basis": "unavailable", "explanation": "Die gelieferte Ausgabe ist eine verdichtete Dokumentation, keine wortnahe Abschrift. Deshalb gibt es keine WER." } }, "score": { "version": "2.2", "value": 86.8832, "ci95": [ 83, 88.6 ], "ci95Method": "paired-cluster-bootstrap-beta-critical", "pairedDifferences": [ { "provider": "healthjet", "ci95": [ 1.66, 9.94 ] }, { "provider": "heidi", "ci95": [ 0.78, 9.96 ] }, { "provider": "tandem-health", "ci95": [ 2.69, 13.57 ] }, { "provider": "noa-notes", "ci95": [ 6.71, 17.66 ] }, { "provider": "doctolib-assistent", "ci95": [ -5.44, 1.2 ] }, { "provider": "dragon-copilot", "ci95": [ -0.74, 9.58 ] }, { "provider": "speechlive-health", "ci95": [ 2.27, 11.86 ] }, { "provider": "gospeech-medical", "ci95": [ -1.78, 5.62 ] }, { "provider": "quixxs", "ci95": [ 14.39, 26.33 ] }, { "provider": "idana-flow", "ci95": [ 1.05, 12.16 ] } ], "rank": 2, "cohortSize": 11, "criticalRatePercent": 0, "contentQuality": 94.709, "references": { "key": "clinical-notes", "qualityErrorPoints": 30, "correctionMinutes": 59, "criticalPercent": 20 }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 82.365, "weight": 0.6, "contribution": 49.419 }, { "key": "critical", "label": "Schwerwiegende Fehler", "value": 100, "weight": 0.2, "contribution": 20 }, { "key": "effort", "label": "Korrekturaufwand", "value": 83.096, "weight": 0.15, "contribution": 12.464 }, { "key": "reliability", "label": "Abschlussquote", "value": 100, "weight": 0.05, "contribution": 5 } ] }, "mainMetric": { "label": "Fakten-F1", "abbreviation": "F1", "value": 94.709, "direction": "higher", "ci95": [ 93.85, 95.51 ] }, "transcription": null, "facts": { "truePositive": 3813, "falsePositive": 102, "falseNegative": 324, "referenceFacts": 4137, "outputFacts": 3915, "precisionPercent": 97.395, "precisionCi95": [ 96.44, 98.31 ], "recallPercent": 92.168, "recallCi95": [ 91, 93.2 ], "f1Percent": 94.709, "f1Ci95": [ 93.85, 95.51 ] }, "latency": { "p50Seconds": 126.1, "p95Seconds": 389.6, "mode": "file-upload", "start": "Uploadstart", "end": "Vollständiges Dokument verfügbar" }, "correction": { "minutesPerAudioHour": 9.9731, "ci95": [ 8.39, 11.56 ], "estimate": { "outputs": 144, "audioSeconds": 104580, "minutes": 289.65, "ci": [ 8.39, 11.56 ], "audioHours": 29.043 } }, "additionalMetrics": [ { "key": "critical-documents", "label": "Dokumente mit schwerwiegendem Fehler", "numerator": 0, "denominator": 144, "valuePercent": 0, "direction": "lower", "definition": "Ausgaben mit mindestens einem potenziell schwerwiegenden medizinischen Fehler pro abgeschlossener Ausgabe. Bewertet wird jeder Fall nach einer festgelegten Fehlerrubrik. Fehler bei Medikation oder Verneinung zählen hier nur, wenn die Rubrik die betroffene Angabe als potenziell schwerwiegend einstuft. Die Zähler je Fehlerart enthalten auch folgenlose Abweichungen.", "ci95": [ 0, 5.02 ], "ci95Method": "wilson-design-effect", "designEffect": 1.9778 }, { "key": "unsupported-statements", "label": "Falsche oder unbelegte Aussagen", "numerator": 44, "denominator": 3915, "valuePercent": 1.124, "direction": "lower", "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.", "ci95": [ 0.69, 1.81 ], "ci95Method": "wilson-design-effect", "designEffect": 2.6373 }, { "key": "medical-term-errors", "label": "Fehler bei Fachbegriffen", "numerator": 111, "denominator": 3507, "valuePercent": 3.165, "direction": "lower", "definition": "Fachlich falsch wiedergegebene oder ausgelassene medizinische Konzepte pro annotiertem Fachkonzept der Referenz. Synonyme gelten bei gleicher Bedeutung als korrekt.", "ci95": [ 2.35, 4.24 ], "ci95Method": "wilson-design-effect", "designEffect": 2.5807 }, { "key": "medication-errors", "label": "Fehler bei Medikamenten und Dosierungen", "numerator": 13, "denominator": 621, "valuePercent": 2.093, "direction": "lower", "definition": "Falsch wiedergegebene oder ausgelassene Angaben zu Wirkstoff, Dosis, Einheit und Einnahme pro annotierter Medikationsangabe. Jede Angabe zählt höchstens einmal.", "ci95": [ 0.97, 4.45 ], "ci95Method": "wilson-design-effect", "designEffect": 2.1072 }, { "key": "negation-errors", "label": "Fehler bei Verneinungen", "numerator": 9, "denominator": 822, "valuePercent": 1.095, "direction": "lower", "definition": "Verlorene, hinzugefügte oder umgekehrte Negationen pro Referenzaussage mit verneintem oder ausdrücklich bestätigtem Befund. Eine Aussage zählt höchstens einmal.", "ci95": [ 0.41, 2.83 ], "ci95Method": "wilson-design-effect", "designEffect": 2.3416 }, { "key": "temporal-errors", "label": "Fehler bei zeitlichen Angaben", "numerator": 46, "denominator": 939, "valuePercent": 4.899, "direction": "lower", "definition": "Falsch zugeordnete oder ausgelassene Zeitpunkte, Dauern und zeitliche Beziehungen pro annotierter zeitlicher Referenzangabe.", "ci95": [ 3.12, 7.61 ], "ci95Method": "wilson-design-effect", "designEffect": 2.5451 }, { "key": "attribution-errors", "label": "Fehler bei der Zuordnung", "numerator": 46, "denominator": 2166, "valuePercent": 2.124, "direction": "lower", "definition": "Falsche oder ausgelassene Zuordnung von Aussagen zu Patient, behandelnder Person oder Drittperson pro Referenzfakt mit erforderlicher Quellenzuordnung.", "ci95": [ 1.33, 3.37 ], "ci95Method": "wilson-design-effect", "designEffect": 2.6831 } ], "errorTypes": [ { "label": "Nicht erfasste Referenzfakten", "count": 324 }, { "label": "Falsche oder unbelegte Aussagen", "count": 44 }, { "label": "Zutreffende, aber nicht relevante Aussagen", "count": 58 } ], "failedRuns": [], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "Web-App, Stand 3. Quartal 2026", "modelVersions": null, "template": { "id": "si-sprechstunde-notiz", "version": "1.0" }, "instruction": { "id": "si-instr-sprechstunde", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Dateiupload der Korpusdatei im Browser", "mode": "Gespräch, knappe medizinische Zusammenfassung", "outputLanguage": "de-DE" }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": null }, "corpusMetadata": { "version": "1.0", "manifestSha256": "07e4ff2bb9cb21c1b350d732b5e593f4f1830354a230c75954136f03552f7ba5", "referenceVersion": "1.0", "referenceSha256": "9ddba13742d943cd28b478c231a53d71ed064e1ba7681896e21faedfe2bb2207", "sourceScenarioCount": 50, "evaluatedScenarioCount": 48, "totalAudioSeconds": 34860, "durationSeconds": { "minimum": 360, "maximum": 2400 }, "audioFormats": [ { "codec": "AAC-LC (M4A)", "sampleRateHertz": 48000, "channels": 1 }, { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 2 } ], "conversions": [], "exclusions": [ { "scenarioId": "klinik-016", "reason": "Einwilligung zur Nutzung der Aufnahme vor Testbeginn widerrufen." }, { "scenarioId": "klinik-033", "reason": "Relevanzmenge auch nach fachlicher Durchsicht nicht eindeutig festlegbar." } ] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 48, "resamples": 2000, "seed": 2234884632, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "f630f8568c719864793b7aacf8e58f4627c6b7bdcdf5f3730abfda50ad6bfb37" } }, { "id": "tippiti/medical-scribes:anamnesis-report", "provider": "tippiti", "providerName": "Tippiti", "test": "medical-scribes:anamnesis-report", "label": "Anamneseberichte", "category": "medical-scribes", "task": "anamnesis-report", "url": "https://scribeindex.com/anbieter/tippiti/test/#anamneseberichte", "rankingUrl": "https://scribeindex.com/vergleich/medical-scribes/anamneseberichte/", "testPeriod": "2026-Q3", "protocol": "1.0", "corpus": "de-anamnese-v1", "scenarios": 24, "runs": 2, "completed": 48, "total": 48, "completionRatePercent": 100, "evaluation": { "output": "anamnesis-report", "semanticRubric": "anamnesis-facts-v1", "wordErrorRate": { "applicability": "not-applicable", "basis": "unavailable", "explanation": "Bewertet wird der ausführliche Anamnesebericht aus dem aufgezeichneten Gespräch. Gegliederte Abschnitte, indirekte Rede und Umformulierungen werden semantisch abgeglichen, nicht gegen die Wortfolge des Audios bewertet." } }, "score": { "version": "2.2", "value": 83.537, "ci95": [ 72.9, 86.1 ], "ci95Method": "paired-cluster-bootstrap-beta-critical", "pairedDifferences": [ { "provider": "healthjet", "ci95": [ -1.93, 21.77 ] }, { "provider": "lumanote", "ci95": [ 3.17, 25.94 ] } ], "rank": 1, "cohortSize": 3, "criticalRatePercent": 2.083, "contentQuality": 94.175, "references": { "key": "anamnesis-report", "qualityErrorPoints": 30, "correctionMinutes": 84, "criticalPercent": 20 }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 80.583, "weight": 0.6, "contribution": 48.35 }, { "key": "critical", "label": "Schwerwiegende Fehler", "value": 89.583, "weight": 0.2, "contribution": 17.917 }, { "key": "effort", "label": "Korrekturaufwand", "value": 81.805, "weight": 0.15, "contribution": 12.271 }, { "key": "reliability", "label": "Abschlussquote", "value": 100, "weight": 0.05, "contribution": 5 } ] }, "mainMetric": { "label": "Fakten-F1", "abbreviation": "F1", "value": 94.175, "direction": "higher", "ci95": [ 93.65, 94.74 ] }, "transcription": null, "facts": { "truePositive": 7267, "falsePositive": 240, "falseNegative": 659, "referenceFacts": 7926, "outputFacts": 7507, "precisionPercent": 96.803, "precisionCi95": [ 96.31, 97.25 ], "recallPercent": 91.686, "recallCi95": [ 90.71, 92.69 ], "f1Percent": 94.175, "f1Ci95": [ 93.65, 94.74 ] }, "latency": { "p50Seconds": 596.7, "p95Seconds": 1103.1, "mode": "file-upload", "start": "Uploadstart", "end": "Vollständiges Dokument verfügbar" }, "correction": { "minutesPerAudioHour": 15.284, "ci95": [ 12.92, 17.67 ], "estimate": { "outputs": 48, "audioSeconds": 173520, "minutes": 736.72, "ci": [ 12.92, 17.67 ], "audioHours": 48.202 } }, "additionalMetrics": [ { "key": "critical-documents", "label": "Dokumente mit schwerwiegendem Fehler", "numerator": 1, "denominator": 48, "valuePercent": 2.083, "direction": "lower", "definition": "Ausgaben mit mindestens einem potenziell schwerwiegenden medizinischen Fehler pro abgeschlossener Ausgabe. Bewertet wird jeder Fall nach einer festgelegten Fehlerrubrik. Fehler bei Medikation oder Verneinung zählen hier nur, wenn die Rubrik die betroffene Angabe als potenziell schwerwiegend einstuft. Die Zähler je Fehlerart enthalten auch folgenlose Abweichungen.", "ci95": [ 0.27, 14.1 ], "ci95Method": "wilson-design-effect", "designEffect": 1.4889 }, { "key": "unsupported-statements", "label": "Falsche oder unbelegte Aussagen", "numerator": 119, "denominator": 7507, "valuePercent": 1.585, "direction": "lower", "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.", "ci95": [ 1.21, 2.07 ], "ci95Method": "wilson-design-effect", "designEffect": 2.2574 }, { "key": "medical-term-errors", "label": "Fehler bei Fachbegriffen", "numerator": 46, "denominator": 2286, "valuePercent": 2.012, "direction": "lower", "definition": "Fachlich falsch wiedergegebene oder ausgelassene medizinische Konzepte pro annotiertem Fachkonzept der Referenz. Synonyme gelten bei gleicher Bedeutung als korrekt.", "ci95": [ 1.39, 2.9 ], "ci95Method": "wilson-design-effect", "designEffect": 1.637 }, { "key": "medication-errors", "label": "Fehler bei Medikamenten und Dosierungen", "numerator": 7, "denominator": 306, "valuePercent": 2.288, "direction": "lower", "definition": "Falsch wiedergegebene oder ausgelassene Angaben zu Wirkstoff, Dosis, Einheit und Einnahme pro annotierter Medikationsangabe. Jede Angabe zählt höchstens einmal.", "ci95": [ 0.92, 5.56 ], "ci95Method": "wilson-design-effect", "designEffect": 1.6217 }, { "key": "negation-errors", "label": "Fehler bei Verneinungen", "numerator": 9, "denominator": 836, "valuePercent": 1.077, "direction": "lower", "definition": "Verlorene, hinzugefügte oder umgekehrte Negationen pro Referenzaussage mit verneintem oder ausdrücklich bestätigtem Befund. Eine Aussage zählt höchstens einmal.", "ci95": [ 0.44, 2.57 ], "ci95Method": "wilson-design-effect", "designEffect": 1.9327 }, { "key": "temporal-errors", "label": "Fehler bei zeitlichen Angaben", "numerator": 59, "denominator": 1828, "valuePercent": 3.228, "direction": "lower", "definition": "Falsch zugeordnete oder ausgelassene Zeitpunkte, Dauern und zeitliche Beziehungen pro annotierter zeitlicher Referenzangabe.", "ci95": [ 2.31, 4.5 ], "ci95Method": "wilson-design-effect", "designEffect": 1.7744 }, { "key": "attribution-errors", "label": "Fehler bei der Zuordnung", "numerator": 97, "denominator": 5186, "valuePercent": 1.87, "direction": "lower", "definition": "Falsche oder ausgelassene Zuordnung von Aussagen zu Patient, behandelnder Person oder Drittperson pro Referenzfakt mit erforderlicher Quellenzuordnung.", "ci95": [ 1.39, 2.51 ], "ci95Method": "wilson-design-effect", "designEffect": 2.2365 }, { "key": "detail-retention", "label": "Detailerhalt", "numerator": 4235, "denominator": 4766, "valuePercent": 88.859, "direction": "higher", "definition": "Korrekt erhaltene erforderliche Detailfakten pro vorab markiertem Detailfakt der vollständigen Anamnesereferenz. Angaben zu Vorgeschichte, Beschwerden, Verlauf, Behandlung und Lebensumständen werden getrennt annotiert. Fehlende Angaben sind keine Treffer.", "ci95": [ 87.13, 90.38 ], "ci95Method": "wilson-design-effect", "designEffect": 3.3007 }, { "key": "template-completeness", "label": "Vollständige Berichtsgliederung", "numerator": 822, "denominator": 876, "valuePercent": 93.836, "direction": "higher", "definition": "Vorhandene und inhaltlich korrekt befüllte Pflichtabschnitte pro aufgabenbezogen erforderlichem Abschnitt. Je nach Gesprächsinhalt sind 16 bis 20 Abschnitte der Berichtsvorlage erforderlich. Nicht erhobene Inhalte werden als nicht erhoben markiert und nicht ergänzt.", "ci95": [ 91.51, 95.55 ], "ci95Method": "wilson-design-effect", "designEffect": 1.5762 }, { "key": "contradiction-handling", "label": "Erhalt widersprüchlicher Angaben", "numerator": 87, "denominator": 102, "valuePercent": 85.294, "direction": "higher", "definition": "Korrekt getrennt und mit ihrer Quelle wiedergegebene widersprüchliche Angaben pro vorab annotiertem Widerspruchspaar. Ausgelassene oder ohne Quellenbasis aufgelöste Widersprüche sind keine Treffer.", "ci95": [ 72.76, 92.65 ], "ci95Method": "wilson-design-effect", "designEffect": 2.1032 }, { "key": "unsupported-inferences", "label": "Nicht belegte Schlussfolgerungen", "numerator": 55, "denominator": 638, "valuePercent": 8.621, "direction": "lower", "definition": "Nicht durch Gespräch oder bereitgestellten Kontext belegte Schlussfolgerungen pro tatsächlich ausgegebener Schlussfolgerung. Eine als fremde Einschätzung gekennzeichnete Aussage zählt nur bei korrekter Quellenzuordnung als belegt.", "ci95": [ 5.7, 12.84 ], "ci95Method": "wilson-design-effect", "designEffect": 2.6324 } ], "errorTypes": [ { "label": "Nicht erfasste Referenzfakten", "count": 659 }, { "label": "Falsche oder unbelegte Aussagen", "count": 119 }, { "label": "Zutreffende, aber nicht relevante Aussagen", "count": 121 } ], "failedRuns": [], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "Web-App, Stand 3. Quartal 2026", "modelVersions": null, "template": { "id": "si-anamnese-bericht", "version": "1.0" }, "instruction": { "id": "si-instr-anamnese", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Dateiupload der Korpusdatei im Browser", "mode": "Ausführliche Anamneseausarbeitung", "reportStyle": "Indirekte Rede, thematisch gegliedert", "outputLanguage": "de-DE" }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": null }, "corpusMetadata": { "version": "1.0", "manifestSha256": "fd43d74a52c8f38d1962a41126bf5f14f7d1f35990ef9e325e5a5c9b4a8e750e", "referenceVersion": "1.0", "referenceSha256": "f29faa81a90ca61e58fc49886c47b58ec1ff812e17abf3c5ffd0a6f9c54a8417", "sourceScenarioCount": 25, "evaluatedScenarioCount": 24, "totalAudioSeconds": 86760, "durationSeconds": { "minimum": 2220, "maximum": 5100 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 2 } ], "conversions": [], "exclusions": [ { "scenarioId": "anamnese-009", "reason": "Aufnahme vorzeitig abgebrochen, Gespräch unvollständig." } ] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 24, "resamples": 2000, "seed": 4114781480, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "507123a351cd2e8740278c579658de54ed5f0b6c9b5e1c6d7d6e788ac20cc2a3" } }, { "id": "tldv/meeting-scribes", "provider": "tldv", "providerName": "tl;dv", "test": "meeting-scribes", "label": "Meeting-Scribes", "category": "meeting-scribes", "url": "https://scribeindex.com/anbieter/tldv/test/#meeting-scribes", "rankingUrl": "https://scribeindex.com/vergleich/meeting-scribes/", "testPeriod": "2026-Q3", "protocol": "1.0", "corpus": "de-meeting-v1", "scenarios": 38, "runs": 2, "completed": 76, "total": 76, "completionRatePercent": 100, "evaluation": { "output": "meeting-summary", "semanticRubric": "meeting-facts-v1", "wordErrorRate": { "applicability": "not-applicable", "basis": "unavailable", "explanation": "Bewertet werden das gelieferte Protokoll und die Sprecherzuordnung im exportierten Transkript. Die Transkript-WER gilt nur für dieses Transkript und zählt nicht zum ScribeIndex-Score." } }, "score": { "version": "2.2", "value": 55.2747, "ci95": [ 49.9, 60.3 ], "ci95Method": "paired-cluster-bootstrap", "pairedDifferences": [ { "provider": "jamie", "ci95": [ -9.94, 0.33 ] }, { "provider": "otter", "ci95": [ -5.07, 3.43 ] }, { "provider": "fireflies", "ci95": [ -11.37, -1.32 ] }, { "provider": "fathom", "ci95": [ -18.15, -10.17 ] }, { "provider": "granola", "ci95": [ -6.51, 1.98 ] }, { "provider": "happy-scribe", "ci95": [ -7.89, 0.96 ] }, { "provider": "notta", "ci95": [ 2.87, 13.97 ] }, { "provider": "read-ai", "ci95": [ -8.37, 1.71 ] }, { "provider": "meetgeek", "ci95": [ -9.65, -1.06 ] }, { "provider": "bluedot", "ci95": [ -0.26, 9.38 ] }, { "provider": "sembly", "ci95": [ 2.26, 11.19 ] }, { "provider": "plaud", "ci95": [ -5.19, 4.94 ] }, { "provider": "sally", "ci95": [ -4.47, 6.28 ] } ], "rank": 10, "cohortSize": 14, "criticalRatePercent": null, "contentQuality": 85.483, "references": { "key": "meeting-scribes", "qualityErrorPoints": 30, "correctionMinutes": 35, "criticalPercent": null }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 51.609, "weight": 0.75, "contribution": 38.707 }, { "key": "effort", "label": "Korrekturaufwand", "value": 57.84, "weight": 0.2, "contribution": 11.568 }, { "key": "reliability", "label": "Abschlussquote", "value": 100, "weight": 0.05, "contribution": 5 } ] }, "mainMetric": { "label": "Fakten-F1", "abbreviation": "F1", "value": 84.969, "direction": "higher", "ci95": [ 82.89, 87 ] }, "transcription": null, "facts": { "truePositive": 2377, "falsePositive": 334, "falseNegative": 507, "referenceFacts": 2884, "outputFacts": 2711, "precisionPercent": 87.68, "precisionCi95": [ 85.5, 90.09 ], "recallPercent": 82.42, "recallCi95": [ 79.85, 84.83 ], "f1Percent": 84.969, "f1Ci95": [ 82.89, 87 ] }, "latency": { "p50Seconds": 84.3, "p95Seconds": 249.1, "mode": "live-conversation", "start": "Ende der Gesprächserfassung", "end": "Vollständiges Protokoll verfügbar" }, "correction": { "minutesPerAudioHour": 14.756, "ci95": [ 13.05, 16.62 ], "estimate": { "outputs": 76, "audioSeconds": 182520, "minutes": 748.13, "ci": [ 13.05, 16.62 ], "audioHours": 50.7 } }, "additionalMetrics": [ { "key": "transcript-wer", "label": "Transkript-WER", "numerator": 47594, "denominator": 389306, "valuePercent": 12.225, "direction": "lower", "definition": "Wortersetzungen, Auslassungen und Einfügungen im exportierten Transkript pro Referenzwort nach Normalisierungsprofil de-allg-wer. Bewertet das Transkript, nicht die Zusammenfassung.", "ci95": [ 10.78, 13.76 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "der", "label": "Diarisierungsfehlerrate · DER", "numerator": 2222965, "denominator": 16691388, "valuePercent": 13.318, "direction": "lower", "definition": "Verpasste Sprache, fälschlich erkannte Sprache und falsch zugeordnete Sprecherzeit pro Referenzsprechzeit. Toleranz 250 ms um Referenzgrenzen, überlappende Sprache eingeschlossen. Liefert ein Dienst Sprecherkennungen ohne eigene Zeitmarken, bestimmt ScribeIndex die Zeitmarken durch erzwungene Ausrichtung (Forced Alignment) des gelieferten Texts an der Aufnahme. Die DER berechnet ScribeIndex daraus wie bei allen anderen Diensten, mit verpasster und fälschlich erkannter Sprache und Fehlern an Segmentgrenzen.", "ci95": [ 11.73, 15.16 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "der-strict", "label": "DER ohne Toleranz", "numerator": 2726930, "denominator": 16691388, "valuePercent": 16.337, "direction": "lower", "definition": "Diarisierungsfehlerrate wie DER, jedoch ohne Toleranzbereich um Referenzgrenzen. Die Differenz zur DER zeigt den Anteil der Fehler an Segmentgrenzen.", "ci95": [ 14.42, 18.53 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "unsupported-statements", "label": "Falsche oder unbelegte Aussagen", "numerator": 107, "denominator": 2711, "valuePercent": 3.947, "direction": "lower", "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.", "ci95": [ 2.97, 5.22 ], "ci95Method": "wilson-design-effect", "designEffect": 2.2852 }, { "key": "decision-recall", "label": "Erfasste Beschlüsse", "numerator": 224, "denominator": 302, "valuePercent": 74.172, "direction": "higher", "definition": "Korrekt als Beschluss wiedergegebene Referenzbeschlüsse mit Geltungsbereich und Status pro Referenzbeschluss. Als Beschluss ausgegebene Vorschläge zählen nicht als Treffer.", "ci95": [ 67.46, 79.91 ], "ci95Method": "wilson-design-effect", "designEffect": 1.6119 }, { "key": "action-item-recall", "label": "Erkannte Aufgaben", "numerator": 403, "denominator": 456, "valuePercent": 88.377, "direction": "higher", "definition": "Referenzaufgaben, die im Protokoll als Aufgabe erscheinen, pro Referenzaufgabe. Zuständigkeit und Frist werden getrennt bewertet.", "ci95": [ 84.38, 91.46 ], "ci95Method": "wilson-design-effect", "designEffect": 1.4339 }, { "key": "action-owner-accuracy", "label": "Korrekte Zuständigkeiten", "numerator": 261, "denominator": 332, "valuePercent": 78.614, "direction": "higher", "definition": "Korrekt wiedergegebene verantwortliche Personen pro Referenzaufgabe mit ausdrücklich genannter Zuständigkeit. Nicht erkannte Aufgaben zählen als Fehler.", "ci95": [ 72.87, 83.42 ], "ci95Method": "wilson-design-effect", "designEffect": 1.4415 }, { "key": "action-deadline-accuracy", "label": "Korrekte Fristen", "numerator": 187, "denominator": 234, "valuePercent": 79.915, "direction": "higher", "definition": "Korrekt wiedergegebene Fristen pro Referenzaufgabe mit ausdrücklich genannter Frist. Nicht erkannte Aufgaben zählen als Fehler.", "ci95": [ 72.93, 85.46 ], "ci95Method": "wilson-design-effect", "designEffect": 1.5037 }, { "key": "action-tuple-accuracy", "label": "Vollständig korrekte Aufgaben", "numerator": 319, "denominator": 456, "valuePercent": 69.956, "direction": "higher", "definition": "Aufgaben, deren Tätigkeit, Zuständigkeit und Frist vollständig korrekt wiedergegeben werden, pro Referenzaufgabe. Nicht genannte Zuständigkeiten oder Fristen müssen als nicht genannt erscheinen.", "ci95": [ 64.77, 74.68 ], "ci95Method": "wilson-design-effect", "designEffect": 1.3951 } ], "errorTypes": [ { "label": "Nicht erfasste Referenzfakten", "count": 507 }, { "label": "Falsche oder unbelegte Aussagen", "count": 107 }, { "label": "Zutreffende, aber nicht relevante Aussagen", "count": 227 } ], "failedRuns": [], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "Meeting-Bot und Web-App, Stand 3. Quartal 2026", "modelVersions": null, "template": { "id": "si-meeting-protokoll", "version": "1.0" }, "instruction": { "id": "si-instr-meeting", "version": "1.0" }, "customVocabulary": null, "settings": { "capture": "Meeting-Bot", "transcriptLanguage": "de-DE", "transcriptionModel": "Standardmodell des Tarifs" }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": { "id": "de-allg-wer", "version": "1.0" } }, "corpusMetadata": { "version": "1.0", "manifestSha256": "1a25115bb8a34e284f1d01d3860260a21cb8f5847004facb1596738bbac7ddab", "referenceVersion": "1.0", "referenceSha256": "eab8be0ab42fa45d7c98cb94b1a700dfc141ed5d7e96d67f4d9349c7d3a84d70", "sourceScenarioCount": 40, "evaluatedScenarioCount": 38, "totalAudioSeconds": 91260, "durationSeconds": { "minimum": 780, "maximum": 5220 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 2 }, { "codec": "Opus (WebM)", "sampleRateHertz": 48000, "channels": 1 } ], "conversions": [ { "description": "Einspielung über virtuelle Konferenzteilnehmende aus den getrennten ursprünglichen Sprecheraufnahmen. Hybride Raumsprecher bleiben gemeinsam auf einer unveränderten Raumspur. Aus der Korpusmischung werden keine Sprecher mit Hilfe der Referenz separiert.", "tool": "scribeindex-meeting-replay", "version": "1.0" } ], "exclusions": [ { "scenarioId": "meeting-012", "reason": "Sprecherreferenz wegen Übersprechen zweier Raummikrofone nicht belastbar." }, { "scenarioId": "meeting-029", "reason": "Teilnehmende widerriefen die Nutzung der Aufnahme." } ] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 38, "resamples": 2000, "seed": 4134088586, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "3ee50ed01707c6c0c1902b3d172d67b6fe4b33360c81d07433d846f0fcbe3781" } }, { "id": "trint/audio-transkription", "provider": "trint", "providerName": "Trint", "test": "audio-transkription", "label": "Audiotranskription", "category": "audio-transkription", "url": "https://scribeindex.com/anbieter/trint/test/#audio-transkription", "rankingUrl": "https://scribeindex.com/vergleich/audio-transkription/", "testPeriod": "2026-Q2", "protocol": "1.0", "corpus": "de-audio-v1", "scenarios": 44, "runs": 3, "completed": 132, "total": 132, "completionRatePercent": 100, "evaluation": { "output": "verbatim-transcript", "semanticRubric": null, "wordErrorRate": { "applicability": "word-aligned", "basis": "delivered-output", "explanation": "WER wird aus der gelieferten wortnahen Transkriptausgabe gegen die normalisierte Referenz berechnet." } }, "score": { "version": "2.2", "value": 59.5132, "ci95": [ 55.8, 62.9 ], "ci95Method": "paired-cluster-bootstrap", "pairedDifferences": [ { "provider": "amberscript", "ci95": [ -7.55, -2.35 ] }, { "provider": "happy-scribe", "ci95": [ -9.2, -3.96 ] }, { "provider": "turboscribe", "ci95": [ -5.52, 1.84 ] }, { "provider": "f4", "ci95": [ -2.11, 4.55 ] }, { "provider": "sonix", "ci95": [ -5.28, 2.26 ] }, { "provider": "notta", "ci95": [ 0.57, 7.38 ] }, { "provider": "noscribe", "ci95": [ -5.3, 0.76 ] }, { "provider": "maxqda-transcription", "ci95": [ -18.94, -13.59 ] } ], "rank": 7, "cohortSize": 9, "criticalRatePercent": null, "contentQuality": 87.905, "references": { "key": "audio-transkription", "qualityErrorPoints": 30, "correctionMinutes": 220, "criticalPercent": null }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 59.683, "weight": 0.75, "contribution": 44.762 }, { "key": "effort", "label": "Korrekturaufwand", "value": 48.756, "weight": 0.2, "contribution": 9.751 }, { "key": "reliability", "label": "Abschlussquote", "value": 100, "weight": 0.05, "contribution": 5 } ] }, "mainMetric": { "label": "Wortfehlerrate", "abbreviation": "WER", "value": 10.765, "direction": "lower", "ci95": [ 9.83, 11.79 ] }, "transcription": { "referenceWords": 563238, "substitutions": 34518, "deletions": 16431, "insertions": 9681, "errors": 60630, "werPercent": 10.765, "ci95": [ 9.83, 11.79 ], "comparable": true }, "facts": null, "latency": { "p50Seconds": 291.8, "p95Seconds": 927.7, "mode": "file-upload", "start": "Uploadstart", "end": "Vollständiger Export verfügbar" }, "correction": { "minutesPerAudioHour": 112.7373, "ci95": [ 103.13, 122.91 ], "estimate": { "outputs": 132, "audioSeconds": 238560, "minutes": 7470.76, "ci": [ 103.13, 122.91 ], "audioHours": 66.267 } }, "additionalMetrics": [ { "key": "cer", "label": "Zeichenfehlerrate · CER", "numerator": 149005, "denominator": 3608808, "valuePercent": 4.129, "direction": "lower", "definition": "Zeichenabweichungen pro Referenzzeichen nach NFC-Normalisierung, einheitlicher Groß- und Kleinschreibung, entfernten Satzzeichen und zu einem Leerzeichen zusammengefasstem Leerraum. Leerzeichen zählen als Zeichen.", "ci95": [ 3.77, 4.53 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "der", "label": "Diarisierungsfehlerrate · DER", "numerator": 3404759, "denominator": 22399644, "valuePercent": 15.2, "direction": "lower", "definition": "Verpasste Sprache, fälschlich erkannte Sprache und falsch zugeordnete Sprecherzeit pro Referenzsprechzeit. Toleranz 250 ms um Referenzgrenzen, überlappende Sprache eingeschlossen. Liefert ein Dienst Sprecherkennungen ohne eigene Zeitmarken, bestimmt ScribeIndex die Zeitmarken durch erzwungene Ausrichtung (Forced Alignment) des gelieferten Texts an der Aufnahme. Die DER berechnet ScribeIndex daraus wie bei allen anderen Diensten, mit verpasster und fälschlich erkannter Sprache und Fehlern an Segmentgrenzen.", "ci95": [ 13.87, 16.67 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "der-strict", "label": "DER ohne Toleranz", "numerator": 4366237, "denominator": 22399644, "valuePercent": 19.492, "direction": "lower", "definition": "Diarisierungsfehlerrate wie DER, jedoch ohne Toleranzbereich um Referenzgrenzen. Die Differenz zur DER zeigt den Anteil der Fehler an Segmentgrenzen.", "ci95": [ 17.82, 21.42 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null } ], "errorTypes": [ { "label": "Ersetzungen", "count": 34518 }, { "label": "Auslassungen", "count": 16431 }, { "label": "Einfügungen", "count": 9681 } ], "failedRuns": [], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "Web-App, Stand 2. Quartal 2026", "modelVersions": null, "template": null, "instruction": { "id": "si-instr-audio-wortgetreu", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Dateiupload im Browser", "language": "Deutsch", "speakerRecognition": true, "customVocabularyEntries": 0, "aiSummary": false }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": { "id": "de-allg-wer", "version": "1.0" } }, "corpusMetadata": { "version": "1.0", "manifestSha256": "3bfaff5fa8338156ad4c6bef800ed2cec7c625802242a9f638e07991384aeffc", "referenceVersion": "1.0", "referenceSha256": "903e4e0cc118b16f9d63c460d4f5845b497a1f1d276c2c82b9a2294b542018b4", "sourceScenarioCount": 46, "evaluatedScenarioCount": 44, "totalAudioSeconds": 79500, "durationSeconds": { "minimum": 360, "maximum": 5280 }, "audioFormats": [ { "codec": "FLAC", "sampleRateHertz": 48000, "channels": 1 }, { "codec": "AAC-LC (M4A)", "sampleRateHertz": 44100, "channels": 1 }, { "codec": "Opus (WebM)", "sampleRateHertz": 48000, "channels": 1 }, { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 2 }, { "codec": "G.711 A-law (WAV)", "sampleRateHertz": 8000, "channels": 1 } ], "conversions": [ { "description": "FLAC, Opus-WebM und G.711 A-law werden mit FFmpeg zu PCM-WAV mit 24 Bit bei 48 kHz dekodiert. Die ursprüngliche Kanalzahl und der Sprachinhalt bleiben erhalten.", "tool": "FFmpeg", "version": "7.1.1" } ], "exclusions": [ { "scenarioId": "audio-038", "reason": "Eine mitwirkende Person widerrief die Einwilligung zur Nutzung der Aufnahme." }, { "scenarioId": "audio-041", "reason": "Referenz enthielt mehr als 5 % unverständliche Passagen." } ] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 44, "resamples": 2000, "seed": 1146018123, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "f8a6a79fd7ce74ec952adb5978dd20f46986d1fd5dc8a1502862be03c2f8e886" } }, { "id": "turboscribe/audio-transkription", "provider": "turboscribe", "providerName": "TurboScribe", "test": "audio-transkription", "label": "Audiotranskription", "category": "audio-transkription", "url": "https://scribeindex.com/anbieter/turboscribe/test/#audio-transkription", "rankingUrl": "https://scribeindex.com/vergleich/audio-transkription/", "testPeriod": "2026-Q3", "protocol": "1.0", "corpus": "de-audio-v1", "scenarios": 44, "runs": 3, "completed": 132, "total": 132, "completionRatePercent": 100, "evaluation": { "output": "verbatim-transcript", "semanticRubric": null, "wordErrorRate": { "applicability": "word-aligned", "basis": "delivered-output", "explanation": "WER wird aus der gelieferten wortnahen Transkriptausgabe gegen die normalisierte Referenz berechnet." } }, "score": { "version": "2.2", "value": 61.3646, "ci95": [ 57.6, 64.8 ], "ci95Method": "paired-cluster-bootstrap", "pairedDifferences": [ { "provider": "amberscript", "ci95": [ -5.24, -0.69 ] }, { "provider": "happy-scribe", "ci95": [ -7.77, -1.65 ] }, { "provider": "f4", "ci95": [ 0.01, 5.92 ] }, { "provider": "sonix", "ci95": [ -2.83, 3.27 ] }, { "provider": "notta", "ci95": [ 2.15, 9.45 ] }, { "provider": "noscribe", "ci95": [ -3.83, 2.85 ] }, { "provider": "maxqda-transcription", "ci95": [ -17.01, -11.71 ] }, { "provider": "trint", "ci95": [ -1.84, 5.52 ] } ], "rank": 5, "cohortSize": 9, "criticalRatePercent": null, "contentQuality": 88.307, "references": { "key": "audio-transkription", "qualityErrorPoints": 30, "correctionMinutes": 220, "criticalPercent": null }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 61.023, "weight": 0.75, "contribution": 45.767 }, { "key": "effort", "label": "Korrekturaufwand", "value": 52.986, "weight": 0.2, "contribution": 10.597 }, { "key": "reliability", "label": "Abschlussquote", "value": 100, "weight": 0.05, "contribution": 5 } ] }, "mainMetric": { "label": "Wortfehlerrate", "abbreviation": "WER", "value": 9.247, "direction": "lower", "ci95": [ 8.41, 10.17 ] }, "transcription": { "referenceWords": 563238, "substitutions": 27397, "deletions": 12330, "insertions": 12358, "errors": 52085, "werPercent": 9.247, "ci95": [ 8.41, 10.17 ], "comparable": true }, "facts": null, "latency": { "p50Seconds": 360.9, "p95Seconds": 1203.4, "mode": "file-upload", "start": "Uploadstart", "end": "Vollständiger Export verfügbar" }, "correction": { "minutesPerAudioHour": 103.4298, "ci95": [ 95.03, 112.76 ], "estimate": { "outputs": 132, "audioSeconds": 238560, "minutes": 6853.98, "ci": [ 95.03, 112.76 ], "audioHours": 66.267 } }, "additionalMetrics": [ { "key": "cer", "label": "Zeichenfehlerrate · CER", "numerator": 134908, "denominator": 3608808, "valuePercent": 3.738, "direction": "lower", "definition": "Zeichenabweichungen pro Referenzzeichen nach NFC-Normalisierung, einheitlicher Groß- und Kleinschreibung, entfernten Satzzeichen und zu einem Leerzeichen zusammengefasstem Leerraum. Leerzeichen zählen als Zeichen.", "ci95": [ 3.4, 4.11 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "der", "label": "Diarisierungsfehlerrate · DER", "numerator": 3897452, "denominator": 22399644, "valuePercent": 17.4, "direction": "lower", "definition": "Verpasste Sprache, fälschlich erkannte Sprache und falsch zugeordnete Sprecherzeit pro Referenzsprechzeit. Toleranz 250 ms um Referenzgrenzen, überlappende Sprache eingeschlossen. Liefert ein Dienst Sprecherkennungen ohne eigene Zeitmarken, bestimmt ScribeIndex die Zeitmarken durch erzwungene Ausrichtung (Forced Alignment) des gelieferten Texts an der Aufnahme. Die DER berechnet ScribeIndex daraus wie bei allen anderen Diensten, mit verpasster und fälschlich erkannter Sprache und Fehlern an Segmentgrenzen.", "ci95": [ 15.78, 19.15 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "der-strict", "label": "DER ohne Toleranz", "numerator": 5082996, "denominator": 22399644, "valuePercent": 22.692, "direction": "lower", "definition": "Diarisierungsfehlerrate wie DER, jedoch ohne Toleranzbereich um Referenzgrenzen. Die Differenz zur DER zeigt den Anteil der Fehler an Segmentgrenzen.", "ci95": [ 20.49, 25.17 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null } ], "errorTypes": [ { "label": "Ersetzungen", "count": 27397 }, { "label": "Auslassungen", "count": 12330 }, { "label": "Einfügungen", "count": 12358 } ], "failedRuns": [], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "Web-App, Stand 3. Quartal 2026", "modelVersions": null, "template": null, "instruction": { "id": "si-instr-audio-wortgetreu", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Manueller Dateiupload über die Weboberfläche, weil TurboScribe automatisierten Zugriff ausschließt", "language": "Deutsch", "transcriptionMode": "Whale", "speakerRecognition": true, "speakerCount": "Automatisch", "restoreAudio": false, "translateToEnglish": false }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": { "id": "de-allg-wer", "version": "1.0" } }, "corpusMetadata": { "version": "1.0", "manifestSha256": "3bfaff5fa8338156ad4c6bef800ed2cec7c625802242a9f638e07991384aeffc", "referenceVersion": "1.0", "referenceSha256": "903e4e0cc118b16f9d63c460d4f5845b497a1f1d276c2c82b9a2294b542018b4", "sourceScenarioCount": 46, "evaluatedScenarioCount": 44, "totalAudioSeconds": 79500, "durationSeconds": { "minimum": 360, "maximum": 5280 }, "audioFormats": [ { "codec": "FLAC", "sampleRateHertz": 48000, "channels": 1 }, { "codec": "AAC-LC (M4A)", "sampleRateHertz": 44100, "channels": 1 }, { "codec": "Opus (WebM)", "sampleRateHertz": 48000, "channels": 1 }, { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 2 }, { "codec": "G.711 A-law (WAV)", "sampleRateHertz": 8000, "channels": 1 } ], "conversions": [], "exclusions": [ { "scenarioId": "audio-038", "reason": "Eine mitwirkende Person widerrief die Einwilligung zur Nutzung der Aufnahme." }, { "scenarioId": "audio-041", "reason": "Referenz enthielt mehr als 5 % unverständliche Passagen." } ] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 44, "resamples": 2000, "seed": 1146018123, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "f8a6a79fd7ce74ec952adb5978dd20f46986d1fd5dc8a1502862be03c2f8e886" } }, { "id": "upheal/medical-scribes:therapy-notes", "provider": "upheal", "providerName": "Upheal", "test": "medical-scribes:therapy-notes", "label": "Psychotherapeutische Sitzungsdokumentation", "category": "medical-scribes", "task": "therapy-notes", "url": "https://scribeindex.com/anbieter/upheal/test/#psychotherapie", "rankingUrl": "https://scribeindex.com/vergleich/medical-scribes/psychotherapie/", "testPeriod": "2026-Q3", "protocol": "1.0", "corpus": "de-therapie-v1", "scenarios": 36, "runs": 3, "completed": 106, "total": 108, "completionRatePercent": 98.148, "evaluation": { "output": "therapy-note", "semanticRubric": "clinical-facts-v1", "wordErrorRate": { "applicability": "not-applicable", "basis": "unavailable", "explanation": "Die gelieferte Ausgabe ist eine therapeutische Sitzungsnotiz. Bewertet werden dokumentationsrelevante Fakten und ihre Zuordnung, nicht die Wortfolge des Gesprächs." } }, "score": { "version": "2.2", "value": 55.4544, "ci95": [ 45.6, 61.2 ], "ci95Method": "paired-cluster-bootstrap-beta-critical", "pairedDifferences": [ { "provider": "healthjet", "ci95": [ -19.29, 2.08 ] }, { "provider": "playnvoice", "ci95": [ -25.72, -8.37 ] }, { "provider": "heidi", "ci95": [ -14.74, 6.11 ] }, { "provider": "tandem-health", "ci95": [ -19.73, 0 ] }, { "provider": "via-health", "ci95": [ -32.54, -13.75 ] }, { "provider": "dokudachs", "ci95": [ -30.93, -11.03 ] }, { "provider": "iptas", "ci95": [ -28.72, -11.68 ] }, { "provider": "clara-health", "ci95": [ -25.29, -6.64 ] }, { "provider": "lumanote", "ci95": [ -28.26, -7.32 ] }, { "provider": "noa-notes", "ci95": [ -15.27, 3.24 ] }, { "provider": "psynex", "ci95": [ -30.77, -14.32 ] } ], "rank": 12, "cohortSize": 12, "criticalRatePercent": 4.717, "contentQuality": 84.706, "references": { "key": "therapy-notes", "qualityErrorPoints": 30, "correctionMinutes": 20, "criticalPercent": 20 }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 49.021, "weight": 0.6, "contribution": 29.413 }, { "key": "critical", "label": "Schwerwiegende Fehler", "value": 76.415, "weight": 0.2, "contribution": 15.283 }, { "key": "effort", "label": "Korrekturaufwand", "value": 39.01, "weight": 0.15, "contribution": 5.851 }, { "key": "reliability", "label": "Abschlussquote", "value": 98.148, "weight": 0.05, "contribution": 4.907 } ] }, "mainMetric": { "label": "Fakten-F1", "abbreviation": "F1", "value": 84.706, "direction": "higher", "ci95": [ 82.76, 86.51 ] }, "transcription": null, "facts": { "truePositive": 2689, "falsePositive": 393, "falseNegative": 578, "referenceFacts": 3267, "outputFacts": 3082, "precisionPercent": 87.249, "precisionCi95": [ 85.36, 89.06 ], "recallPercent": 82.308, "recallCi95": [ 79.4, 85.11 ], "f1Percent": 84.706, "f1Ci95": [ 82.76, 86.51 ] }, "latency": { "p50Seconds": 79.2, "p95Seconds": 155.5, "mode": "live-conversation", "start": "Beenden der Aufnahme", "end": "Vollständiges Dokument verfügbar" }, "correction": { "minutesPerAudioHour": 12.198, "ci95": [ 10.65, 13.75 ], "estimate": { "outputs": 106, "audioSeconds": 304620, "minutes": 1032.1, "ci": [ 10.65, 13.75 ], "audioHours": 84.612 } }, "additionalMetrics": [ { "key": "critical-documents", "label": "Dokumente mit schwerwiegendem Fehler", "numerator": 5, "denominator": 106, "valuePercent": 4.717, "direction": "lower", "definition": "Ausgaben mit mindestens einem potenziell schwerwiegenden medizinischen Fehler pro abgeschlossener Ausgabe. Bewertet wird jeder Fall nach einer festgelegten Fehlerrubrik. Fehler bei Medikation oder Verneinung zählen hier nur, wenn die Rubrik die betroffene Angabe als potenziell schwerwiegend einstuft. Die Zähler je Fehlerart enthalten auch folgenlose Abweichungen.", "ci95": [ 1.49, 13.93 ], "ci95Method": "wilson-design-effect", "designEffect": 1.9506 }, { "key": "unsupported-statements", "label": "Falsche oder unbelegte Aussagen", "numerator": 161, "denominator": 3082, "valuePercent": 5.224, "direction": "lower", "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.", "ci95": [ 4.14, 6.58 ], "ci95Method": "wilson-design-effect", "designEffect": 2.3695 }, { "key": "medical-term-errors", "label": "Fehler bei Fachbegriffen", "numerator": 105, "denominator": 1163, "valuePercent": 9.028, "direction": "lower", "definition": "Fachlich falsch wiedergegebene oder ausgelassene medizinische Konzepte pro annotiertem Fachkonzept der Referenz. Synonyme gelten bei gleicher Bedeutung als korrekt.", "ci95": [ 6.77, 11.95 ], "ci95Method": "wilson-design-effect", "designEffect": 2.4437 }, { "key": "medication-errors", "label": "Fehler bei Medikamenten und Dosierungen", "numerator": 5, "denominator": 72, "valuePercent": 6.944, "direction": "lower", "definition": "Falsch wiedergegebene oder ausgelassene Angaben zu Wirkstoff, Dosis, Einheit und Einnahme pro annotierter Medikationsangabe. Jede Angabe zählt höchstens einmal.", "ci95": [ 2.09, 20.67 ], "ci95Method": "wilson-design-effect", "designEffect": 2.152 }, { "key": "negation-errors", "label": "Fehler bei Verneinungen", "numerator": 12, "denominator": 429, "valuePercent": 2.797, "direction": "lower", "definition": "Verlorene, hinzugefügte oder umgekehrte Negationen pro Referenzaussage mit verneintem oder ausdrücklich bestätigtem Befund. Eine Aussage zählt höchstens einmal.", "ci95": [ 1.14, 6.69 ], "ci95Method": "wilson-design-effect", "designEffect": 2.7043 }, { "key": "temporal-errors", "label": "Fehler bei zeitlichen Angaben", "numerator": 51, "denominator": 956, "valuePercent": 5.335, "direction": "lower", "definition": "Falsch zugeordnete oder ausgelassene Zeitpunkte, Dauern und zeitliche Beziehungen pro annotierter zeitlicher Referenzangabe.", "ci95": [ 3.5, 8.04 ], "ci95Method": "wilson-design-effect", "designEffect": 2.4515 }, { "key": "attribution-errors", "label": "Fehler bei der Zuordnung", "numerator": 110, "denominator": 1875, "valuePercent": 5.867, "direction": "lower", "definition": "Falsche oder ausgelassene Zuordnung von Aussagen zu Patient, behandelnder Person oder Drittperson pro Referenzfakt mit erforderlicher Quellenzuordnung.", "ci95": [ 4.34, 7.87 ], "ci95Method": "wilson-design-effect", "designEffect": 2.6999 }, { "key": "risk-assessment-errors", "label": "Fehler bei Risikohinweisen", "numerator": 13, "denominator": 167, "valuePercent": 7.784, "direction": "lower", "definition": "Ausgelassene, hinzugefügte oder falsch eingeordnete Aussagen zu Selbstgefährdung und Schutzfaktoren pro annotierter risikorelevanter Referenzaussage. Bewertet wird anhand des Gesprächs nach einer festgelegten Rubrik.", "ci95": [ 3.49, 16.46 ], "ci95Method": "wilson-design-effect", "designEffect": 2.3762 } ], "errorTypes": [ { "label": "Nicht erfasste Referenzfakten", "count": 578 }, { "label": "Falsche oder unbelegte Aussagen", "count": 161 }, { "label": "Zutreffende, aber nicht relevante Aussagen", "count": 232 } ], "failedRuns": [ { "scenarioId": "therapie-034", "run": 1, "reason": "Kein Dokument innerhalb des protokollierten Zeitlimits" }, { "scenarioId": "therapie-035", "run": 1, "reason": "Kein Dokument innerhalb des protokollierten Zeitlimits" } ], "configuration": { "locale": "de-DE", "automaticLanguageDetection": true, "productVersion": "Upheal Clinician-App für Android, Stand 3. Quartal 2026", "modelVersions": null, "template": { "id": "si-therapie-verlauf", "version": "1.0" }, "instruction": { "id": "si-instr-therapie", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Virtueller Mikrofoneingang einer emulierten Geräteumgebung", "device": "Emulierte Android-Geräteumgebung", "outputLanguage": "de-DE", "patientContext": "Ohne zusätzliche Vorbefunde" }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": null }, "corpusMetadata": { "version": "1.0", "manifestSha256": "62780a1c05eb9562aa4bdbee3b73aedcf448ce0e8e6ba5fd85d7e17baa3b4bd8", "referenceVersion": "1.0", "referenceSha256": "62c50ae99e53e02e016470714f0a6524d90a92407fe393d48adae95f19a8ee2a", "sourceScenarioCount": 36, "evaluatedScenarioCount": 36, "totalAudioSeconds": 103620, "durationSeconds": { "minimum": 2220, "maximum": 3540 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 1 } ], "conversions": [ { "description": "Einspielung der Gesprächsaufnahme in Echtzeit über den virtuellen Mikrofoneingang einer emulierten Geräteumgebung mit −20 dBFS RMS", "tool": "scribeindex-playback", "version": "1.0" } ], "exclusions": [] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 36, "resamples": 2000, "seed": 3733937332, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "0c35a46bc36056c43d2f55385441679c130a0d1ef5bcb7bd6cb2f19411cef23a" } }, { "id": "veed/untertitel:file-subtitles", "provider": "veed", "providerName": "VEED", "test": "untertitel:file-subtitles", "label": "Untertitel für Videodateien", "category": "untertitel", "task": "file-subtitles", "url": "https://scribeindex.com/anbieter/veed/test/#videodateien", "rankingUrl": "https://scribeindex.com/vergleich/untertitel/videodateien/", "testPeriod": "2026-Q2", "protocol": "1.0", "corpus": "de-untertitel-v1", "scenarios": 40, "runs": 3, "completed": 120, "total": 120, "completionRatePercent": 100, "evaluation": { "output": "subtitles", "semanticRubric": null, "wordErrorRate": { "applicability": "word-aligned", "basis": "delivered-output", "explanation": "WER wird aus dem zusammengeführten Text der exportierten SRT- oder WebVTT-Datei gegen die normalisierte Referenz berechnet. Zeitmarken und Segmentnummern zählen nicht." } }, "score": { "version": "2.2", "value": 43.8836, "ci95": [ 37.1, 49.8 ], "ci95Method": "paired-cluster-bootstrap", "pairedDifferences": [ { "provider": "ai-media", "ci95": [ -20.29, -11.58 ] }, { "provider": "clevercast", "ci95": [ -5.72, 2.92 ] }, { "provider": "happy-scribe", "ci95": [ -13.4, -4.95 ] }, { "provider": "amberscript", "ci95": [ -7.86, -2.31 ] }, { "provider": "sonix", "ci95": [ -8.27, 0.59 ] }, { "provider": "kapwing", "ci95": [ 1.58, 8.77 ] }, { "provider": "maestra", "ci95": [ -17.5, -6.76 ] } ], "rank": 7, "cohortSize": 8, "criticalRatePercent": null, "contentQuality": 81.585, "references": { "key": "file-subtitles", "qualityErrorPoints": 30, "correctionMinutes": 233, "criticalPercent": null }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 38.617, "weight": 0.75, "contribution": 28.963 }, { "key": "effort", "label": "Korrekturaufwand", "value": 49.604, "weight": 0.2, "contribution": 9.921 }, { "key": "reliability", "label": "Abschlussquote", "value": 100, "weight": 0.05, "contribution": 5 } ] }, "mainMetric": { "label": "Wortfehlerrate", "abbreviation": "WER", "value": 7.802, "direction": "lower", "ci95": [ 6.88, 8.83 ] }, "transcription": { "referenceWords": 287784, "substitutions": 11831, "deletions": 6627, "insertions": 3994, "errors": 22452, "werPercent": 7.802, "ci95": [ 6.88, 8.83 ], "comparable": true }, "facts": null, "latency": { "p50Seconds": 259.2, "p95Seconds": 728.1, "mode": "file-upload", "start": "Uploadstart", "end": "Vollständiger Export verfügbar" }, "correction": { "minutesPerAudioHour": 117.4226, "ci95": [ 104.76, 131.11 ], "estimate": { "outputs": 120, "audioSeconds": 145500, "minutes": 4746.22, "ci": [ 104.76, 131.11 ], "audioHours": 40.42 } }, "additionalMetrics": [ { "key": "cer", "label": "Zeichenfehlerrate · CER", "numerator": 59311, "denominator": 1860348, "valuePercent": 3.188, "direction": "lower", "definition": "Zeichenabweichungen pro Referenzzeichen nach NFC-Normalisierung, einheitlicher Groß- und Kleinschreibung, entfernten Satzzeichen und zu einem Leerzeichen zusammengefasstem Leerraum. Leerzeichen zählen als Zeichen.", "ci95": [ 2.83, 3.58 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "subtitle-timing-accuracy", "label": "Zeitlich passende Untertitel", "numerator": 21225, "denominator": 29448, "valuePercent": 72.076, "direction": "higher", "definition": "Vollständig abgedeckte Referenzsegmente, bei denen der früheste Beginn und das späteste Ende der zugeordneten Untertitel jeweils höchstens 200 ms von der Referenz abweichen. Fehlende Segmente zählen als nicht passend.", "ci95": [ 69.18, 74.8 ], "ci95Method": "wilson-design-effect", "designEffect": 29.9602 }, { "key": "subtitle-layout-accuracy", "label": "Lesbare Untertitel", "numerator": 20412, "denominator": 29448, "valuePercent": 69.315, "direction": "higher", "definition": "Vollständig abgedeckte Referenzsegmente mit höchstens 2 Zeilen, 42 Zeichen je Zeile und 17 Zeichen je Sekunde in allen zugeordneten Ausgabesegmenten.", "ci95": [ 66.91, 71.62 ], "ci95Method": "wilson-design-effect", "designEffect": 19.8956 } ], "scalarMetrics": [ { "key": "subtitle-timing-offset-ms", "label": "Mittlere Zeitabweichung", "value": 291.31, "unit": "ms", "direction": "lower", "definition": "Mittel der absoluten Abweichung der äußeren Start- und Endgrenzen von den zugeordneten Referenzsegmenten, gewichtet je Referenzsegment.", "statistic": "mean", "sampleSize": 29280, "ci": [ 278.25, 305.44 ] }, { "key": "subtitle-reading-speed-cps", "label": "Mittlere Lesegeschwindigkeit", "value": 14.54, "unit": "Zeichen/s", "direction": "none", "definition": "Sichtbare Zeichen einschließlich Leerzeichen innerhalb der Zeilen, geteilt durch die jeweilige Standzeit, je ausgegebenem Untertitel, gemittelt über alle ausgegebenen Untertitel.", "statistic": "mean", "sampleSize": 37537, "ci": [ 13.92, 15.16 ] }, { "key": "subtitle-line-length-cpl", "label": "Mittlere Zeilenlänge", "value": 29.21, "unit": "Zeichen/Zeile", "direction": "none", "definition": "Mittlere Zahl sichtbarer Unicode-Zeichen je ausgegebener Untertitelzeile.", "statistic": "mean", "sampleSize": 64362, "ci": [ 28.73, 29.71 ] } ], "errorTypes": [ { "label": "Ersetzungen", "count": 11831 }, { "label": "Auslassungen", "count": 6627 }, { "label": "Einfügungen", "count": 3994 } ], "failedRuns": [], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "Web-App, deutsche Videountertitel, Stand 2. Quartal 2026", "modelVersions": null, "template": null, "instruction": { "id": "si-instr-subtitles", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "MP4-Dateiupload", "language": "Deutsch", "translation": false, "export": "SRT", "subtitleStyle": "Standardstil des Editors", "manualCorrection": false }, "scorer": { "name": "scribeindex-subtitles", "version": "1.0" }, "normalization": { "id": "de-subtitle-wer", "version": "1.0" } }, "corpusMetadata": { "version": "1.0", "manifestSha256": "a35c5ee698d61b365b97c82257195aeb72edbd47eab9da548608335d37899941", "referenceVersion": "1.0", "referenceSha256": "6ec7f71b2989eb19791326360ba6649b7c8c020915a316303d8763a8f58b2d45", "sourceScenarioCount": 40, "evaluatedScenarioCount": 40, "totalAudioSeconds": 48480, "durationSeconds": { "minimum": 180, "maximum": 3540 }, "audioFormats": [ { "codec": "H.264 MP4, AAC-LC", "sampleRateHertz": 48000, "channels": 2 } ], "conversions": [], "exclusions": [] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 40, "resamples": 2000, "seed": 1605653364, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "22c41832e7f4054b58c4911e41b1b961649b0482f9f511ad72891e68023bafbc" } }, { "id": "via-health/medical-scribes:therapy-notes", "provider": "via-health", "providerName": "VIA HealthTech", "test": "medical-scribes:therapy-notes", "label": "Psychotherapeutische Sitzungsdokumentation", "category": "medical-scribes", "task": "therapy-notes", "url": "https://scribeindex.com/anbieter/via-health/test/#psychotherapie", "rankingUrl": "https://scribeindex.com/vergleich/medical-scribes/psychotherapie/", "testPeriod": "2026-Q2", "protocol": "1.0", "corpus": "de-therapie-v1", "scenarios": 36, "runs": 3, "completed": 108, "total": 108, "completionRatePercent": 100, "evaluation": { "output": "therapy-note", "semanticRubric": "clinical-facts-v1", "wordErrorRate": { "applicability": "not-applicable", "basis": "unavailable", "explanation": "Die gelieferte Ausgabe ist eine therapeutische Sitzungsnotiz. Bewertet werden dokumentationsrelevante Fakten und ihre Zuordnung, nicht die Wortfolge des Gesprächs." } }, "score": { "version": "2.2", "value": 78.1165, "ci95": [ 70.8, 81.7 ], "ci95Method": "paired-cluster-bootstrap-beta-critical", "pairedDifferences": [ { "provider": "healthjet", "ci95": [ 5.4, 23.65 ] }, { "provider": "playnvoice", "ci95": [ -0.61, 12.27 ] }, { "provider": "heidi", "ci95": [ 10.66, 27.26 ] }, { "provider": "tandem-health", "ci95": [ 4.43, 21.93 ] }, { "provider": "dokudachs", "ci95": [ -5.28, 9.67 ] }, { "provider": "iptas", "ci95": [ -3.84, 9.03 ] }, { "provider": "clara-health", "ci95": [ -0.19, 14.19 ] }, { "provider": "lumanote", "ci95": [ -2.91, 13.74 ] }, { "provider": "noa-notes", "ci95": [ 9.75, 24.28 ] }, { "provider": "psynex", "ci95": [ -6.38, 6.54 ] }, { "provider": "upheal", "ci95": [ 13.75, 32.54 ] } ], "rank": 1, "cohortSize": 12, "criticalRatePercent": 2.778, "contentQuality": 92.588, "references": { "key": "therapy-notes", "qualityErrorPoints": 30, "correctionMinutes": 20, "criticalPercent": 20 }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 75.293, "weight": 0.6, "contribution": 45.176 }, { "key": "critical", "label": "Schwerwiegende Fehler", "value": 86.111, "weight": 0.2, "contribution": 17.222 }, { "key": "effort", "label": "Korrekturaufwand", "value": 71.455, "weight": 0.15, "contribution": 10.718 }, { "key": "reliability", "label": "Abschlussquote", "value": 100, "weight": 0.05, "contribution": 5 } ] }, "mainMetric": { "label": "Fakten-F1", "abbreviation": "F1", "value": 92.588, "direction": "higher", "ci95": [ 91.62, 93.54 ] }, "transcription": null, "facts": { "truePositive": 2998, "falsePositive": 154, "falseNegative": 326, "referenceFacts": 3324, "outputFacts": 3152, "precisionPercent": 95.114, "precisionCi95": [ 93.87, 96.3 ], "recallPercent": 90.193, "recallCi95": [ 88.68, 91.67 ], "f1Percent": 92.588, "f1Ci95": [ 91.62, 93.54 ] }, "latency": { "p50Seconds": 572.1, "p95Seconds": 918.2, "mode": "file-upload", "start": "Uploadstart", "end": "Vollständiges Dokument verfügbar" }, "correction": { "minutesPerAudioHour": 5.709, "ci95": [ 4.96, 6.45 ], "estimate": { "outputs": 108, "audioSeconds": 310800, "minutes": 492.86, "ci": [ 4.96, 6.45 ], "audioHours": 86.331 } }, "additionalMetrics": [ { "key": "critical-documents", "label": "Dokumente mit schwerwiegendem Fehler", "numerator": 3, "denominator": 108, "valuePercent": 2.778, "direction": "lower", "definition": "Ausgaben mit mindestens einem potenziell schwerwiegenden medizinischen Fehler pro abgeschlossener Ausgabe. Bewertet wird jeder Fall nach einer festgelegten Fehlerrubrik. Fehler bei Medikation oder Verneinung zählen hier nur, wenn die Rubrik die betroffene Angabe als potenziell schwerwiegend einstuft. Die Zähler je Fehlerart enthalten auch folgenlose Abweichungen.", "ci95": [ 0.64, 11.12 ], "ci95Method": "wilson-design-effect", "designEffect": 1.9778 }, { "key": "unsupported-statements", "label": "Falsche oder unbelegte Aussagen", "numerator": 60, "denominator": 3152, "valuePercent": 1.904, "direction": "lower", "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.", "ci95": [ 1.29, 2.8 ], "ci95Method": "wilson-design-effect", "designEffect": 2.4009 }, { "key": "medical-term-errors", "label": "Fehler bei Fachbegriffen", "numerator": 33, "denominator": 1185, "valuePercent": 2.785, "direction": "lower", "definition": "Fachlich falsch wiedergegebene oder ausgelassene medizinische Konzepte pro annotiertem Fachkonzept der Referenz. Synonyme gelten bei gleicher Bedeutung als korrekt.", "ci95": [ 1.64, 4.68 ], "ci95Method": "wilson-design-effect", "designEffect": 2.4719 }, { "key": "medication-errors", "label": "Fehler bei Medikamenten und Dosierungen", "numerator": 2, "denominator": 75, "valuePercent": 2.667, "direction": "lower", "definition": "Falsch wiedergegebene oder ausgelassene Angaben zu Wirkstoff, Dosis, Einheit und Einnahme pro annotierter Medikationsangabe. Jede Angabe zählt höchstens einmal.", "ci95": [ 0.43, 14.56 ], "ci95Method": "wilson-design-effect", "designEffect": 2.2198 }, { "key": "negation-errors", "label": "Fehler bei Verneinungen", "numerator": 11, "denominator": 435, "valuePercent": 2.529, "direction": "lower", "definition": "Verlorene, hinzugefügte oder umgekehrte Negationen pro Referenzaussage mit verneintem oder ausdrücklich bestätigtem Befund. Eine Aussage zählt höchstens einmal.", "ci95": [ 0.99, 6.31 ], "ci95Method": "wilson-design-effect", "designEffect": 2.7303 }, { "key": "temporal-errors", "label": "Fehler bei zeitlichen Angaben", "numerator": 37, "denominator": 969, "valuePercent": 3.818, "direction": "lower", "definition": "Falsch zugeordnete oder ausgelassene Zeitpunkte, Dauern und zeitliche Beziehungen pro annotierter zeitlicher Referenzangabe.", "ci95": [ 2.32, 6.21 ], "ci95Method": "wilson-design-effect", "designEffect": 2.472 }, { "key": "attribution-errors", "label": "Fehler bei der Zuordnung", "numerator": 40, "denominator": 1908, "valuePercent": 2.096, "direction": "lower", "definition": "Falsche oder ausgelassene Zuordnung von Aussagen zu Patient, behandelnder Person oder Drittperson pro Referenzfakt mit erforderlicher Quellenzuordnung.", "ci95": [ 1.26, 3.45 ], "ci95Method": "wilson-design-effect", "designEffect": 2.7304 }, { "key": "risk-assessment-errors", "label": "Fehler bei Risikohinweisen", "numerator": 1, "denominator": 171, "valuePercent": 0.585, "direction": "lower", "definition": "Ausgelassene, hinzugefügte oder falsch eingeordnete Aussagen zu Selbstgefährdung und Schutzfaktoren pro annotierter risikorelevanter Referenzaussage. Bewertet wird anhand des Gesprächs nach einer festgelegten Rubrik.", "ci95": [ 0.05, 6.2 ], "ci95Method": "wilson-design-effect", "designEffect": 2.4129 } ], "errorTypes": [ { "label": "Nicht erfasste Referenzfakten", "count": 326 }, { "label": "Falsche oder unbelegte Aussagen", "count": 60 }, { "label": "Zutreffende, aber nicht relevante Aussagen", "count": 94 } ], "failedRuns": [], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "VIA HealthTech Therapieoberfläche mit Audio-Upload, Stand 2. Quartal 2026", "modelVersions": null, "template": { "id": "si-therapie-verlauf", "version": "1.0" }, "instruction": { "id": "si-instr-therapie", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Dateiupload der Korpusdatei im Browser", "outputLanguage": "de-DE", "specialty": "Psychotherapie" }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": null }, "corpusMetadata": { "version": "1.0", "manifestSha256": "62780a1c05eb9562aa4bdbee3b73aedcf448ce0e8e6ba5fd85d7e17baa3b4bd8", "referenceVersion": "1.0", "referenceSha256": "62c50ae99e53e02e016470714f0a6524d90a92407fe393d48adae95f19a8ee2a", "sourceScenarioCount": 36, "evaluatedScenarioCount": 36, "totalAudioSeconds": 103620, "durationSeconds": { "minimum": 2220, "maximum": 3540 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 1 } ], "conversions": [], "exclusions": [] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 36, "resamples": 2000, "seed": 3733937332, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "0c35a46bc36056c43d2f55385441679c130a0d1ef5bcb7bd6cb2f19411cef23a" } }, { "id": "wispr-flow/diktiersoftware:general-dictation", "provider": "wispr-flow", "providerName": "Wispr Flow", "test": "diktiersoftware:general-dictation", "label": "Allgemeine Diktate", "category": "diktiersoftware", "task": "general-dictation", "url": "https://scribeindex.com/anbieter/wispr-flow/test/#allgemein", "rankingUrl": "https://scribeindex.com/vergleich/diktiersoftware/allgemein/", "testPeriod": "2026-Q3", "protocol": "1.0", "corpus": "de-buero-diktat-v1", "scenarios": 40, "runs": 3, "completed": 120, "total": 120, "completionRatePercent": 100, "evaluation": { "output": "verbatim-transcript", "semanticRubric": null, "wordErrorRate": { "applicability": "word-aligned", "basis": "delivered-output", "explanation": "WER wird aus der gelieferten wortnahen Transkriptausgabe gegen die normalisierte Referenz berechnet." } }, "score": { "version": "2.2", "value": 84.1508, "ci95": [ 81.7, 86.3 ], "ci95Method": "paired-cluster-bootstrap", "pairedDifferences": [ { "provider": "audiopen", "ci95": [ 10.67, 17.45 ] }, { "provider": "superwhisper", "ci95": [ 20.89, 26.26 ] }, { "provider": "dragon-legal", "ci95": [ 1.38, 6.14 ] }, { "provider": "letterly", "ci95": [ 9.37, 14.54 ] }, { "provider": "dictnow", "ci95": [ 5.7, 11.9 ] } ], "rank": 1, "cohortSize": 6, "criticalRatePercent": null, "contentQuality": 94.998, "references": { "key": "general-dictation", "qualityErrorPoints": 30, "correctionMinutes": 164, "criticalPercent": null }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 83.325, "weight": 0.75, "contribution": 62.494 }, { "key": "effort", "label": "Korrekturaufwand", "value": 83.284, "weight": 0.2, "contribution": 16.657 }, { "key": "reliability", "label": "Abschlussquote", "value": 100, "weight": 0.05, "contribution": 5 } ] }, "mainMetric": { "label": "Wortfehlerrate", "abbreviation": "WER", "value": 3.824, "direction": "lower", "ci95": [ 3.41, 4.25 ] }, "transcription": { "referenceWords": 53508, "substitutions": 1072, "deletions": 520, "insertions": 454, "errors": 2046, "werPercent": 3.824, "ci95": [ 3.41, 4.25 ], "comparable": true }, "facts": null, "latency": { "p50Seconds": 1.8, "p95Seconds": 4.6, "mode": "live-dictation", "start": "Ende des letzten zugespielten Wortes", "end": "Stabile nutzbare Textausgabe" }, "correction": { "minutesPerAudioHour": 27.4135, "ci95": [ 24.79, 30.17 ], "estimate": { "outputs": 120, "audioSeconds": 25080, "minutes": 190.99, "ci": [ 24.79, 30.17 ], "audioHours": 6.967 } }, "additionalMetrics": [ { "key": "cer", "label": "Zeichenfehlerrate · CER", "numerator": 6252, "denominator": 344913, "valuePercent": 1.813, "direction": "lower", "definition": "Zeichenabweichungen pro Referenzzeichen nach NFC-Normalisierung, einheitlicher Groß- und Kleinschreibung, entfernten Satzzeichen und zu einem Leerzeichen zusammengefasstem Leerraum. Leerzeichen zählen als Zeichen.", "ci95": [ 1.52, 2.11 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "name-accuracy", "label": "Korrekte Namen", "numerator": 421, "denominator": 480, "valuePercent": 87.708, "direction": "higher", "definition": "Korrekt übernommene Personen- und Firmennamen pro annotiertem Referenznamen. Vorab freigegebene Schreibvarianten zählen als richtig.", "ci95": [ 81.6, 91.99 ], "ci95Method": "wilson-design-effect", "designEffect": 3.1029 }, { "key": "number-accuracy", "label": "Korrekte Zahlen", "numerator": 663, "denominator": 714, "valuePercent": 92.857, "direction": "higher", "definition": "Korrekt übernommene Zahlen mit ihrer Einheit und ihrem Bezug pro annotierter Zahlenangabe. Falsche oder ausgelassene Werte zählen als nicht korrekt.", "ci95": [ 88.79, 95.53 ], "ci95Method": "wilson-design-effect", "designEffect": 3.0845 }, { "key": "dictation-command-accuracy", "label": "Umgesetzte Diktatbefehle", "numerator": 266, "denominator": 441, "valuePercent": 60.317, "direction": "higher", "definition": "Richtig ausgeführte festgelegte Satzzeichen-, Absatz- und Korrekturbefehle pro ausgesprochenem Referenzbefehl. Der Befehl soll wirken und nicht als Befehlswort im Text stehen.", "ci95": [ 51.26, 68.72 ], "ci95Method": "wilson-design-effect", "designEffect": 3.7671 }, { "key": "self-correction-accuracy", "label": "Umgesetzte Selbstkorrekturen", "numerator": 175, "denominator": 207, "valuePercent": 84.541, "direction": "higher", "definition": "Spontane Selbstkorrekturen, nach denen das Dokument nur die endgültige Angabe enthält, pro annotierter Selbstkorrektur der Referenz. Steht die verworfene Angabe noch im Text oder ersetzt sie die endgültige, ist die Selbstkorrektur nicht umgesetzt. Ob eine Regel oder ein Sprachmodell sie umsetzt, spielt keine Rolle.", "ci95": [ 73.22, 91.63 ], "ci95Method": "wilson-design-effect", "designEffect": 3.5215 }, { "key": "edit-instruction-accuracy", "label": "Umgesetzte Bearbeitungsanweisungen", "numerator": 6, "denominator": 36, "valuePercent": 16.667, "direction": "higher", "definition": "Frei formulierte Anweisungen an das Dokument, deren Wirkung das gelieferte Dokument zeigt, pro annotierter Anweisung der Referenz. Eine solche Anweisung ändert eine früher genannte Angabe, ergänzt Inhalt an einer früheren Stelle oder verschiebt einen Abschnitt. Steht sie wörtlich im Text oder bleibt sie ohne Wirkung, ist sie nicht umgesetzt. Ob eine Regel oder ein Sprachmodell sie umsetzt, spielt keine Rolle.", "ci95": [ 4.46, 46.13 ], "ci95Method": "wilson-design-effect", "designEffect": 3.2727 } ], "errorTypes": [ { "label": "Ersetzungen", "count": 1072 }, { "label": "Auslassungen", "count": 520 }, { "label": "Einfügungen", "count": 454 } ], "failedRuns": [], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "Wispr Flow Desktop-App, Stand 3. Quartal 2026", "modelVersions": null, "template": null, "instruction": { "id": "si-instr-diktat-wortnah", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Virtueller Mikrofoneingang in eine leere Zielanwendung", "language": "Deutsch", "customVocabularyEntries": 0, "outputStyle": "Wortnah mit Satzzeichen", "voiceCommands": true }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": { "id": "de-allg-wer", "version": "1.0" } }, "corpusMetadata": { "version": "1.0", "manifestSha256": "be86355a52a9e6e6ac547fa75797ca0c34d34b998965c77efe431e8cac1bf200", "referenceVersion": "1.0", "referenceSha256": "2f3f1976d19c5059b932063bd9b929c3ad3df1d749efd78e0060e5b1364c5f41", "sourceScenarioCount": 40, "evaluatedScenarioCount": 40, "totalAudioSeconds": 8340, "durationSeconds": { "minimum": 60, "maximum": 600 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 1 } ], "conversions": [ { "description": "Kontrollierte Wiedergabe der Referenzaufnahmen über einen virtuellen Mikrofoneingang mit −20 dBFS RMS in Echtzeit", "tool": "scribeindex-playback", "version": "1.0" } ], "exclusions": [] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 40, "resamples": 2000, "seed": 2217701174, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "5b6419a32e9fc2e489a2dae6029ddcb9e755388234d69b65a19df934ad0bdabc" } }, { "id": "wispr-flow/diktiersoftware:legal-dictation", "provider": "wispr-flow", "providerName": "Wispr Flow", "test": "diktiersoftware:legal-dictation", "label": "Juristische Diktate", "category": "diktiersoftware", "task": "legal-dictation", "url": "https://scribeindex.com/anbieter/wispr-flow/test/#juristisch", "rankingUrl": "https://scribeindex.com/vergleich/diktiersoftware/juristisch/", "testPeriod": "2026-Q3", "protocol": "1.0", "corpus": "de-recht-diktat-v1", "scenarios": 40, "runs": 3, "completed": 120, "total": 120, "completionRatePercent": 100, "evaluation": { "output": "verbatim-transcript", "semanticRubric": "legal-errors-v1", "wordErrorRate": { "applicability": "word-aligned", "basis": "delivered-output", "explanation": "WER wird aus der gelieferten wortnahen Transkriptausgabe gegen die normalisierte Referenz berechnet." } }, "score": { "version": "2.2", "value": 61.9139, "ci95": [ 59.5, 75.1 ], "ci95Method": "paired-cluster-bootstrap", "pairedDifferences": [ { "provider": "speechlive-legal", "ci95": [ -16.3, 7.92 ] }, { "provider": "dragon-legal", "ci95": [ -19.25, 5.64 ] }, { "provider": "dictnow", "ci95": [ -18.65, 8.43 ] } ], "rank": 4, "cohortSize": 4, "criticalRatePercent": 14.167, "contentQuality": 92.886, "references": { "key": "legal-dictation", "qualityErrorPoints": 30, "correctionMinutes": 167, "criticalPercent": 15 }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 76.285, "weight": 0.6, "contribution": 45.771 }, { "key": "critical", "label": "Schwerwiegende Fehler", "value": 5.556, "weight": 0.2, "contribution": 1.111 }, { "key": "effort", "label": "Korrekturaufwand", "value": 66.878, "weight": 0.15, "contribution": 10.032 }, { "key": "reliability", "label": "Abschlussquote", "value": 100, "weight": 0.05, "contribution": 5 } ] }, "mainMetric": { "label": "Wortfehlerrate", "abbreviation": "WER", "value": 7.66, "direction": "lower", "ci95": [ 7.09, 8.27 ] }, "transcription": { "referenceWords": 95199, "substitutions": 3837, "deletions": 1822, "insertions": 1633, "errors": 7292, "werPercent": 7.66, "ci95": [ 7.09, 8.27 ], "comparable": true }, "facts": null, "latency": { "p50Seconds": 1.8, "p95Seconds": 5.3, "mode": "live-dictation", "start": "Ende des letzten zugespielten Wortes", "end": "Stabile nutzbare Textausgabe" }, "correction": { "minutesPerAudioHour": 55.3136, "ci95": [ 51.24, 58.95 ], "estimate": { "outputs": 120, "audioSeconds": 43800, "minutes": 672.89, "ci": [ 51.24, 58.95 ], "audioHours": 12.165 } }, "additionalMetrics": [ { "key": "cer", "label": "Zeichenfehlerrate · CER", "numerator": 21377, "denominator": 613482, "valuePercent": 3.485, "direction": "lower", "definition": "Zeichenabweichungen pro Referenzzeichen nach NFC-Normalisierung, einheitlicher Groß- und Kleinschreibung, entfernten Satzzeichen und zu einem Leerzeichen zusammengefasstem Leerraum. Leerzeichen zählen als Zeichen.", "ci95": [ 3.14, 3.9 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "critical-documents", "label": "Dokumente mit schwerwiegendem Fehler", "numerator": 17, "denominator": 120, "valuePercent": 14.167, "direction": "lower", "definition": "Ausgaben mit mindestens einem schwerwiegenden juristischen Fehler pro abgeschlossener Ausgabe. Bewertet werden Parteien, Fristen, Forderungen und Normbezüge nach der Rubrik legal-errors-v1.", "ci95": [ 6.77, 27.26 ], "ci95Method": "wilson-design-effect", "designEffect": 2.6977 }, { "key": "legal-citation-errors", "label": "Fehler bei Normzitaten und Aktenzeichen", "numerator": 97, "denominator": 1041, "valuePercent": 9.318, "direction": "lower", "definition": "Falsche oder fehlende Paragraphen, Absätze, Gesetze und Aktenzeichen pro annotierter Referenzangabe. Vorab freigegebene typografische Varianten gelten als korrekt.", "ci95": [ 7, 12.31 ], "ci95Method": "wilson-design-effect", "designEffect": 2.2349 }, { "key": "deadline-errors", "label": "Fehler bei Fristen und Daten", "numerator": 22, "denominator": 639, "valuePercent": 3.443, "direction": "lower", "definition": "Falsche oder fehlende Fristen und Datumsangaben pro Referenzangabe. Zahlen und Bezugspunkte müssen zusammen stimmen.", "ci95": [ 1.71, 6.8 ], "ci95Method": "wilson-design-effect", "designEffect": 2.9579 }, { "key": "party-errors", "label": "Fehler bei Parteien und Rollen", "numerator": 59, "denominator": 1014, "valuePercent": 5.819, "direction": "lower", "definition": "Falsche oder fehlende Zuordnung einer Partei oder Rolle pro referenzierter Parteienangabe. Eine vertauschte Kläger- und Beklagtenrolle zählt als Fehler.", "ci95": [ 3.72, 8.99 ], "ci95Method": "wilson-design-effect", "designEffect": 3.2327 }, { "key": "amount-errors", "label": "Fehler bei Beträgen", "numerator": 25, "denominator": 522, "valuePercent": 4.789, "direction": "lower", "definition": "Falsche oder fehlende Geldbeträge einschließlich Währung pro annotierter Betragsangabe. Wert und Währung müssen zusammen mit der Referenz übereinstimmen.", "ci95": [ 2.83, 8 ], "ci95Method": "wilson-design-effect", "designEffect": 1.8964 }, { "key": "dictation-command-accuracy", "label": "Umgesetzte Diktatbefehle", "numerator": 604, "denominator": 999, "valuePercent": 60.46, "direction": "higher", "definition": "Richtig ausgeführte festgelegte Satzzeichen-, Absatz- und Korrekturbefehle pro ausgesprochenem Referenzbefehl. Der Befehl soll wirken und nicht als Befehlswort im Text stehen.", "ci95": [ 53.99, 66.58 ], "ci95Method": "wilson-design-effect", "designEffect": 4.3752 }, { "key": "self-correction-accuracy", "label": "Umgesetzte Selbstkorrekturen", "numerator": 218, "denominator": 255, "valuePercent": 85.49, "direction": "higher", "definition": "Spontane Selbstkorrekturen, nach denen das Dokument nur die endgültige Angabe enthält, pro annotierter Selbstkorrektur der Referenz. Steht die verworfene Angabe noch im Text oder ersetzt sie die endgültige, ist die Selbstkorrektur nicht umgesetzt. Ob eine Regel oder ein Sprachmodell sie umsetzt, spielt keine Rolle.", "ci95": [ 75.81, 91.72 ], "ci95Method": "wilson-design-effect", "designEffect": 3.3862 }, { "key": "edit-instruction-accuracy", "label": "Umgesetzte Bearbeitungsanweisungen", "numerator": 16, "denominator": 108, "valuePercent": 14.815, "direction": "higher", "definition": "Frei formulierte Anweisungen an das Dokument, deren Wirkung das gelieferte Dokument zeigt, pro annotierter Anweisung der Referenz. Eine solche Anweisung ändert eine früher genannte Angabe, ergänzt Inhalt an einer früheren Stelle oder verschiebt einen Abschnitt. Steht sie wörtlich im Text oder bleibt sie ohne Wirkung, ist sie nicht umgesetzt. Ob eine Regel oder ein Sprachmodell sie umsetzt, spielt keine Rolle.", "ci95": [ 5.26, 35.25 ], "ci95Method": "wilson-design-effect", "designEffect": 5.1429 } ], "errorTypes": [ { "label": "Ersetzungen", "count": 3837 }, { "label": "Auslassungen", "count": 1822 }, { "label": "Einfügungen", "count": 1633 } ], "failedRuns": [], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "Wispr Flow Desktop-App, Stand 3. Quartal 2026", "modelVersions": null, "template": null, "instruction": { "id": "si-instr-diktat-wortnah", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Virtueller Mikrofoneingang in eine leere Zielanwendung", "language": "Deutsch", "customVocabularyEntries": 0, "outputStyle": "Wortnah mit Satzzeichen", "voiceCommands": true }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": { "id": "de-legal-wer", "version": "1.0" } }, "corpusMetadata": { "version": "1.0", "manifestSha256": "2e856c64cf093797ea7a7b27b4ac15e541a33528e55d943bde123a02d67c7e83", "referenceVersion": "1.0", "referenceSha256": "686a87e5af4681ab48fa6d1b65481ec57e9d04c2ef6bb6c22a5023b47bea5732", "sourceScenarioCount": 40, "evaluatedScenarioCount": 40, "totalAudioSeconds": 14580, "durationSeconds": { "minimum": 60, "maximum": 1080 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 1 } ], "conversions": [ { "description": "Kontrollierte Wiedergabe der Referenzaufnahmen über einen virtuellen Mikrofoneingang mit −20 dBFS RMS in Echtzeit", "tool": "scribeindex-playback", "version": "1.0" } ], "exclusions": [] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 40, "resamples": 2000, "seed": 5519911, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "1045b46bde817656db5bc6b6b8be5c8a0aa04f1b4670527079e1ac9da69ba920" } }, { "id": "wispr-flow/diktiersoftware:voice-writing", "provider": "wispr-flow", "providerName": "Wispr Flow", "test": "diktiersoftware:voice-writing", "label": "Sprachgestützte Textausarbeitung", "category": "diktiersoftware", "task": "voice-writing", "url": "https://scribeindex.com/anbieter/wispr-flow/test/#textausarbeitung", "rankingUrl": "https://scribeindex.com/vergleich/diktiersoftware/textausarbeitung/", "testPeriod": "2026-Q3", "protocol": "1.0", "corpus": "de-voice-writing-v1", "scenarios": 40, "runs": 3, "completed": 120, "total": 120, "completionRatePercent": 100, "evaluation": { "output": "written-document", "semanticRubric": "writing-facts-v1", "wordErrorRate": { "applicability": "not-applicable", "basis": "unavailable", "explanation": "Die gelieferte Ausgabe ist ein ausgearbeiteter Text, keine wortnahe Abschrift. Deshalb gibt es keine WER." } }, "score": { "version": "2.2", "value": 84.1809, "ci95": [ 80.8, 87.2 ], "ci95Method": "paired-cluster-bootstrap", "pairedDifferences": [ { "provider": "superwhisper", "ci95": [ 5.33, 13.97 ] }, { "provider": "letterly", "ci95": [ -3.29, 6.59 ] }, { "provider": "audiopen", "ci95": [ 3.34, 11.37 ] }, { "provider": "speechlive-legal", "ci95": [ -1.58, 7.32 ] } ], "rank": 1, "cohortSize": 5, "criticalRatePercent": null, "contentQuality": 94.546, "references": { "key": "voice-writing", "qualityErrorPoints": 30, "correctionMinutes": 142, "criticalPercent": null }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 81.82, "weight": 0.75, "contribution": 61.365 }, { "key": "effort", "label": "Korrekturaufwand", "value": 89.078, "weight": 0.2, "contribution": 17.816 }, { "key": "reliability", "label": "Abschlussquote", "value": 100, "weight": 0.05, "contribution": 5 } ] }, "mainMetric": { "label": "Fakten-F1", "abbreviation": "F1", "value": 95.872, "direction": "higher", "ci95": [ 94.8, 96.84 ] }, "transcription": null, "facts": { "truePositive": 2485, "falsePositive": 86, "falseNegative": 128, "referenceFacts": 2613, "outputFacts": 2571, "precisionPercent": 96.655, "precisionCi95": [ 95.3, 97.95 ], "recallPercent": 95.101, "recallCi95": [ 93.77, 96.36 ], "f1Percent": 95.872, "f1Ci95": [ 94.8, 96.84 ] }, "latency": { "p50Seconds": 29, "p95Seconds": 64.8, "mode": "live-dictation", "start": "Ende des gesprochenen Auftrags", "end": "Fertiger Text verfügbar" }, "correction": { "minutesPerAudioHour": 15.5095, "ci95": [ 12.23, 19.14 ], "estimate": { "outputs": 120, "audioSeconds": 28740, "minutes": 123.75, "ci": [ 12.23, 19.14 ], "audioHours": 7.979 } }, "additionalMetrics": [ { "key": "unsupported-statements", "label": "Falsche oder unbelegte Aussagen", "numerator": 29, "denominator": 2571, "valuePercent": 1.128, "direction": "lower", "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.", "ci95": [ 0.65, 1.94 ], "ci95Method": "wilson-design-effect", "designEffect": 2.2867 }, { "key": "instruction-compliance", "label": "Umgesetzte Schreibanweisungen", "numerator": 672, "denominator": 753, "valuePercent": 89.243, "direction": "higher", "definition": "Korrekt umgesetzte explizite Anweisungen zu Format, Ton, Reihenfolge und Änderungen pro vorab festgelegter Schreibanweisung. Eine korrekt geschriebene E-Mail ersetzt keinen fehlenden Einzelauftrag.", "ci95": [ 84.47, 92.68 ], "ci95Method": "wilson-design-effect", "designEffect": 3.3977 } ], "errorTypes": [ { "label": "Nicht erfasste Referenzfakten", "count": 128 }, { "label": "Falsche oder unbelegte Aussagen", "count": 29 }, { "label": "Zutreffende, aber nicht relevante Aussagen", "count": 57 } ], "failedRuns": [], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "Wispr Flow, Command Mode, Stand 3. Quartal 2026", "modelVersions": null, "template": null, "instruction": { "id": "si-instr-voice-writing", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Virtueller Mikrofoneingang", "platform": "macOS Desktop", "language": "Deutsch", "mode": "Command Mode unter Settings > Experimental aktiviert", "sourceText": "Rohentwurf zuerst in dasselbe editierbare Textfeld diktiert und markiert", "target": "Vorab festgelegter Schreibauftrag als gesprochene Command-Mode-Anweisung", "personalDictionary": false, "extraContext": false }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": null }, "corpusMetadata": { "version": "1.0", "manifestSha256": "a2194236d0c043d838b24210574c7bf8a3c918cbe1bcce4db693e95b675ca2e2", "referenceVersion": "1.0", "referenceSha256": "2d895d782442beec8769e48974bf2d650e4c80f2b6555d633e58c77a5a161833", "sourceScenarioCount": 40, "evaluatedScenarioCount": 40, "totalAudioSeconds": 9600, "durationSeconds": { "minimum": 60, "maximum": 600 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 1 } ], "conversions": [ { "description": "Kontrollierte Wiedergabe der Referenzaufnahmen über einen virtuellen Mikrofoneingang mit −20 dBFS RMS in Echtzeit", "tool": "scribeindex-playback", "version": "1.0" } ], "exclusions": [] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 40, "resamples": 2000, "seed": 3301926752, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "175bb08bcec3d46df9a7e79d3383ed75fd39e092bfc7ebe4823aec3915a1820a" } }, { "id": "wordly/untertitel:live-subtitles", "provider": "wordly", "providerName": "Wordly", "test": "untertitel:live-subtitles", "label": "Live-Untertitel", "category": "untertitel", "task": "live-subtitles", "url": "https://scribeindex.com/anbieter/wordly/test/#live", "rankingUrl": "https://scribeindex.com/vergleich/untertitel/live/", "testPeriod": "2026-Q3", "protocol": "1.0", "corpus": "de-live-untertitel-v1", "scenarios": 30, "runs": 2, "completed": 59, "total": 60, "completionRatePercent": 98.333, "evaluation": { "output": "live-subtitles", "semanticRubric": null, "wordErrorRate": { "applicability": "word-aligned", "basis": "delivered-output", "explanation": "WER wird aus dem endgültigen Stand der angezeigten Untertitel gegen die normalisierte Referenz berechnet. Zwischenstände der Anzeige gehen in die Stabilität ein, nicht in die WER." } }, "score": { "version": "2.2", "value": 53.4079, "ci95": [ 50.9, 55.7 ], "ci95Method": "paired-cluster-bootstrap", "pairedDifferences": [ { "provider": "ai-media", "ci95": [ -19.98, -15.59 ] }, { "provider": "interprefy", "ci95": [ -9.23, -5.96 ] }, { "provider": "clevercast", "ci95": [ -13.16, -8.14 ] }, { "provider": "syncwords", "ci95": [ -11.33, -7.02 ] }, { "provider": "maestra", "ci95": [ 2.75, 7.74 ] } ], "rank": 5, "cohortSize": 6, "criticalRatePercent": null, "contentQuality": 86.235, "references": { "key": "live-subtitles", "qualityErrorPoints": 30, "correctionMinutes": 276, "criticalPercent": null }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 54.117, "weight": 0.75, "contribution": 40.587 }, { "key": "effort", "label": "Korrekturaufwand", "value": 39.519, "weight": 0.2, "contribution": 7.904 }, { "key": "reliability", "label": "Abschlussquote", "value": 98.333, "weight": 0.05, "contribution": 4.917 } ] }, "mainMetric": { "label": "Wortfehlerrate", "abbreviation": "WER", "value": 8.744, "direction": "lower", "ci95": [ 8.24, 9.37 ] }, "transcription": { "referenceWords": 291072, "substitutions": 12671, "deletions": 8830, "insertions": 3951, "errors": 25452, "werPercent": 8.744, "ci95": [ 8.24, 9.37 ], "comparable": true }, "facts": null, "latency": { "p50Seconds": 1.9, "p95Seconds": 4, "mode": "live-stream", "start": "Wortende im Ton beim Publikum", "end": "Erste Anzeige des Wortes in endgültiger Form" }, "correction": { "minutesPerAudioHour": 166.9275, "ci95": [ 160.75, 172.63 ], "estimate": { "outputs": 59, "audioSeconds": 124200, "minutes": 5759.5, "ci": [ 160.75, 172.63 ], "audioHours": 34.503 } }, "additionalMetrics": [ { "key": "cer", "label": "Zeichenfehlerrate · CER", "numerator": 65164, "denominator": 1887200, "valuePercent": 3.453, "direction": "lower", "definition": "Zeichenabweichungen pro Referenzzeichen nach NFC-Normalisierung, einheitlicher Groß- und Kleinschreibung, entfernten Satzzeichen und zu einem Leerzeichen zusammengefasstem Leerraum. Leerzeichen zählen als Zeichen.", "ci95": [ 3.26, 3.69 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "live-caption-timeliness", "label": "Rechtzeitig angezeigte Wörter", "numerator": 234203, "denominator": 291072, "valuePercent": 80.462, "direction": "higher", "definition": "Referenzwörter, deren endgültige Form höchstens 3 Sekunden vor oder nach dem Wortende im Ton beim Publikum erstmals angezeigt wird, pro Referenzwort. Fehlende und falsch erkannte Wörter zählen als nicht rechtzeitig.", "ci95": [ 79.1, 81.75 ], "ci95Method": "wilson-design-effect", "designEffect": 84.1638 }, { "key": "live-caption-stability", "label": "Stabil angezeigte Wörter", "numerator": 239675, "denominator": 291072, "valuePercent": 82.342, "direction": "higher", "definition": "Referenzwörter, die ab ihrer ersten Anzeige unverändert in endgültiger Form stehen, pro Referenzwort. Vorher anders angezeigte, später umgeschriebene oder entfernte sowie fehlende und falsch erkannte Wörter zählen als nicht stabil.", "ci95": [ 80.88, 83.71 ], "ci95Method": "wilson-design-effect", "designEffect": 103.9167 } ], "scalarMetrics": [ { "key": "live-audio-delay", "label": "Mittlere Übertragungsverzögerung", "value": 0, "unit": "s", "direction": "none", "definition": "Mittlere Zeit vom Wortende im Eingangston bis zum Wortende im Ton beim Publikum. Gewichtet wird je Referenzwort. Bei unverzögerter Audioausgabe beträgt sie null.", "statistic": "mean", "sampleSize": 291072, "ci": [ 0, 0 ] } ], "errorTypes": [ { "label": "Ersetzungen", "count": 12671 }, { "label": "Auslassungen", "count": 8830 }, { "label": "Einfügungen", "count": 3951 } ], "failedRuns": [ { "scenarioId": "live-015", "run": 1, "reason": "Live-Verbindung während der Einspielung getrennt, Untertitel unvollständig" } ], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "Wordly, deutsche Originaluntertitel im Teilnehmerbrowser, Stand 3. Quartal 2026", "modelVersions": null, "template": null, "instruction": { "id": "si-instr-live-subtitles", "version": "1.0" }, "customVocabulary": null, "settings": { "language": "Deutsch", "translation": false, "customVocabularyEntries": 0, "humanCorrection": false, "capture": "Ereignisprotokoll der angezeigten Untertitel", "inputPath": "Virtueller Audioeingang als Mikrofon der Browser-Sitzung", "display": "Teilnehmeransicht, deutsche Originalsprache, wortweise Anzeige", "privateTranscripts": true, "export": "SRT", "speakerNames": false }, "scorer": { "name": "scribeindex-live-subtitles", "version": "1.0" }, "normalization": { "id": "de-subtitle-wer", "version": "1.0" } }, "corpusMetadata": { "version": "1.0", "manifestSha256": "82acc1a0ff5f8f62ab47815747ab1a96383fb705780eb9597c1d3c51a6b044aa", "referenceVersion": "1.0", "referenceSha256": "12f7090789671983e962a05c01cb6abb03849e6536dc9afde6de15f11454f43b", "sourceScenarioCount": 30, "evaluatedScenarioCount": 30, "totalAudioSeconds": 63840, "durationSeconds": { "minimum": 480, "maximum": 5340 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 1 } ], "conversions": [ { "description": "Einspielung der Aufnahme in Echtzeit als Audioquelle der Live-Sitzung über einen virtuellen Audioeingang mit −20 dBFS RMS", "tool": "scribeindex-playback", "version": "1.0" } ], "exclusions": [] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 30, "resamples": 2000, "seed": 3355895643, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "0f26e97bd0626cfdf95f5dee7a05315be56e31165714a518399326f79379755a" } } ] }