{ "schemaVersion": "1.0", "name": "ScribeIndex Testergebnisse: HealthJet", "license": { "name": "CC BY 4.0", "url": "https://creativecommons.org/licenses/by/4.0/deed.de" }, "citation": "ScribeIndex (2026): Testergebnisse HealthJet. https://scribeindex.com/anbieter/healthjet/test/", "corpora": [ { "id": "de-klinik-v1", "version": "1.0", "title": "Ärztliche Behandlungsgespräche", "category": "medical-scribes", "task": "clinical-notes", "protocol": "1.0", "description": "Im Rollenspiel geführte Behandlungsgespräche mit zwei bis vier Personen, darunter Erstanamnese, Verlauf, Medikationsbesprechung, Befundbesprechung und kurzes psychiatrisches Erstgespräch. Die Gespräche liegen als unterschiedliche Raum- und Smartphoneaufnahmen vor.", "sourceScenarioCount": 50, "scenarioCount": 48, "runs": 3, "exclusions": [ { "scenarioId": "klinik-016", "reason": "Einwilligung zur Nutzung der Aufnahme vor Testbeginn widerrufen." }, { "scenarioId": "klinik-033", "reason": "Relevanzmenge auch nach fachlicher Durchsicht nicht eindeutig festlegbar." } ], "strata": [ { "dimension": "Gesprächsform", "groups": [ { "label": "Erstanamnese", "count": 11 }, { "label": "Verlaufsgespräch", "count": 12 }, { "label": "Medikationsbesprechung", "count": 8 }, { "label": "Befundbesprechung", "count": 10 }, { "label": "Kurzes psychiatrisches Erstgespräch", "count": 7 } ] }, { "dimension": "Fachrichtung", "groups": [ { "label": "Allgemeinmedizin", "count": 14 }, { "label": "Innere Medizin", "count": 10 }, { "label": "Pädiatrie", "count": 6 }, { "label": "Orthopädie", "count": 6 }, { "label": "Neurologie", "count": 5 }, { "label": "Psychiatrie", "count": 7 } ] }, { "dimension": "Aufnahme", "groups": [ { "label": "Raummikrofon, ruhig", "count": 20 }, { "label": "Smartphone auf dem Tisch", "count": 17 }, { "label": "Hintergrundgeräusche", "count": 11 } ] }, { "dimension": "Sprecherzahl", "groups": [ { "label": "Zwei Personen", "count": 29 }, { "label": "Drei Personen", "count": 13 }, { "label": "Vier Personen", "count": 6 } ] } ], "speakers": { "min": 2, "max": 4 }, "durationSeconds": { "min": 360, "max": 2400, "median": 540, "total": 34860 }, "audioFormats": [ { "codec": "AAC-LC (M4A)", "sampleRateHertz": 48000, "channels": 1 }, { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 2 } ], "reference": { "version": "1.0", "words": 71893, "characters": 469914, "charactersPerWord": 6.536, "facts": 1379, "units": [ { "key": "medicalTerms", "label": "Annotierte medizinische Fachkonzepte", "count": 1169 }, { "key": "medicationStatements", "label": "Medikationsangaben (Wirkstoff, Dosis, Einheit, Einnahme)", "count": 207 }, { "key": "polarityStatements", "label": "Verneinte oder ausdrücklich bestätigte Befunde", "count": 274 }, { "key": "temporalFacts", "label": "Zeitliche Referenzangaben", "count": 313 }, { "key": "attributionFacts", "label": "Fakten mit erforderlicher Quellenzuordnung", "count": 722 } ] }, "annotation": { "independentAnnotations": 1, "adjudication": "Atomare Fakten und Relevanzmenge werden mit der Gesprächsvorlage festgelegt und nach der Aufnahme am Gesprochenen bestätigt. Unklare Stellen prüft eine Fachperson, danach wird die Referenz eingefroren.", "rubric": { "id": "clinical-facts-v1", "version": "1.0" } }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": null, "manifestSha256": "07e4ff2bb9cb21c1b350d732b5e593f4f1830354a230c75954136f03552f7ba5", "referenceSha256": "9ddba13742d943cd28b478c231a53d71ed064e1ba7681896e21faedfe2bb2207", "uncertainty": { "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "resamples": 2000, "seed": 2234884632, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "f630f8568c719864793b7aacf8e58f4627c6b7bdcdf5f3730abfda50ad6bfb37" }, "frozen": "2026-Q2", "testPeriod": "2026-Q2/2026-Q3", "methodUrl": "https://scribeindex.com/methodik/medical-scribes/" }, { "id": "de-therapie-v1", "version": "1.0", "title": "Psychotherapeutische Sitzungen", "category": "medical-scribes", "task": "therapy-notes", "protocol": "1.0", "description": "Im Rollenspiel geführte Therapiesitzungen aus Verhaltenstherapie, tiefenpsychologisch fundierter Therapie und systemischen Paar- oder Familiengesprächen. 17 der 36 Sitzungen enthalten Aussagen zu Selbstgefährdung oder Schutzfaktoren.", "sourceScenarioCount": 36, "scenarioCount": 36, "runs": 3, "exclusions": [], "strata": [ { "dimension": "Verfahren", "groups": [ { "label": "Verhaltenstherapie", "count": 15 }, { "label": "Tiefenpsychologisch fundiert", "count": 12 }, { "label": "Systemisch (Paar oder Familie)", "count": 5 }, { "label": "Erstgespräch und Probatorik", "count": 4 } ] }, { "dimension": "Risikoinhalt", "groups": [ { "label": "Mit Risikoaussagen", "count": 17 }, { "label": "Ohne Risikoaussagen", "count": 19 } ] } ], "speakers": { "min": 2, "max": 4 }, "durationSeconds": { "min": 2220, "max": 3540, "median": 2820, "total": 103620 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 1 } ], "reference": { "version": "1.0", "words": 185226, "characters": 1162943, "charactersPerWord": 6.279, "facts": 1108, "units": [ { "key": "medicalTerms", "label": "Annotierte medizinische Fachkonzepte", "count": 395 }, { "key": "medicationStatements", "label": "Medikationsangaben (Wirkstoff, Dosis, Einheit, Einnahme)", "count": 25 }, { "key": "polarityStatements", "label": "Verneinte oder ausdrücklich bestätigte Befunde", "count": 145 }, { "key": "temporalFacts", "label": "Zeitliche Referenzangaben", "count": 323 }, { "key": "attributionFacts", "label": "Fakten mit erforderlicher Quellenzuordnung", "count": 636 }, { "key": "riskFacts", "label": "Risikorelevante Referenzaussagen", "count": 57 } ] }, "annotation": { "independentAnnotations": 1, "adjudication": "Dokumentationsrelevante Fakten und Risikoaussagen werden mit der Gesprächsvorlage festgelegt und nach der Aufnahme am Gesprochenen bestätigt. Risikoaussagen prüft immer eine Fachperson.", "rubric": { "id": "clinical-facts-v1", "version": "1.0" } }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": null, "manifestSha256": "62780a1c05eb9562aa4bdbee3b73aedcf448ce0e8e6ba5fd85d7e17baa3b4bd8", "referenceSha256": "62c50ae99e53e02e016470714f0a6524d90a92407fe393d48adae95f19a8ee2a", "uncertainty": { "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "resamples": 2000, "seed": 3733937332, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "0c35a46bc36056c43d2f55385441679c130a0d1ef5bcb7bd6cb2f19411cef23a" }, "frozen": "2026-Q2", "testPeriod": "2026-Q2/2026-Q3", "methodUrl": "https://scribeindex.com/methodik/medical-scribes/" }, { "id": "de-anamnese-v1", "version": "1.0", "title": "Lange Anamnesegespräche", "category": "medical-scribes", "task": "anamnesis-report", "protocol": "1.0", "description": "Lange, im Rollenspiel geführte Anamnesegespräche mit fiktiven Personen, wechselnden zeitlichen Ebenen, Angehörigenbeiträgen, Dolmetschenden und Angaben, die einander ausdrücklich widersprechen. Zielausgabe ist ein ausführlicher gegliederter Bericht.", "sourceScenarioCount": 25, "scenarioCount": 24, "runs": 2, "exclusions": [ { "scenarioId": "anamnese-009", "reason": "Aufnahme vorzeitig abgebrochen, Gespräch unvollständig." } ], "strata": [ { "dimension": "Gesprächskonstellation", "groups": [ { "label": "Einzelgespräch", "count": 13 }, { "label": "Mit Angehörigen", "count": 6 }, { "label": "Mit Dolmetschenden", "count": 5 } ] }, { "dimension": "Kontext", "groups": [ { "label": "Psychiatrische Anamnese", "count": 8 }, { "label": "Psychosomatische Anamnese", "count": 6 }, { "label": "Neurologische Anamnese", "count": 4 }, { "label": "Internistische Langanamnese", "count": 3 }, { "label": "Sozialmedizinische Begutachtung", "count": 3 } ] }, { "dimension": "Widersprüchliche Angaben", "groups": [ { "label": "Mit annotierten Widersprüchen", "count": 22 }, { "label": "Ohne annotierte Widersprüche", "count": 2 } ] } ], "speakers": { "min": 2, "max": 4 }, "durationSeconds": { "min": 2220, "max": 5100, "median": 3600, "total": 86760 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 2 } ], "reference": { "version": "1.0", "words": 143354, "characters": 915637, "charactersPerWord": 6.387, "facts": 3963, "units": [ { "key": "medicalTerms", "label": "Annotierte medizinische Fachkonzepte", "count": 1143 }, { "key": "medicationStatements", "label": "Medikationsangaben (Wirkstoff, Dosis, Einheit, Einnahme)", "count": 153 }, { "key": "polarityStatements", "label": "Verneinte oder ausdrücklich bestätigte Befunde", "count": 418 }, { "key": "temporalFacts", "label": "Zeitliche Referenzangaben", "count": 914 }, { "key": "attributionFacts", "label": "Fakten mit erforderlicher Quellenzuordnung", "count": 2593 }, { "key": "detailFacts", "label": "Markierte erforderliche Detailfakten", "count": 2383 }, { "key": "requiredSections", "label": "Erforderliche Berichtsabschnitte", "count": 438 }, { "key": "contradictions", "label": "Annotierte Widerspruchspaare", "count": 51 } ] }, "annotation": { "independentAnnotations": 1, "adjudication": "Detailfakten mit Quelle und Zeitbezug, Widerspruchspaare und Pflichtabschnitte werden mit der Gesprächsvorlage festgelegt und nach der Aufnahme am Gesprochenen bestätigt.", "rubric": { "id": "anamnesis-facts-v1", "version": "1.0" } }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": null, "manifestSha256": "fd43d74a52c8f38d1962a41126bf5f14f7d1f35990ef9e325e5a5c9b4a8e750e", "referenceSha256": "f29faa81a90ca61e58fc49886c47b58ec1ff812e17abf3c5ffd0a6f9c54a8417", "uncertainty": { "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "resamples": 2000, "seed": 4114781480, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "507123a351cd2e8740278c579658de54ed5f0b6c9b5e1c6d7d6e788ac20cc2a3" }, "frozen": "2026-Q2", "testPeriod": "2026-Q2/2026-Q3", "methodUrl": "https://scribeindex.com/methodik/medical-scribes/" }, { "id": "de-diktat-v1", "version": "1.0", "title": "Medizinische Diktate", "category": "medizinische-transkription", "protocol": "1.0", "description": "Nachgesprochene ärztliche Diktate aus sieben Fachrichtungen zu fiktiven Patientinnen und Patienten, mit Befunden, Medikation und Verneinungen. Dazu kommen gesprochene Anweisungen, also Diktatbefehle, spontane Selbstkorrekturen und gelegentliche Bearbeitungsanweisungen zu früheren Stellen des Diktats. Die Aufnahmen entstehen mit Headset oder Tischmikrofon, teils mit Hintergrundgeräuschen oder als komprimierte Diktiergerätedateien.", "sourceScenarioCount": 64, "scenarioCount": 62, "runs": 3, "exclusions": [ { "scenarioId": "diktat-023", "reason": "Die sprechende Person nannte versehentlich einen echten Namen. Die Aufnahme wurde vor der Referenzfreigabe zurückgezogen." }, { "scenarioId": "diktat-057", "reason": "Endgültige Angabe einer Selbstkorrektur auch nach Prüfung der Aufnahme nicht eindeutig hörbar." } ], "strata": [ { "dimension": "Fachrichtung", "groups": [ { "label": "Innere Medizin", "count": 13 }, { "label": "Allgemeinmedizin", "count": 11 }, { "label": "Orthopädie und Unfallchirurgie", "count": 10 }, { "label": "Radiologie", "count": 9 }, { "label": "Kardiologie", "count": 8 }, { "label": "Neurologie", "count": 7 }, { "label": "Gynäkologie", "count": 4 } ] }, { "dimension": "Aussprache", "groups": [ { "label": "Standarddeutsch", "count": 27 }, { "label": "Regional (Deutschland)", "count": 13 }, { "label": "Österreichisch", "count": 9 }, { "label": "Schweizerisch gefärbt", "count": 6 }, { "label": "Nicht muttersprachlich", "count": 7 } ] }, { "dimension": "Aufnahmebedingung", "groups": [ { "label": "Ruhiger Raum, Headset", "count": 22 }, { "label": "Ruhiger Raum, Tischmikrofon", "count": 14 }, { "label": "Hintergrundgeräusche", "count": 15 }, { "label": "Komprimierte Aufnahme", "count": 11 } ] } ], "speakers": { "min": 1, "max": 1 }, "durationSeconds": { "min": 60, "max": 900, "median": 300, "total": 18720 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 1 }, { "codec": "MP3 128 kbit/s", "sampleRateHertz": 44100, "channels": 1 }, { "codec": "AAC-LC (M4A)", "sampleRateHertz": 44100, "channels": 1 } ], "reference": { "version": "1.0", "words": 34387, "characters": 247912, "charactersPerWord": 7.209, "facts": 2235, "units": [ { "key": "medicalTerms", "label": "Annotierte medizinische Fachkonzepte", "count": 3735 }, { "key": "medicationStatements", "label": "Medikationsangaben (Wirkstoff, Dosis, Einheit, Einnahme)", "count": 254 }, { "key": "polarityStatements", "label": "Verneinte oder ausdrücklich bestätigte Befunde", "count": 369 }, { "key": "temporalFacts", "label": "Zeitliche Referenzangaben", "count": 485 }, { "key": "attributionFacts", "label": "Fakten mit erforderlicher Quellenzuordnung", "count": 805 }, { "key": "commands", "label": "Diktatbefehle", "count": 442 }, { "key": "selfCorrections", "label": "Selbstkorrekturen mit geänderter Angabe", "count": 84 }, { "key": "editInstructions", "label": "Bearbeitungsanweisungen", "count": 30 } ] }, "annotation": { "independentAnnotations": 1, "adjudication": "Diktattext und Fakten entstehen als Sprechvorlage vor der Aufnahme. Nach der Aufnahme wird das Gesprochene automatisch mit der Vorlage abgeglichen, abweichende Stellen werden an der Aufnahme geprüft und die Referenz vor dem ersten Anbieterlauf eingefroren.", "rubric": { "id": "clinical-facts-v1", "version": "1.0" } }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": { "id": "de-med-wer", "version": "1.0" }, "manifestSha256": "6768f28bb70c0457e31c2eaafd4f3c498c05b4aec26501537825bbaa22733060", "referenceSha256": "18772162e86230bce7cfb8a2f52f90244df2b1cdf52bdb6a646494dd3596dbb9", "uncertainty": { "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "resamples": 2000, "seed": 4214870755, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "1feb69fb1f1a9ee5134ab583a5bf6a80625f840f53d2d833da91149ac9f1550a" }, "frozen": "2026-Q2", "testPeriod": "2026-Q2/2026-Q3", "methodUrl": "https://scribeindex.com/methodik/medizinische-spracherkennung/" } ], "results": [ { "id": "healthjet/medical-scribes:clinical-notes", "provider": "healthjet", "providerName": "HealthJet", "test": "medical-scribes:clinical-notes", "label": "Ärztliche Gesprächsdokumentation", "category": "medical-scribes", "task": "clinical-notes", "url": "https://scribeindex.com/anbieter/healthjet/test/#aerztliche-dokumentation", "rankingUrl": "https://scribeindex.com/vergleich/medical-scribes/aerztliche-dokumentation/", "testPeriod": "2026-Q2", "protocol": "1.0", "corpus": "de-klinik-v1", "scenarios": 48, "runs": 3, "completed": 143, "total": 144, "completionRatePercent": 99.306, "evaluation": { "output": "clinical-note", "semanticRubric": "clinical-facts-v1", "wordErrorRate": { "applicability": "not-applicable", "basis": "unavailable", "explanation": "Die gelieferte Ausgabe ist eine verdichtete Dokumentation, keine wortnahe Abschrift. Deshalb gibt es keine WER." } }, "score": { "version": "2.2", "value": 81.3791, "ci95": [ 76.2, 83.6 ], "ci95Method": "paired-cluster-bootstrap-beta-critical", "pairedDifferences": [ { "provider": "heidi", "ci95": [ -5.73, 4.86 ] }, { "provider": "tippiti", "ci95": [ -9.94, -1.66 ] }, { "provider": "tandem-health", "ci95": [ -3.2, 7.72 ] }, { "provider": "noa-notes", "ci95": [ 0.51, 12.69 ] }, { "provider": "doctolib-assistent", "ci95": [ -12.26, -3.89 ] }, { "provider": "dragon-copilot", "ci95": [ -7.27, 4.21 ] }, { "provider": "speechlive-health", "ci95": [ -3.97, 6.57 ] }, { "provider": "gospeech-medical", "ci95": [ -8.03, 0.37 ] }, { "provider": "quixxs", "ci95": [ 8.47, 20.59 ] }, { "provider": "idana-flow", "ci95": [ -4.83, 6.93 ] } ], "rank": 6, "cohortSize": 11, "criticalRatePercent": 0.699, "contentQuality": 92.744, "references": { "key": "clinical-notes", "qualityErrorPoints": 30, "correctionMinutes": 59, "criticalPercent": 20 }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 75.814, "weight": 0.6, "contribution": 45.488 }, { "key": "critical", "label": "Schwerwiegende Fehler", "value": 96.503, "weight": 0.2, "contribution": 19.301 }, { "key": "effort", "label": "Korrekturaufwand", "value": 77.498, "weight": 0.15, "contribution": 11.625 }, { "key": "reliability", "label": "Abschlussquote", "value": 99.306, "weight": 0.05, "contribution": 4.965 } ] }, "mainMetric": { "label": "Fakten-F1", "abbreviation": "F1", "value": 92.744, "direction": "higher", "ci95": [ 91.87, 93.62 ] }, "transcription": null, "facts": { "truePositive": 3694, "falsePositive": 153, "falseNegative": 425, "referenceFacts": 4119, "outputFacts": 3847, "precisionPercent": 96.023, "precisionCi95": [ 94.98, 97.07 ], "recallPercent": 89.682, "recallCi95": [ 88.52, 90.81 ], "f1Percent": 92.744, "f1Ci95": [ 91.87, 93.62 ] }, "latency": { "p50Seconds": 29.3, "p95Seconds": 74.7, "mode": "live-conversation", "start": "Beenden der Aufnahme", "end": "Vollständiges Dokument verfügbar" }, "correction": { "minutesPerAudioHour": 13.2759, "ci95": [ 11.45, 15.28 ], "estimate": { "outputs": 143, "audioSeconds": 104040, "minutes": 383.78, "ci": [ 11.45, 15.28 ], "audioHours": 28.908 } }, "additionalMetrics": [ { "key": "critical-documents", "label": "Dokumente mit schwerwiegendem Fehler", "numerator": 1, "denominator": 143, "valuePercent": 0.699, "direction": "lower", "definition": "Ausgaben mit mindestens einem potenziell schwerwiegenden medizinischen Fehler pro abgeschlossener Ausgabe. Bewertet wird jeder Fall nach einer festgelegten Fehlerrubrik. Fehler bei Medikation oder Verneinung zählen hier nur, wenn die Rubrik die betroffene Angabe als potenziell schwerwiegend einstuft. Die Zähler je Fehlerart enthalten auch folgenlose Abweichungen.", "ci95": [ 0.07, 6.28 ], "ci95Method": "wilson-design-effect", "designEffect": 1.9676 }, { "key": "unsupported-statements", "label": "Falsche oder unbelegte Aussagen", "numerator": 74, "denominator": 3847, "valuePercent": 1.924, "direction": "lower", "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.", "ci95": [ 1.33, 2.76 ], "ci95Method": "wilson-design-effect", "designEffect": 2.6085 }, { "key": "medical-term-errors", "label": "Fehler bei Fachbegriffen", "numerator": 149, "denominator": 3492, "valuePercent": 4.267, "direction": "lower", "definition": "Fachlich falsch wiedergegebene oder ausgelassene medizinische Konzepte pro annotiertem Fachkonzept der Referenz. Synonyme gelten bei gleicher Bedeutung als korrekt.", "ci95": [ 3.31, 5.48 ], "ci95Method": "wilson-design-effect", "designEffect": 2.5738 }, { "key": "medication-errors", "label": "Fehler bei Medikamenten und Dosierungen", "numerator": 25, "denominator": 620, "valuePercent": 4.032, "direction": "lower", "definition": "Falsch wiedergegebene oder ausgelassene Angaben zu Wirkstoff, Dosis, Einheit und Einnahme pro annotierter Medikationsangabe. Jede Angabe zählt höchstens einmal.", "ci95": [ 2.31, 6.94 ], "ci95Method": "wilson-design-effect", "designEffect": 2.1052 }, { "key": "negation-errors", "label": "Fehler bei Verneinungen", "numerator": 24, "denominator": 817, "valuePercent": 2.938, "direction": "lower", "definition": "Verlorene, hinzugefügte oder umgekehrte Negationen pro Referenzaussage mit verneintem oder ausdrücklich bestätigtem Befund. Eine Aussage zählt höchstens einmal.", "ci95": [ 1.61, 5.28 ], "ci95Method": "wilson-design-effect", "designEffect": 2.333 }, { "key": "temporal-errors", "label": "Fehler bei zeitlichen Angaben", "numerator": 45, "denominator": 937, "valuePercent": 4.803, "direction": "lower", "definition": "Falsch zugeordnete oder ausgelassene Zeitpunkte, Dauern und zeitliche Beziehungen pro annotierter zeitlicher Referenzangabe.", "ci95": [ 3.04, 7.49 ], "ci95Method": "wilson-design-effect", "designEffect": 2.5417 }, { "key": "attribution-errors", "label": "Fehler bei der Zuordnung", "numerator": 57, "denominator": 2156, "valuePercent": 2.644, "direction": "lower", "definition": "Falsche oder ausgelassene Zuordnung von Aussagen zu Patient, behandelnder Person oder Drittperson pro Referenzfakt mit erforderlicher Quellenzuordnung.", "ci95": [ 1.74, 4 ], "ci95Method": "wilson-design-effect", "designEffect": 2.6751 } ], "errorTypes": [ { "label": "Nicht erfasste Referenzfakten", "count": 425 }, { "label": "Falsche oder unbelegte Aussagen", "count": 74 }, { "label": "Zutreffende, aber nicht relevante Aussagen", "count": 79 } ], "failedRuns": [ { "scenarioId": "klinik-045", "run": 2, "reason": "Dokumenterstellung mit Fehlermeldung abgebrochen" } ], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "HealthJet Web-Dashboard mit Browseraufnahme, Stand 2. Quartal 2026", "modelVersions": null, "template": { "id": "si-sprechstunde-notiz", "version": "1.0" }, "instruction": { "id": "si-instr-sprechstunde", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Aufnahme in der Anwendung über einen virtuellen Mikrofoneingang", "language": "Deutsch", "outputLanguage": "Deutsch", "template": "Eigene Vorlage für klinische Gesprächsdokumentation", "mode": "Gespräch aufnehmen, Vorlage auswählen und Dokumenterstellung auslösen", "extraContext": false, "manualCorrection": false }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": null }, "corpusMetadata": { "version": "1.0", "manifestSha256": "07e4ff2bb9cb21c1b350d732b5e593f4f1830354a230c75954136f03552f7ba5", "referenceVersion": "1.0", "referenceSha256": "9ddba13742d943cd28b478c231a53d71ed064e1ba7681896e21faedfe2bb2207", "sourceScenarioCount": 50, "evaluatedScenarioCount": 48, "totalAudioSeconds": 34860, "durationSeconds": { "minimum": 360, "maximum": 2400 }, "audioFormats": [ { "codec": "AAC-LC (M4A)", "sampleRateHertz": 48000, "channels": 1 }, { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 2 } ], "conversions": [ { "description": "Einspielung der Gesprächsaufnahme in Echtzeit über einen virtuellen Mikrofoneingang mit −20 dBFS RMS", "tool": "scribeindex-playback", "version": "1.0" } ], "exclusions": [ { "scenarioId": "klinik-016", "reason": "Einwilligung zur Nutzung der Aufnahme vor Testbeginn widerrufen." }, { "scenarioId": "klinik-033", "reason": "Relevanzmenge auch nach fachlicher Durchsicht nicht eindeutig festlegbar." } ] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 48, "resamples": 2000, "seed": 2234884632, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "f630f8568c719864793b7aacf8e58f4627c6b7bdcdf5f3730abfda50ad6bfb37" } }, { "id": "healthjet/medical-scribes:therapy-notes", "provider": "healthjet", "providerName": "HealthJet", "test": "medical-scribes:therapy-notes", "label": "Psychotherapeutische Sitzungsdokumentation", "category": "medical-scribes", "task": "therapy-notes", "url": "https://scribeindex.com/anbieter/healthjet/test/#psychotherapie", "rankingUrl": "https://scribeindex.com/vergleich/medical-scribes/psychotherapie/", "testPeriod": "2026-Q2", "protocol": "1.0", "corpus": "de-therapie-v1", "scenarios": 36, "runs": 3, "completed": 108, "total": 108, "completionRatePercent": 100, "evaluation": { "output": "therapy-note", "semanticRubric": "clinical-facts-v1", "wordErrorRate": { "applicability": "not-applicable", "basis": "unavailable", "explanation": "Die gelieferte Ausgabe ist eine therapeutische Sitzungsnotiz. Bewertet werden dokumentationsrelevante Fakten und ihre Zuordnung, nicht die Wortfolge des Gesprächs." } }, "score": { "version": "2.2", "value": 63.7917, "ci95": [ 54.1, 69.6 ], "ci95Method": "paired-cluster-bootstrap-beta-critical", "pairedDifferences": [ { "provider": "playnvoice", "ci95": [ -16.56, -0.23 ] }, { "provider": "heidi", "ci95": [ -5.69, 14.59 ] }, { "provider": "tandem-health", "ci95": [ -11.39, 8.49 ] }, { "provider": "via-health", "ci95": [ -23.65, -5.4 ] }, { "provider": "dokudachs", "ci95": [ -21.73, -2.74 ] }, { "provider": "iptas", "ci95": [ -19.94, -3.22 ] }, { "provider": "clara-health", "ci95": [ -15.9, 0.8 ] }, { "provider": "lumanote", "ci95": [ -18.47, 0.44 ] }, { "provider": "noa-notes", "ci95": [ -6.47, 11.87 ] }, { "provider": "psynex", "ci95": [ -22.28, -5.7 ] }, { "provider": "upheal", "ci95": [ -2.08, 19.29 ] } ], "rank": 9, "cohortSize": 12, "criticalRatePercent": 6.481, "contentQuality": 88.673, "references": { "key": "therapy-notes", "qualityErrorPoints": 30, "correctionMinutes": 20, "criticalPercent": 20 }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 62.242, "weight": 0.6, "contribution": 37.345 }, { "key": "critical", "label": "Schwerwiegende Fehler", "value": 67.593, "weight": 0.2, "contribution": 13.519 }, { "key": "effort", "label": "Korrekturaufwand", "value": 52.851, "weight": 0.15, "contribution": 7.928 }, { "key": "reliability", "label": "Abschlussquote", "value": 100, "weight": 0.05, "contribution": 5 } ] }, "mainMetric": { "label": "Fakten-F1", "abbreviation": "F1", "value": 88.673, "direction": "higher", "ci95": [ 87.3, 89.95 ] }, "transcription": null, "facts": { "truePositive": 2826, "falsePositive": 224, "falseNegative": 498, "referenceFacts": 3324, "outputFacts": 3050, "precisionPercent": 92.656, "precisionCi95": [ 91.25, 94.08 ], "recallPercent": 85.018, "recallCi95": [ 82.9, 87.01 ], "f1Percent": 88.673, "f1Ci95": [ 87.3, 89.95 ] }, "latency": { "p50Seconds": 43.3, "p95Seconds": 102.6, "mode": "live-conversation", "start": "Beenden der Aufnahme", "end": "Vollständiges Dokument verfügbar" }, "correction": { "minutesPerAudioHour": 9.4298, "ci95": [ 8.3, 10.58 ], "estimate": { "outputs": 108, "audioSeconds": 310800, "minutes": 814.08, "ci": [ 8.3, 10.58 ], "audioHours": 86.331 } }, "additionalMetrics": [ { "key": "critical-documents", "label": "Dokumente mit schwerwiegendem Fehler", "numerator": 7, "denominator": 108, "valuePercent": 6.481, "direction": "lower", "definition": "Ausgaben mit mindestens einem potenziell schwerwiegenden medizinischen Fehler pro abgeschlossener Ausgabe. Bewertet wird jeder Fall nach einer festgelegten Fehlerrubrik. Fehler bei Medikation oder Verneinung zählen hier nur, wenn die Rubrik die betroffene Angabe als potenziell schwerwiegend einstuft. Die Zähler je Fehlerart enthalten auch folgenlose Abweichungen.", "ci95": [ 2.41, 16.28 ], "ci95Method": "wilson-design-effect", "designEffect": 1.9778 }, { "key": "unsupported-statements", "label": "Falsche oder unbelegte Aussagen", "numerator": 56, "denominator": 3050, "valuePercent": 1.836, "direction": "lower", "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.", "ci95": [ 1.23, 2.73 ], "ci95Method": "wilson-design-effect", "designEffect": 2.3551 }, { "key": "medical-term-errors", "label": "Fehler bei Fachbegriffen", "numerator": 39, "denominator": 1185, "valuePercent": 3.291, "direction": "lower", "definition": "Fachlich falsch wiedergegebene oder ausgelassene medizinische Konzepte pro annotiertem Fachkonzept der Referenz. Synonyme gelten bei gleicher Bedeutung als korrekt.", "ci95": [ 2.02, 5.3 ], "ci95Method": "wilson-design-effect", "designEffect": 2.4719 }, { "key": "medication-errors", "label": "Fehler bei Medikamenten und Dosierungen", "numerator": 0, "denominator": 75, "valuePercent": 0, "direction": "lower", "definition": "Falsch wiedergegebene oder ausgelassene Angaben zu Wirkstoff, Dosis, Einheit und Einnahme pro annotierter Medikationsangabe. Jede Angabe zählt höchstens einmal.", "ci95": [ 0, 10.21 ], "ci95Method": "wilson-design-effect", "designEffect": 2.2198 }, { "key": "negation-errors", "label": "Fehler bei Verneinungen", "numerator": 17, "denominator": 435, "valuePercent": 3.908, "direction": "lower", "definition": "Verlorene, hinzugefügte oder umgekehrte Negationen pro Referenzaussage mit verneintem oder ausdrücklich bestätigtem Befund. Eine Aussage zählt höchstens einmal.", "ci95": [ 1.82, 8.16 ], "ci95Method": "wilson-design-effect", "designEffect": 2.7303 }, { "key": "temporal-errors", "label": "Fehler bei zeitlichen Angaben", "numerator": 55, "denominator": 969, "valuePercent": 5.676, "direction": "lower", "definition": "Falsch zugeordnete oder ausgelassene Zeitpunkte, Dauern und zeitliche Beziehungen pro annotierter zeitlicher Referenzangabe.", "ci95": [ 3.78, 8.43 ], "ci95Method": "wilson-design-effect", "designEffect": 2.472 }, { "key": "attribution-errors", "label": "Fehler bei der Zuordnung", "numerator": 63, "denominator": 1908, "valuePercent": 3.302, "direction": "lower", "definition": "Falsche oder ausgelassene Zuordnung von Aussagen zu Patient, behandelnder Person oder Drittperson pro Referenzfakt mit erforderlicher Quellenzuordnung.", "ci95": [ 2.21, 4.91 ], "ci95Method": "wilson-design-effect", "designEffect": 2.7304 }, { "key": "risk-assessment-errors", "label": "Fehler bei Risikohinweisen", "numerator": 1, "denominator": 171, "valuePercent": 0.585, "direction": "lower", "definition": "Ausgelassene, hinzugefügte oder falsch eingeordnete Aussagen zu Selbstgefährdung und Schutzfaktoren pro annotierter risikorelevanter Referenzaussage. Bewertet wird anhand des Gesprächs nach einer festgelegten Rubrik.", "ci95": [ 0.05, 6.2 ], "ci95Method": "wilson-design-effect", "designEffect": 2.4129 } ], "errorTypes": [ { "label": "Nicht erfasste Referenzfakten", "count": 498 }, { "label": "Falsche oder unbelegte Aussagen", "count": 56 }, { "label": "Zutreffende, aber nicht relevante Aussagen", "count": 168 } ], "failedRuns": [], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "HealthJet Web-Dashboard, psychotherapeutische Dokumentation, Stand 2. Quartal 2026", "modelVersions": null, "template": { "id": "si-therapie-verlauf", "version": "1.0" }, "instruction": { "id": "si-instr-therapie", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Aufnahme in der Anwendung über einen virtuellen Mikrofoneingang", "language": "Deutsch", "outputLanguage": "Deutsch", "template": "Eigene Vorlage für Therapieverläufe", "mode": "Gespräch aufnehmen, Vorlage auswählen und Dokumenterstellung auslösen", "extraContext": false, "manualCorrection": false }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": null }, "corpusMetadata": { "version": "1.0", "manifestSha256": "62780a1c05eb9562aa4bdbee3b73aedcf448ce0e8e6ba5fd85d7e17baa3b4bd8", "referenceVersion": "1.0", "referenceSha256": "62c50ae99e53e02e016470714f0a6524d90a92407fe393d48adae95f19a8ee2a", "sourceScenarioCount": 36, "evaluatedScenarioCount": 36, "totalAudioSeconds": 103620, "durationSeconds": { "minimum": 2220, "maximum": 3540 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 1 } ], "conversions": [ { "description": "Einspielung der Gesprächsaufnahme in Echtzeit über einen virtuellen Mikrofoneingang mit −20 dBFS RMS", "tool": "scribeindex-playback", "version": "1.0" } ], "exclusions": [] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 36, "resamples": 2000, "seed": 3733937332, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "0c35a46bc36056c43d2f55385441679c130a0d1ef5bcb7bd6cb2f19411cef23a" } }, { "id": "healthjet/medical-scribes:anamnesis-report", "provider": "healthjet", "providerName": "HealthJet", "test": "medical-scribes:anamnesis-report", "label": "Anamneseberichte", "category": "medical-scribes", "task": "anamnesis-report", "url": "https://scribeindex.com/anbieter/healthjet/test/#anamneseberichte", "rankingUrl": "https://scribeindex.com/vergleich/medical-scribes/anamneseberichte/", "testPeriod": "2026-Q2", "protocol": "1.0", "corpus": "de-anamnese-v1", "scenarios": 24, "runs": 2, "completed": 48, "total": 48, "completionRatePercent": 100, "evaluation": { "output": "anamnesis-report", "semanticRubric": "anamnesis-facts-v1", "wordErrorRate": { "applicability": "not-applicable", "basis": "unavailable", "explanation": "Bewertet wird der ausführliche Anamnesebericht aus dem aufgezeichneten Gespräch. Gegliederte Abschnitte, indirekte Rede und Umformulierungen werden semantisch abgeglichen, nicht gegen die Wortfolge des Audios bewertet." } }, "score": { "version": "2.2", "value": 73.892, "ci95": [ 61.1, 79.4 ], "ci95Method": "paired-cluster-bootstrap-beta-critical", "pairedDifferences": [ { "provider": "tippiti", "ci95": [ -21.77, 1.93 ] }, { "provider": "lumanote", "ci95": [ -8.17, 17.88 ] } ], "rank": 2, "cohortSize": 3, "criticalRatePercent": 6.25, "contentQuality": 91.902, "references": { "key": "anamnesis-report", "qualityErrorPoints": 30, "correctionMinutes": 84, "criticalPercent": 20 }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 73.006, "weight": 0.6, "contribution": 43.804 }, { "key": "critical", "label": "Schwerwiegende Fehler", "value": 68.75, "weight": 0.2, "contribution": 13.75 }, { "key": "effort", "label": "Korrekturaufwand", "value": 75.589, "weight": 0.15, "contribution": 11.338 }, { "key": "reliability", "label": "Abschlussquote", "value": 100, "weight": 0.05, "contribution": 5 } ] }, "mainMetric": { "label": "Fakten-F1", "abbreviation": "F1", "value": 91.902, "direction": "higher", "ci95": [ 90.92, 92.8 ] }, "transcription": null, "facts": { "truePositive": 7019, "falsePositive": 330, "falseNegative": 907, "referenceFacts": 7926, "outputFacts": 7349, "precisionPercent": 95.51, "precisionCi95": [ 94.44, 96.6 ], "recallPercent": 88.557, "recallCi95": [ 86.97, 90.05 ], "f1Percent": 91.902, "f1Ci95": [ 90.92, 92.8 ] }, "latency": { "p50Seconds": 49.5, "p95Seconds": 83, "mode": "live-conversation", "start": "Beenden der Aufnahme", "end": "Vollständiges Dokument verfügbar" }, "correction": { "minutesPerAudioHour": 20.5052, "ci95": [ 17.9, 23.22 ], "estimate": { "outputs": 48, "audioSeconds": 173520, "minutes": 988.39, "ci": [ 17.9, 23.22 ], "audioHours": 48.202 } }, "additionalMetrics": [ { "key": "critical-documents", "label": "Dokumente mit schwerwiegendem Fehler", "numerator": 3, "denominator": 48, "valuePercent": 6.25, "direction": "lower", "definition": "Ausgaben mit mindestens einem potenziell schwerwiegenden medizinischen Fehler pro abgeschlossener Ausgabe. Bewertet wird jeder Fall nach einer festgelegten Fehlerrubrik. Fehler bei Medikation oder Verneinung zählen hier nur, wenn die Rubrik die betroffene Angabe als potenziell schwerwiegend einstuft. Die Zähler je Fehlerart enthalten auch folgenlose Abweichungen.", "ci95": [ 1.73, 20.08 ], "ci95Method": "wilson-design-effect", "designEffect": 1.4889 }, { "key": "unsupported-statements", "label": "Falsche oder unbelegte Aussagen", "numerator": 164, "denominator": 7349, "valuePercent": 2.232, "direction": "lower", "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.", "ci95": [ 1.78, 2.8 ], "ci95Method": "wilson-design-effect", "designEffect": 2.2309 }, { "key": "medical-term-errors", "label": "Fehler bei Fachbegriffen", "numerator": 57, "denominator": 2286, "valuePercent": 2.493, "direction": "lower", "definition": "Fachlich falsch wiedergegebene oder ausgelassene medizinische Konzepte pro annotiertem Fachkonzept der Referenz. Synonyme gelten bei gleicher Bedeutung als korrekt.", "ci95": [ 1.79, 3.46 ], "ci95Method": "wilson-design-effect", "designEffect": 1.637 }, { "key": "medication-errors", "label": "Fehler bei Medikamenten und Dosierungen", "numerator": 9, "denominator": 306, "valuePercent": 2.941, "direction": "lower", "definition": "Falsch wiedergegebene oder ausgelassene Angaben zu Wirkstoff, Dosis, Einheit und Einnahme pro annotierter Medikationsangabe. Jede Angabe zählt höchstens einmal.", "ci95": [ 1.31, 6.45 ], "ci95Method": "wilson-design-effect", "designEffect": 1.6217 }, { "key": "negation-errors", "label": "Fehler bei Verneinungen", "numerator": 11, "denominator": 836, "valuePercent": 1.316, "direction": "lower", "definition": "Verlorene, hinzugefügte oder umgekehrte Negationen pro Referenzaussage mit verneintem oder ausdrücklich bestätigtem Befund. Eine Aussage zählt höchstens einmal.", "ci95": [ 0.59, 2.9 ], "ci95Method": "wilson-design-effect", "designEffect": 1.9327 }, { "key": "temporal-errors", "label": "Fehler bei zeitlichen Angaben", "numerator": 66, "denominator": 1828, "valuePercent": 3.611, "direction": "lower", "definition": "Falsch zugeordnete oder ausgelassene Zeitpunkte, Dauern und zeitliche Beziehungen pro annotierter zeitlicher Referenzangabe.", "ci95": [ 2.63, 4.94 ], "ci95Method": "wilson-design-effect", "designEffect": 1.7744 }, { "key": "attribution-errors", "label": "Fehler bei der Zuordnung", "numerator": 99, "denominator": 5186, "valuePercent": 1.909, "direction": "lower", "definition": "Falsche oder ausgelassene Zuordnung von Aussagen zu Patient, behandelnder Person oder Drittperson pro Referenzfakt mit erforderlicher Quellenzuordnung.", "ci95": [ 1.42, 2.56 ], "ci95Method": "wilson-design-effect", "designEffect": 2.2365 }, { "key": "detail-retention", "label": "Detailerhalt", "numerator": 4116, "denominator": 4766, "valuePercent": 86.362, "direction": "higher", "definition": "Korrekt erhaltene erforderliche Detailfakten pro vorab markiertem Detailfakt der vollständigen Anamnesereferenz. Angaben zu Vorgeschichte, Beschwerden, Verlauf, Behandlung und Lebensumständen werden getrennt annotiert. Fehlende Angaben sind keine Treffer.", "ci95": [ 84.49, 88.04 ], "ci95Method": "wilson-design-effect", "designEffect": 3.3007 }, { "key": "template-completeness", "label": "Vollständige Berichtsgliederung", "numerator": 819, "denominator": 876, "valuePercent": 93.493, "direction": "higher", "definition": "Vorhandene und inhaltlich korrekt befüllte Pflichtabschnitte pro aufgabenbezogen erforderlichem Abschnitt. Je nach Gesprächsinhalt sind 16 bis 20 Abschnitte der Berichtsvorlage erforderlich. Nicht erhobene Inhalte werden als nicht erhoben markiert und nicht ergänzt.", "ci95": [ 91.12, 95.26 ], "ci95Method": "wilson-design-effect", "designEffect": 1.5762 }, { "key": "contradiction-handling", "label": "Erhalt widersprüchlicher Angaben", "numerator": 88, "denominator": 102, "valuePercent": 86.275, "direction": "higher", "definition": "Korrekt getrennt und mit ihrer Quelle wiedergegebene widersprüchliche Angaben pro vorab annotiertem Widerspruchspaar. Ausgelassene oder ohne Quellenbasis aufgelöste Widersprüche sind keine Treffer.", "ci95": [ 73.91, 93.31 ], "ci95Method": "wilson-design-effect", "designEffect": 2.1032 }, { "key": "unsupported-inferences", "label": "Nicht belegte Schlussfolgerungen", "numerator": 49, "denominator": 620, "valuePercent": 7.903, "direction": "lower", "definition": "Nicht durch Gespräch oder bereitgestellten Kontext belegte Schlussfolgerungen pro tatsächlich ausgegebener Schlussfolgerung. Eine als fremde Einschätzung gekennzeichnete Aussage zählt nur bei korrekter Quellenzuordnung als belegt.", "ci95": [ 5.11, 12.02 ], "ci95Method": "wilson-design-effect", "designEffect": 2.5845 } ], "errorTypes": [ { "label": "Nicht erfasste Referenzfakten", "count": 907 }, { "label": "Falsche oder unbelegte Aussagen", "count": 164 }, { "label": "Zutreffende, aber nicht relevante Aussagen", "count": 166 } ], "failedRuns": [], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "HealthJet Web-Dashboard, Eigenanamnese, Stand 2. Quartal 2026", "modelVersions": null, "template": { "id": "si-anamnese-bericht", "version": "1.0" }, "instruction": { "id": "si-instr-anamnese", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Aufnahme in der Anwendung über einen virtuellen Mikrofoneingang", "language": "Deutsch", "outputLanguage": "Deutsch", "template": "Eigene Vorlage mit der vorab fixierten Berichtsgliederung", "mode": "Gesprächsteil einzeln ausarbeiten, keine Aktenzusammenführung oder fachliche Beurteilung", "reportStyle": "Ausführlich, thematisch gegliedert, indirekte Rede", "extraContext": false, "manualCorrection": false }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": null }, "corpusMetadata": { "version": "1.0", "manifestSha256": "fd43d74a52c8f38d1962a41126bf5f14f7d1f35990ef9e325e5a5c9b4a8e750e", "referenceVersion": "1.0", "referenceSha256": "f29faa81a90ca61e58fc49886c47b58ec1ff812e17abf3c5ffd0a6f9c54a8417", "sourceScenarioCount": 25, "evaluatedScenarioCount": 24, "totalAudioSeconds": 86760, "durationSeconds": { "minimum": 2220, "maximum": 5100 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 2 } ], "conversions": [ { "description": "Einspielung der Gesprächsaufnahme in Echtzeit über einen virtuellen Mikrofoneingang mit −20 dBFS RMS", "tool": "scribeindex-playback", "version": "1.0" } ], "exclusions": [ { "scenarioId": "anamnese-009", "reason": "Aufnahme vorzeitig abgebrochen, Gespräch unvollständig." } ] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 24, "resamples": 2000, "seed": 4114781480, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "507123a351cd2e8740278c579658de54ed5f0b6c9b5e1c6d7d6e788ac20cc2a3" } }, { "id": "healthjet/medizinische-transkription", "provider": "healthjet", "providerName": "HealthJet", "test": "medizinische-transkription", "label": "Medizinische Spracherkennung", "category": "medizinische-transkription", "url": "https://scribeindex.com/anbieter/healthjet/test/#medizinische-transkription", "rankingUrl": "https://scribeindex.com/vergleich/medizinische-spracherkennung/", "testPeriod": "2026-Q2", "protocol": "1.0", "corpus": "de-diktat-v1", "scenarios": 62, "runs": 3, "completed": 186, "total": 186, "completionRatePercent": 100, "evaluation": { "output": "edited-transcript", "semanticRubric": "clinical-facts-v1", "wordErrorRate": { "applicability": "diagnostic", "basis": "delivered-output", "explanation": "Der Dienst liefert eine KI-überarbeitete Ausgabe, keine wortnahe Abschrift. Die WER vergleicht sie Wort für Wort mit dem Diktat. Gewollte Korrekturen, Umstellungen und Glättungen zählen dabei mit. Der Wert zeigt deshalb vor allem, wie weit der Text vom Wortlaut abweicht, nicht wie viele Fehler er enthält. Ob die Inhalte stimmen, misst der Faktenabgleich. Die Erkennungsfehler zählen falsch erkannte oder inhaltlich veränderte Wörter, bezogen auf dieselben Referenzwörter. Bei wortnaher Ausgabe zählt jede Abweichung vom Wortlaut, bei KI-überarbeiteter Ausgabe bleiben zulässige Umformulierungen außen vor. Vergleiche stehen deshalb nur innerhalb derselben Ausgabeart. Die WER geht nicht in den ScribeIndex-Score ein." } }, "score": { "version": "2.2", "value": 91.6256, "ci95": [ 87, 92.8 ], "ci95Method": "paired-cluster-bootstrap-beta-critical", "pairedDifferences": [ { "provider": "dragon-medical-one", "ci95": [ 1.92, 10.81 ] }, { "provider": "heidi", "ci95": [ -5.82, 1.57 ] }, { "provider": "tippiti", "ci95": [ -9.16, -1.94 ] }, { "provider": "dragon-copilot", "ci95": [ 3.19, 12.08 ] }, { "provider": "mira-medical", "ci95": [ 5.32, 14.93 ] }, { "provider": "dictnow", "ci95": [ 5.1, 14.45 ] }, { "provider": "fluency-direct", "ci95": [ 7.4, 15.72 ] }, { "provider": "idana-flow", "ci95": [ -5.8, 1.8 ] } ], "rank": 4, "cohortSize": 9, "criticalRatePercent": 0.538, "contentQuality": 97.209, "references": { "key": "medizinische-transkription", "qualityErrorPoints": 30, "correctionMinutes": 141, "criticalPercent": 15 }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 90.696, "weight": 0.6, "contribution": 54.417 }, { "key": "critical", "label": "Schwerwiegende Fehler", "value": 96.416, "weight": 0.2, "contribution": 19.283 }, { "key": "effort", "label": "Korrekturaufwand", "value": 86.167, "weight": 0.15, "contribution": 12.925 }, { "key": "reliability", "label": "Abschlussquote", "value": 100, "weight": 0.05, "contribution": 5 } ] }, "mainMetric": { "label": "Fakten-F1", "abbreviation": "F1", "value": 97.209, "direction": "higher", "ci95": [ 96.74, 97.67 ] }, "transcription": { "referenceWords": 103161, "substitutions": 3297, "deletions": 2139, "insertions": 2603, "errors": 8039, "werPercent": 7.793, "ci95": [ 7.26, 8.32 ], "comparable": false }, "facts": { "truePositive": 6495, "falsePositive": 163, "falseNegative": 210, "referenceFacts": 6705, "outputFacts": 6658, "precisionPercent": 97.552, "precisionCi95": [ 96.81, 98.2 ], "recallPercent": 96.868, "recallCi95": [ 96.25, 97.48 ], "f1Percent": 97.209, "f1Ci95": [ 96.74, 97.67 ] }, "latency": { "p50Seconds": 19.9, "p95Seconds": 41.6, "mode": "live-dictation", "start": "Ende des letzten zugespielten Wortes", "end": "Stabile nutzbare Textausgabe" }, "correction": { "minutesPerAudioHour": 19.5043, "ci95": [ 17.81, 21.27 ], "estimate": { "outputs": 186, "audioSeconds": 56220, "minutes": 304.56, "ci": [ 17.81, 21.27 ], "audioHours": 15.615 } }, "additionalMetrics": [ { "key": "recognition-errors", "label": "Erkennungsfehler", "numerator": 2663, "denominator": 103161, "valuePercent": 2.581, "direction": "lower", "definition": "Falsch erkannte, ausgelassene oder eingefügte Wörter pro Referenzwort, ohne zulässige Umformulierungen. Bei wortnaher Ausgabe entspricht der Wert der WER, dort zählt jede Abweichung vom Wortlaut. Bei KI-überarbeiteter Ausgabe zählen nur falsch erkannte oder inhaltlich veränderte Wörter. Für wortnahe Dienste ist die Zählung damit strenger.", "ci95": [ 2.34, 2.84 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "cer", "label": "Zeichenfehlerrate · CER", "numerator": 33656, "denominator": 743736, "valuePercent": 4.525, "direction": "lower", "definition": "Zeichenabweichungen pro Referenzzeichen nach NFC-Normalisierung, einheitlicher Groß- und Kleinschreibung, entfernten Satzzeichen und zu einem Leerzeichen zusammengefasstem Leerraum. Leerzeichen zählen als Zeichen.", "ci95": [ 4.26, 4.8 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "critical-documents", "label": "Dokumente mit schwerwiegendem Fehler", "numerator": 1, "denominator": 186, "valuePercent": 0.538, "direction": "lower", "definition": "Ausgaben mit mindestens einem potenziell schwerwiegenden medizinischen Fehler pro abgeschlossener Ausgabe. Bewertet wird jeder Fall nach einer festgelegten Fehlerrubrik. Fehler bei Medikation oder Verneinung zählen hier nur, wenn die Rubrik die betroffene Angabe als potenziell schwerwiegend einstuft. Die Zähler je Fehlerart enthalten auch folgenlose Abweichungen.", "ci95": [ 0.05, 4.91 ], "ci95Method": "wilson-design-effect", "designEffect": 1.9778 }, { "key": "unsupported-statements", "label": "Falsche oder unbelegte Aussagen", "numerator": 122, "denominator": 6658, "valuePercent": 1.832, "direction": "lower", "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.", "ci95": [ 1.38, 2.43 ], "ci95Method": "wilson-design-effect", "designEffect": 2.5363 }, { "key": "medical-term-errors", "label": "Fehler bei Fachbegriffen", "numerator": 155, "denominator": 11205, "valuePercent": 1.383, "direction": "lower", "definition": "Fachlich falsch wiedergegebene oder ausgelassene medizinische Konzepte pro annotiertem Fachkonzept der Referenz. Synonyme gelten bei gleicher Bedeutung als korrekt.", "ci95": [ 1.05, 1.82 ], "ci95Method": "wilson-design-effect", "designEffect": 3.0102 }, { "key": "medication-errors", "label": "Fehler bei Medikamenten und Dosierungen", "numerator": 16, "denominator": 762, "valuePercent": 2.1, "direction": "lower", "definition": "Falsch wiedergegebene oder ausgelassene Angaben zu Wirkstoff, Dosis, Einheit und Einnahme pro annotierter Medikationsangabe. Jede Angabe zählt höchstens einmal.", "ci95": [ 0.98, 4.41 ], "ci95Method": "wilson-design-effect", "designEffect": 2.4965 }, { "key": "negation-errors", "label": "Fehler bei Verneinungen", "numerator": 4, "denominator": 1107, "valuePercent": 0.361, "direction": "lower", "definition": "Verlorene, hinzugefügte oder umgekehrte Negationen pro Referenzaussage mit verneintem oder ausdrücklich bestätigtem Befund. Eine Aussage zählt höchstens einmal.", "ci95": [ 0.08, 1.53 ], "ci95Method": "wilson-design-effect", "designEffect": 2.5899 }, { "key": "temporal-errors", "label": "Fehler bei zeitlichen Angaben", "numerator": 28, "denominator": 1455, "valuePercent": 1.924, "direction": "lower", "definition": "Falsch zugeordnete oder ausgelassene Zeitpunkte, Dauern und zeitliche Beziehungen pro annotierter zeitlicher Referenzangabe.", "ci95": [ 1.06, 3.47 ], "ci95Method": "wilson-design-effect", "designEffect": 2.6964 }, { "key": "attribution-errors", "label": "Fehler bei der Zuordnung", "numerator": 28, "denominator": 2415, "valuePercent": 1.159, "direction": "lower", "definition": "Falsche oder ausgelassene Zuordnung von Aussagen zu Patient, behandelnder Person oder Drittperson pro Referenzfakt mit erforderlicher Quellenzuordnung.", "ci95": [ 0.65, 2.05 ], "ci95Method": "wilson-design-effect", "designEffect": 2.4518 }, { "key": "dictation-command-accuracy", "label": "Umgesetzte Diktatbefehle", "numerator": 1024, "denominator": 1326, "valuePercent": 77.225, "direction": "higher", "definition": "Richtig ausgeführte festgelegte Satzzeichen-, Absatz- und Korrekturbefehle pro ausgesprochenem Referenzbefehl. Der Befehl soll wirken und nicht als Befehlswort im Text stehen.", "ci95": [ 72.68, 81.21 ], "ci95Method": "wilson-design-effect", "designEffect": 3.5814 }, { "key": "self-correction-accuracy", "label": "Umgesetzte Selbstkorrekturen", "numerator": 199, "denominator": 252, "valuePercent": 78.968, "direction": "higher", "definition": "Spontane Selbstkorrekturen, nach denen das Dokument nur die endgültige Angabe enthält, pro annotierter Selbstkorrektur der Referenz. Steht die verworfene Angabe noch im Text oder ersetzt sie die endgültige, ist die Selbstkorrektur nicht umgesetzt. Ob eine Regel oder ein Sprachmodell sie umsetzt, spielt keine Rolle.", "ci95": [ 70.41, 85.56 ], "ci95Method": "wilson-design-effect", "designEffect": 2.3037 }, { "key": "edit-instruction-accuracy", "label": "Umgesetzte Bearbeitungsanweisungen", "numerator": 23, "denominator": 90, "valuePercent": 25.556, "direction": "higher", "definition": "Frei formulierte Anweisungen an das Dokument, deren Wirkung das gelieferte Dokument zeigt, pro annotierter Anweisung der Referenz. Eine solche Anweisung ändert eine früher genannte Angabe, ergänzt Inhalt an einer früheren Stelle oder verschiebt einen Abschnitt. Steht sie wörtlich im Text oder bleibt sie ohne Wirkung, ist sie nicht umgesetzt. Ob eine Regel oder ein Sprachmodell sie umsetzt, spielt keine Rolle.", "ci95": [ 13.88, 42.23 ], "ci95Method": "wilson-design-effect", "designEffect": 2.6683 } ], "errorTypes": [ { "label": "Nicht erfasste Referenzfakten", "count": 210 }, { "label": "Falsche oder unbelegte Aussagen", "count": 122 }, { "label": "Zutreffende, aber nicht relevante Aussagen", "count": 41 } ], "failedRuns": [], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "HealthJet Web-Dashboard, Smart-Diktat mit Browseraufnahme, Stand 2. Quartal 2026", "modelVersions": null, "template": null, "instruction": { "id": "si-instr-diktat-ausarbeitung", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Aufnahme in der Anwendung über einen virtuellen Mikrofoneingang", "language": "Deutsch", "outputLanguage": "Deutsch", "mode": "Smart-Diktat, Verarbeitung nach Ende der Aufnahme", "outputStyle": "KI-überarbeiteter Diktattext ohne Dokumentvorlage", "extraContext": false, "manualCorrection": false }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": { "id": "de-med-wer", "version": "1.0" } }, "corpusMetadata": { "version": "1.0", "manifestSha256": "6768f28bb70c0457e31c2eaafd4f3c498c05b4aec26501537825bbaa22733060", "referenceVersion": "1.0", "referenceSha256": "18772162e86230bce7cfb8a2f52f90244df2b1cdf52bdb6a646494dd3596dbb9", "sourceScenarioCount": 64, "evaluatedScenarioCount": 62, "totalAudioSeconds": 18720, "durationSeconds": { "minimum": 60, "maximum": 900 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 1 }, { "codec": "MP3 128 kbit/s", "sampleRateHertz": 44100, "channels": 1 }, { "codec": "AAC-LC (M4A)", "sampleRateHertz": 44100, "channels": 1 } ], "conversions": [ { "description": "Kontrollierte Wiedergabe der Referenzaufnahmen über einen virtuellen Mikrofoneingang mit −20 dBFS RMS in Echtzeit", "tool": "scribeindex-playback", "version": "1.0" }, { "description": "Dekodierung komprimierter Quelldateien zu PCM 48 kHz mono vor der Wiedergabe", "tool": "FFmpeg", "version": "7.1.1" } ], "exclusions": [ { "scenarioId": "diktat-023", "reason": "Die sprechende Person nannte versehentlich einen echten Namen. Die Aufnahme wurde vor der Referenzfreigabe zurückgezogen." }, { "scenarioId": "diktat-057", "reason": "Endgültige Angabe einer Selbstkorrektur auch nach Prüfung der Aufnahme nicht eindeutig hörbar." } ] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 62, "resamples": 2000, "seed": 4214870755, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "1feb69fb1f1a9ee5134ab583a5bf6a80625f840f53d2d833da91149ac9f1550a" } } ] }