{
 "schemaVersion": "1.0",
 "name": "ScribeIndex Testergebnisse: Heidi Health",
 "license": {
  "name": "CC BY 4.0",
  "url": "https://creativecommons.org/licenses/by/4.0/deed.de"
 },
 "citation": "ScribeIndex (2026): Testergebnisse Heidi Health. https://scribeindex.com/anbieter/heidi/test/",
 "corpora": [
  {
   "id": "de-klinik-v1",
   "version": "1.0",
   "title": "Ärztliche Behandlungsgespräche",
   "category": "medical-scribes",
   "task": "clinical-notes",
   "protocol": "1.0",
   "description": "Im Rollenspiel geführte Behandlungsgespräche mit zwei bis vier Personen, darunter Erstanamnese, Verlauf, Medikationsbesprechung, Befundbesprechung und kurzes psychiatrisches Erstgespräch. Die Gespräche liegen als unterschiedliche Raum- und Smartphoneaufnahmen vor.",
   "sourceScenarioCount": 50,
   "scenarioCount": 48,
   "runs": 3,
   "exclusions": [
    {
     "scenarioId": "klinik-016",
     "reason": "Einwilligung zur Nutzung der Aufnahme vor Testbeginn widerrufen."
    },
    {
     "scenarioId": "klinik-033",
     "reason": "Relevanzmenge auch nach fachlicher Durchsicht nicht eindeutig festlegbar."
    }
   ],
   "strata": [
    {
     "dimension": "Gesprächsform",
     "groups": [
      {
       "label": "Erstanamnese",
       "count": 11
      },
      {
       "label": "Verlaufsgespräch",
       "count": 12
      },
      {
       "label": "Medikationsbesprechung",
       "count": 8
      },
      {
       "label": "Befundbesprechung",
       "count": 10
      },
      {
       "label": "Kurzes psychiatrisches Erstgespräch",
       "count": 7
      }
     ]
    },
    {
     "dimension": "Fachrichtung",
     "groups": [
      {
       "label": "Allgemeinmedizin",
       "count": 14
      },
      {
       "label": "Innere Medizin",
       "count": 10
      },
      {
       "label": "Pädiatrie",
       "count": 6
      },
      {
       "label": "Orthopädie",
       "count": 6
      },
      {
       "label": "Neurologie",
       "count": 5
      },
      {
       "label": "Psychiatrie",
       "count": 7
      }
     ]
    },
    {
     "dimension": "Aufnahme",
     "groups": [
      {
       "label": "Raummikrofon, ruhig",
       "count": 20
      },
      {
       "label": "Smartphone auf dem Tisch",
       "count": 17
      },
      {
       "label": "Hintergrundgeräusche",
       "count": 11
      }
     ]
    },
    {
     "dimension": "Sprecherzahl",
     "groups": [
      {
       "label": "Zwei Personen",
       "count": 29
      },
      {
       "label": "Drei Personen",
       "count": 13
      },
      {
       "label": "Vier Personen",
       "count": 6
      }
     ]
    }
   ],
   "speakers": {
    "min": 2,
    "max": 4
   },
   "durationSeconds": {
    "min": 360,
    "max": 2400,
    "median": 540,
    "total": 34860
   },
   "audioFormats": [
    {
     "codec": "AAC-LC (M4A)",
     "sampleRateHertz": 48000,
     "channels": 1
    },
    {
     "codec": "PCM 24 Bit (WAV)",
     "sampleRateHertz": 48000,
     "channels": 2
    }
   ],
   "reference": {
    "version": "1.0",
    "words": 71893,
    "characters": 469914,
    "charactersPerWord": 6.536,
    "facts": 1379,
    "units": [
     {
      "key": "medicalTerms",
      "label": "Annotierte medizinische Fachkonzepte",
      "count": 1169
     },
     {
      "key": "medicationStatements",
      "label": "Medikationsangaben (Wirkstoff, Dosis, Einheit, Einnahme)",
      "count": 207
     },
     {
      "key": "polarityStatements",
      "label": "Verneinte oder ausdrücklich bestätigte Befunde",
      "count": 274
     },
     {
      "key": "temporalFacts",
      "label": "Zeitliche Referenzangaben",
      "count": 313
     },
     {
      "key": "attributionFacts",
      "label": "Fakten mit erforderlicher Quellenzuordnung",
      "count": 722
     }
    ]
   },
   "annotation": {
    "independentAnnotations": 1,
    "adjudication": "Atomare Fakten und Relevanzmenge werden mit der Gesprächsvorlage festgelegt und nach der Aufnahme am Gesprochenen bestätigt. Unklare Stellen prüft eine Fachperson, danach wird die Referenz eingefroren.",
    "rubric": {
     "id": "clinical-facts-v1",
     "version": "1.0"
    }
   },
   "scorer": {
    "name": "scribeindex-eval",
    "version": "1.0"
   },
   "normalization": null,
   "manifestSha256": "07e4ff2bb9cb21c1b350d732b5e593f4f1830354a230c75954136f03552f7ba5",
   "referenceSha256": "9ddba13742d943cd28b478c231a53d71ed064e1ba7681896e21faedfe2bb2207",
   "uncertainty": {
    "method": "paired-cluster-bootstrap",
    "clusterUnit": "scenario",
    "resamples": 2000,
    "seed": 2234884632,
    "intervalMethod": "percentile",
    "aggregation": "pooled-counts",
    "pairedSampleManifestSha256": "f630f8568c719864793b7aacf8e58f4627c6b7bdcdf5f3730abfda50ad6bfb37"
   },
   "frozen": "2026-Q2",
   "testPeriod": "2026-Q2/2026-Q3",
   "methodUrl": "https://scribeindex.com/methodik/medical-scribes/"
  },
  {
   "id": "de-therapie-v1",
   "version": "1.0",
   "title": "Psychotherapeutische Sitzungen",
   "category": "medical-scribes",
   "task": "therapy-notes",
   "protocol": "1.0",
   "description": "Im Rollenspiel geführte Therapiesitzungen aus Verhaltenstherapie, tiefenpsychologisch fundierter Therapie und systemischen Paar- oder Familiengesprächen. 17 der 36 Sitzungen enthalten Aussagen zu Selbstgefährdung oder Schutzfaktoren.",
   "sourceScenarioCount": 36,
   "scenarioCount": 36,
   "runs": 3,
   "exclusions": [],
   "strata": [
    {
     "dimension": "Verfahren",
     "groups": [
      {
       "label": "Verhaltenstherapie",
       "count": 15
      },
      {
       "label": "Tiefenpsychologisch fundiert",
       "count": 12
      },
      {
       "label": "Systemisch (Paar oder Familie)",
       "count": 5
      },
      {
       "label": "Erstgespräch und Probatorik",
       "count": 4
      }
     ]
    },
    {
     "dimension": "Risikoinhalt",
     "groups": [
      {
       "label": "Mit Risikoaussagen",
       "count": 17
      },
      {
       "label": "Ohne Risikoaussagen",
       "count": 19
      }
     ]
    }
   ],
   "speakers": {
    "min": 2,
    "max": 4
   },
   "durationSeconds": {
    "min": 2220,
    "max": 3540,
    "median": 2820,
    "total": 103620
   },
   "audioFormats": [
    {
     "codec": "PCM 24 Bit (WAV)",
     "sampleRateHertz": 48000,
     "channels": 1
    }
   ],
   "reference": {
    "version": "1.0",
    "words": 185226,
    "characters": 1162943,
    "charactersPerWord": 6.279,
    "facts": 1108,
    "units": [
     {
      "key": "medicalTerms",
      "label": "Annotierte medizinische Fachkonzepte",
      "count": 395
     },
     {
      "key": "medicationStatements",
      "label": "Medikationsangaben (Wirkstoff, Dosis, Einheit, Einnahme)",
      "count": 25
     },
     {
      "key": "polarityStatements",
      "label": "Verneinte oder ausdrücklich bestätigte Befunde",
      "count": 145
     },
     {
      "key": "temporalFacts",
      "label": "Zeitliche Referenzangaben",
      "count": 323
     },
     {
      "key": "attributionFacts",
      "label": "Fakten mit erforderlicher Quellenzuordnung",
      "count": 636
     },
     {
      "key": "riskFacts",
      "label": "Risikorelevante Referenzaussagen",
      "count": 57
     }
    ]
   },
   "annotation": {
    "independentAnnotations": 1,
    "adjudication": "Dokumentationsrelevante Fakten und Risikoaussagen werden mit der Gesprächsvorlage festgelegt und nach der Aufnahme am Gesprochenen bestätigt. Risikoaussagen prüft immer eine Fachperson.",
    "rubric": {
     "id": "clinical-facts-v1",
     "version": "1.0"
    }
   },
   "scorer": {
    "name": "scribeindex-eval",
    "version": "1.0"
   },
   "normalization": null,
   "manifestSha256": "62780a1c05eb9562aa4bdbee3b73aedcf448ce0e8e6ba5fd85d7e17baa3b4bd8",
   "referenceSha256": "62c50ae99e53e02e016470714f0a6524d90a92407fe393d48adae95f19a8ee2a",
   "uncertainty": {
    "method": "paired-cluster-bootstrap",
    "clusterUnit": "scenario",
    "resamples": 2000,
    "seed": 3733937332,
    "intervalMethod": "percentile",
    "aggregation": "pooled-counts",
    "pairedSampleManifestSha256": "0c35a46bc36056c43d2f55385441679c130a0d1ef5bcb7bd6cb2f19411cef23a"
   },
   "frozen": "2026-Q2",
   "testPeriod": "2026-Q2/2026-Q3",
   "methodUrl": "https://scribeindex.com/methodik/medical-scribes/"
  },
  {
   "id": "de-pflege-v1",
   "version": "1.0",
   "title": "Pflegedokumentation",
   "category": "medical-scribes",
   "task": "nursing-notes",
   "protocol": "1.0",
   "description": "Nachgesprochene Pflegeberichte, Vitalwerte mit Maßnahmen, Schichtübergaben zu mehreren versorgten Personen und im Rollenspiel geführte pflegerische Aufnahmegespräche aus stationärer Altenpflege, ambulanter Pflege und Krankenhausstationen. Alle versorgten Personen sind fiktiv.",
   "sourceScenarioCount": 41,
   "scenarioCount": 40,
   "runs": 3,
   "exclusions": [
    {
     "scenarioId": "pflege-028",
     "reason": "Eine mitwirkende Person nannte in der Übergabe versehentlich echte Namen. Die Aufnahme wurde vor der Referenzfreigabe zurückgezogen."
    }
   ],
   "strata": [
    {
     "dimension": "Dokumentationsanlass",
     "groups": [
      {
       "label": "Pflegebericht nach der Versorgung",
       "count": 14
      },
      {
       "label": "Vitalwerte und Maßnahmen",
       "count": 12
      },
      {
       "label": "Schichtübergabe",
       "count": 8
      },
      {
       "label": "Pflegerisches Aufnahmegespräch",
       "count": 6
      }
     ]
    },
    {
     "dimension": "Einsatzbereich",
     "groups": [
      {
       "label": "Stationäre Altenpflege",
       "count": 16
      },
      {
       "label": "Ambulante Pflege",
       "count": 12
      },
      {
       "label": "Krankenhausstation",
       "count": 12
      }
     ]
    },
    {
     "dimension": "Aufnahme",
     "groups": [
      {
       "label": "Smartphone in der Hand, Umgebungsgeräusche",
       "count": 34
      },
      {
       "label": "Smartphone auf dem Tisch",
       "count": 6
      }
     ]
    }
   ],
   "speakers": {
    "min": 1,
    "max": 3
   },
   "durationSeconds": {
    "min": 60,
    "max": 1680,
    "median": 120,
    "total": 14040
   },
   "audioFormats": [
    {
     "codec": "PCM 24 Bit (WAV)",
     "sampleRateHertz": 48000,
     "channels": 1
    }
   ],
   "reference": {
    "version": "1.0",
    "words": 27264,
    "characters": 181159,
    "charactersPerWord": 6.645,
    "facts": 1224,
    "units": [
     {
      "key": "medicalTerms",
      "label": "Annotierte medizinische Fachkonzepte",
      "count": 410
     },
     {
      "key": "medicationStatements",
      "label": "Medikationsangaben (Wirkstoff, Dosis, Einheit, Einnahme)",
      "count": 100
     },
     {
      "key": "polarityStatements",
      "label": "Verneinte oder ausdrücklich bestätigte Befunde",
      "count": 190
     },
     {
      "key": "temporalFacts",
      "label": "Zeitliche Referenzangaben",
      "count": 307
     },
     {
      "key": "attributionFacts",
      "label": "Fakten mit erforderlicher Quellenzuordnung",
      "count": 578
     },
     {
      "key": "vitalSigns",
      "label": "Vitalwerte mit Einheit und Messzeitpunkt",
      "count": 143
     },
     {
      "key": "commands",
      "label": "Diktatbefehle",
      "count": 30
     },
     {
      "key": "selfCorrections",
      "label": "Selbstkorrekturen mit geänderter Angabe",
      "count": 10
     },
     {
      "key": "editInstructions",
      "label": "Bearbeitungsanweisungen",
      "count": 4
     }
    ]
   },
   "annotation": {
    "independentAnnotations": 1,
    "adjudication": "Fakten, Vitalwerte und Personenzuordnung werden mit der Gesprächsvorlage festgelegt. Abweichende Stellen werden vor dem ersten Anbieterlauf an der Aufnahme geprüft.",
    "rubric": {
     "id": "nursing-facts-v1",
     "version": "1.0"
    }
   },
   "scorer": {
    "name": "scribeindex-eval",
    "version": "1.0"
   },
   "normalization": null,
   "manifestSha256": "7502ed0b4f30247995e97f03b1a7a0cd3f54907c6b780831019a233cbd092a84",
   "referenceSha256": "81561a613839ad570ef1ff39ee99889d0210625a97c37e39de452ea787a783ad",
   "uncertainty": {
    "method": "paired-cluster-bootstrap",
    "clusterUnit": "scenario",
    "resamples": 2000,
    "seed": 1588450526,
    "intervalMethod": "percentile",
    "aggregation": "pooled-counts",
    "pairedSampleManifestSha256": "d4572266c17fe472c4e040fee447b07920271bd3b5b3838b241e77b8839549a9"
   },
   "frozen": "2026-Q2",
   "testPeriod": "2026-Q2/2026-Q3",
   "methodUrl": "https://scribeindex.com/methodik/medical-scribes/"
  },
  {
   "id": "de-diktat-v1",
   "version": "1.0",
   "title": "Medizinische Diktate",
   "category": "medizinische-transkription",
   "protocol": "1.0",
   "description": "Nachgesprochene ärztliche Diktate aus sieben Fachrichtungen zu fiktiven Patientinnen und Patienten, mit Befunden, Medikation und Verneinungen. Dazu kommen gesprochene Anweisungen, also Diktatbefehle, spontane Selbstkorrekturen und gelegentliche Bearbeitungsanweisungen zu früheren Stellen des Diktats. Die Aufnahmen entstehen mit Headset oder Tischmikrofon, teils mit Hintergrundgeräuschen oder als komprimierte Diktiergerätedateien.",
   "sourceScenarioCount": 64,
   "scenarioCount": 62,
   "runs": 3,
   "exclusions": [
    {
     "scenarioId": "diktat-023",
     "reason": "Die sprechende Person nannte versehentlich einen echten Namen. Die Aufnahme wurde vor der Referenzfreigabe zurückgezogen."
    },
    {
     "scenarioId": "diktat-057",
     "reason": "Endgültige Angabe einer Selbstkorrektur auch nach Prüfung der Aufnahme nicht eindeutig hörbar."
    }
   ],
   "strata": [
    {
     "dimension": "Fachrichtung",
     "groups": [
      {
       "label": "Innere Medizin",
       "count": 13
      },
      {
       "label": "Allgemeinmedizin",
       "count": 11
      },
      {
       "label": "Orthopädie und Unfallchirurgie",
       "count": 10
      },
      {
       "label": "Radiologie",
       "count": 9
      },
      {
       "label": "Kardiologie",
       "count": 8
      },
      {
       "label": "Neurologie",
       "count": 7
      },
      {
       "label": "Gynäkologie",
       "count": 4
      }
     ]
    },
    {
     "dimension": "Aussprache",
     "groups": [
      {
       "label": "Standarddeutsch",
       "count": 27
      },
      {
       "label": "Regional (Deutschland)",
       "count": 13
      },
      {
       "label": "Österreichisch",
       "count": 9
      },
      {
       "label": "Schweizerisch gefärbt",
       "count": 6
      },
      {
       "label": "Nicht muttersprachlich",
       "count": 7
      }
     ]
    },
    {
     "dimension": "Aufnahmebedingung",
     "groups": [
      {
       "label": "Ruhiger Raum, Headset",
       "count": 22
      },
      {
       "label": "Ruhiger Raum, Tischmikrofon",
       "count": 14
      },
      {
       "label": "Hintergrundgeräusche",
       "count": 15
      },
      {
       "label": "Komprimierte Aufnahme",
       "count": 11
      }
     ]
    }
   ],
   "speakers": {
    "min": 1,
    "max": 1
   },
   "durationSeconds": {
    "min": 60,
    "max": 900,
    "median": 300,
    "total": 18720
   },
   "audioFormats": [
    {
     "codec": "PCM 24 Bit (WAV)",
     "sampleRateHertz": 48000,
     "channels": 1
    },
    {
     "codec": "MP3 128 kbit/s",
     "sampleRateHertz": 44100,
     "channels": 1
    },
    {
     "codec": "AAC-LC (M4A)",
     "sampleRateHertz": 44100,
     "channels": 1
    }
   ],
   "reference": {
    "version": "1.0",
    "words": 34387,
    "characters": 247912,
    "charactersPerWord": 7.209,
    "facts": 2235,
    "units": [
     {
      "key": "medicalTerms",
      "label": "Annotierte medizinische Fachkonzepte",
      "count": 3735
     },
     {
      "key": "medicationStatements",
      "label": "Medikationsangaben (Wirkstoff, Dosis, Einheit, Einnahme)",
      "count": 254
     },
     {
      "key": "polarityStatements",
      "label": "Verneinte oder ausdrücklich bestätigte Befunde",
      "count": 369
     },
     {
      "key": "temporalFacts",
      "label": "Zeitliche Referenzangaben",
      "count": 485
     },
     {
      "key": "attributionFacts",
      "label": "Fakten mit erforderlicher Quellenzuordnung",
      "count": 805
     },
     {
      "key": "commands",
      "label": "Diktatbefehle",
      "count": 442
     },
     {
      "key": "selfCorrections",
      "label": "Selbstkorrekturen mit geänderter Angabe",
      "count": 84
     },
     {
      "key": "editInstructions",
      "label": "Bearbeitungsanweisungen",
      "count": 30
     }
    ]
   },
   "annotation": {
    "independentAnnotations": 1,
    "adjudication": "Diktattext und Fakten entstehen als Sprechvorlage vor der Aufnahme. Nach der Aufnahme wird das Gesprochene automatisch mit der Vorlage abgeglichen, abweichende Stellen werden an der Aufnahme geprüft und die Referenz vor dem ersten Anbieterlauf eingefroren.",
    "rubric": {
     "id": "clinical-facts-v1",
     "version": "1.0"
    }
   },
   "scorer": {
    "name": "scribeindex-eval",
    "version": "1.0"
   },
   "normalization": {
    "id": "de-med-wer",
    "version": "1.0"
   },
   "manifestSha256": "6768f28bb70c0457e31c2eaafd4f3c498c05b4aec26501537825bbaa22733060",
   "referenceSha256": "18772162e86230bce7cfb8a2f52f90244df2b1cdf52bdb6a646494dd3596dbb9",
   "uncertainty": {
    "method": "paired-cluster-bootstrap",
    "clusterUnit": "scenario",
    "resamples": 2000,
    "seed": 4214870755,
    "intervalMethod": "percentile",
    "aggregation": "pooled-counts",
    "pairedSampleManifestSha256": "1feb69fb1f1a9ee5134ab583a5bf6a80625f840f53d2d833da91149ac9f1550a"
   },
   "frozen": "2026-Q2",
   "testPeriod": "2026-Q2/2026-Q3",
   "methodUrl": "https://scribeindex.com/methodik/medizinische-spracherkennung/"
  }
 ],
 "results": [
  {
   "id": "heidi/medical-scribes:clinical-notes",
   "provider": "heidi",
   "providerName": "Heidi Health",
   "test": "medical-scribes:clinical-notes",
   "label": "Ärztliche Gesprächsdokumentation",
   "category": "medical-scribes",
   "task": "clinical-notes",
   "url": "https://scribeindex.com/anbieter/heidi/test/#aerztliche-dokumentation",
   "rankingUrl": "https://scribeindex.com/vergleich/medical-scribes/aerztliche-dokumentation/",
   "testPeriod": "2026-Q3",
   "protocol": "1.0",
   "corpus": "de-klinik-v1",
   "scenarios": 48,
   "runs": 3,
   "completed": 142,
   "total": 144,
   "completionRatePercent": 98.611,
   "evaluation": {
    "output": "clinical-note",
    "semanticRubric": "clinical-facts-v1",
    "wordErrorRate": {
     "applicability": "not-applicable",
     "basis": "unavailable",
     "explanation": "Die gelieferte Ausgabe ist eine verdichtete Dokumentation, keine wortnahe Abschrift. Deshalb gibt es keine WER."
    }
   },
   "score": {
    "version": "2.2",
    "value": 81.8775,
    "ci95": [
     76.4,
     84.5
    ],
    "ci95Method": "paired-cluster-bootstrap-beta-critical",
    "pairedDifferences": [
     {
      "provider": "healthjet",
      "ci95": [
       -4.86,
       5.73
      ]
     },
     {
      "provider": "tippiti",
      "ci95": [
       -9.96,
       -0.78
      ]
     },
     {
      "provider": "tandem-health",
      "ci95": [
       -3.18,
       8.68
      ]
     },
     {
      "provider": "noa-notes",
      "ci95": [
       0.7,
       13.04
      ]
     },
     {
      "provider": "doctolib-assistent",
      "ci95": [
       -11.83,
       -3.25
      ]
     },
     {
      "provider": "dragon-copilot",
      "ci95": [
       -6.59,
       4.74
      ]
     },
     {
      "provider": "speechlive-health",
      "ci95": [
       -3.69,
       7.55
      ]
     },
     {
      "provider": "gospeech-medical",
      "ci95": [
       -7.95,
       1.26
      ]
     },
     {
      "provider": "quixxs",
      "ci95": [
       8.57,
       21.67
      ]
     },
     {
      "provider": "idana-flow",
      "ci95": [
       -4.73,
       7.19
      ]
     }
    ],
    "rank": 5,
    "cohortSize": 11,
    "criticalRatePercent": 1.408,
    "contentQuality": 93.149,
    "references": {
     "key": "clinical-notes",
     "qualityErrorPoints": 30,
     "correctionMinutes": 59,
     "criticalPercent": 20
    },
    "components": [
     {
      "key": "quality",
      "label": "Inhaltsqualität",
      "value": 77.162,
      "weight": 0.6,
      "contribution": 46.297
     },
     {
      "key": "critical",
      "label": "Schwerwiegende Fehler",
      "value": 92.958,
      "weight": 0.2,
      "contribution": 18.592
     },
     {
      "key": "effort",
      "label": "Korrekturaufwand",
      "value": 80.387,
      "weight": 0.15,
      "contribution": 12.058
     },
     {
      "key": "reliability",
      "label": "Abschlussquote",
      "value": 98.611,
      "weight": 0.05,
      "contribution": 4.931
     }
    ]
   },
   "mainMetric": {
    "label": "Fakten-F1",
    "abbreviation": "F1",
    "value": 93.149,
    "direction": "higher",
    "ci95": [
     92.22,
     94.09
    ]
   },
   "transcription": null,
   "facts": {
    "truePositive": 3732,
    "falsePositive": 204,
    "falseNegative": 345,
    "referenceFacts": 4077,
    "outputFacts": 3936,
    "precisionPercent": 94.817,
    "precisionCi95": [
     93.47,
     96.17
    ],
    "recallPercent": 91.538,
    "recallCi95": [
     90.34,
     92.69
    ],
    "f1Percent": 93.149,
    "f1Ci95": [
     92.22,
     94.09
    ]
   },
   "latency": {
    "p50Seconds": 102.1,
    "p95Seconds": 281.5,
    "mode": "file-upload",
    "start": "Uploadstart",
    "end": "Vollständiges Dokument verfügbar"
   },
   "correction": {
    "minutesPerAudioHour": 11.5715,
    "ci95": [
     9.8,
     13.35
    ],
    "estimate": {
     "outputs": 142,
     "audioSeconds": 103320,
     "minutes": 332.16,
     "ci": [
      9.8,
      13.35
     ],
     "audioHours": 28.705
    }
   },
   "additionalMetrics": [
    {
     "key": "critical-documents",
     "label": "Dokumente mit schwerwiegendem Fehler",
     "numerator": 2,
     "denominator": 142,
     "valuePercent": 1.408,
     "direction": "lower",
     "definition": "Ausgaben mit mindestens einem potenziell schwerwiegenden medizinischen Fehler pro abgeschlossener Ausgabe. Bewertet wird jeder Fall nach einer festgelegten Fehlerrubrik. Fehler bei Medikation oder Verneinung zählen hier nur, wenn die Rubrik die betroffene Angabe als potenziell schwerwiegend einstuft. Die Zähler je Fehlerart enthalten auch folgenlose Abweichungen.",
     "ci95": [
      0.25,
      7.46
     ],
     "ci95Method": "wilson-design-effect",
     "designEffect": 1.9574
    },
    {
     "key": "unsupported-statements",
     "label": "Falsche oder unbelegte Aussagen",
     "numerator": 94,
     "denominator": 3936,
     "valuePercent": 2.388,
     "direction": "lower",
     "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.",
     "ci95": [
      1.72,
      3.3
     ],
     "ci95Method": "wilson-design-effect",
     "designEffect": 2.6462
    },
    {
     "key": "medical-term-errors",
     "label": "Fehler bei Fachbegriffen",
     "numerator": 130,
     "denominator": 3455,
     "valuePercent": 3.763,
     "direction": "lower",
     "definition": "Fachlich falsch wiedergegebene oder ausgelassene medizinische Konzepte pro annotiertem Fachkonzept der Referenz. Synonyme gelten bei gleicher Bedeutung als korrekt.",
     "ci95": [
      2.87,
      4.92
     ],
     "ci95Method": "wilson-design-effect",
     "designEffect": 2.5569
    },
    {
     "key": "medication-errors",
     "label": "Fehler bei Medikamenten und Dosierungen",
     "numerator": 17,
     "denominator": 610,
     "valuePercent": 2.787,
     "direction": "lower",
     "definition": "Falsch wiedergegebene oder ausgelassene Angaben zu Wirkstoff, Dosis, Einheit und Einnahme pro annotierter Medikationsangabe. Jede Angabe zählt höchstens einmal.",
     "ci95": [
      1.42,
      5.38
     ],
     "ci95Method": "wilson-design-effect",
     "designEffect": 2.086
    },
    {
     "key": "negation-errors",
     "label": "Fehler bei Verneinungen",
     "numerator": 19,
     "denominator": 814,
     "valuePercent": 2.334,
     "direction": "lower",
     "definition": "Verlorene, hinzugefügte oder umgekehrte Negationen pro Referenzaussage mit verneintem oder ausdrücklich bestätigtem Befund. Eine Aussage zählt höchstens einmal.",
     "ci95": [
      1.19,
      4.51
     ],
     "ci95Method": "wilson-design-effect",
     "designEffect": 2.3278
    },
    {
     "key": "temporal-errors",
     "label": "Fehler bei zeitlichen Angaben",
     "numerator": 41,
     "denominator": 924,
     "valuePercent": 4.437,
     "direction": "lower",
     "definition": "Falsch zugeordnete oder ausgelassene Zeitpunkte, Dauern und zeitliche Beziehungen pro annotierter zeitlicher Referenzangabe.",
     "ci95": [
      2.76,
      7.06
     ],
     "ci95Method": "wilson-design-effect",
     "designEffect": 2.5192
    },
    {
     "key": "attribution-errors",
     "label": "Fehler bei der Zuordnung",
     "numerator": 80,
     "denominator": 2136,
     "valuePercent": 3.745,
     "direction": "lower",
     "definition": "Falsche oder ausgelassene Zuordnung von Aussagen zu Patient, behandelnder Person oder Drittperson pro Referenzfakt mit erforderlicher Quellenzuordnung.",
     "ci95": [
      2.63,
      5.3
     ],
     "ci95Method": "wilson-design-effect",
     "designEffect": 2.6592
    }
   ],
   "errorTypes": [
    {
     "label": "Nicht erfasste Referenzfakten",
     "count": 345
    },
    {
     "label": "Falsche oder unbelegte Aussagen",
     "count": 94
    },
    {
     "label": "Zutreffende, aber nicht relevante Aussagen",
     "count": 110
    }
   ],
   "failedRuns": [
    {
     "scenarioId": "klinik-002",
     "run": 3,
     "reason": "Verarbeitung nicht innerhalb des protokollierten Zeitlimits abgeschlossen"
    },
    {
     "scenarioId": "klinik-008",
     "run": 2,
     "reason": "Verarbeitung nicht innerhalb des protokollierten Zeitlimits abgeschlossen"
    }
   ],
   "configuration": {
    "locale": "de-DE",
    "automaticLanguageDetection": false,
    "productVersion": "Web-App, Upload session audio, Stand 3. Quartal 2026",
    "modelVersions": null,
    "template": {
     "id": "si-sprechstunde-notiz",
     "version": "1.0"
    },
    "instruction": {
     "id": "si-instr-sprechstunde",
     "version": "1.0"
    },
    "customVocabulary": null,
    "settings": {
     "inputPath": "Dateiupload der Korpusdatei im Browser (Upload session audio)",
     "outputLanguage": "de-DE",
     "specialty": "Allgemeinmedizin"
    },
    "scorer": {
     "name": "scribeindex-eval",
     "version": "1.0"
    },
    "normalization": null
   },
   "corpusMetadata": {
    "version": "1.0",
    "manifestSha256": "07e4ff2bb9cb21c1b350d732b5e593f4f1830354a230c75954136f03552f7ba5",
    "referenceVersion": "1.0",
    "referenceSha256": "9ddba13742d943cd28b478c231a53d71ed064e1ba7681896e21faedfe2bb2207",
    "sourceScenarioCount": 50,
    "evaluatedScenarioCount": 48,
    "totalAudioSeconds": 34860,
    "durationSeconds": {
     "minimum": 360,
     "maximum": 2400
    },
    "audioFormats": [
     {
      "codec": "AAC-LC (M4A)",
      "sampleRateHertz": 48000,
      "channels": 1
     },
     {
      "codec": "PCM 24 Bit (WAV)",
      "sampleRateHertz": 48000,
      "channels": 2
     }
    ],
    "conversions": [],
    "exclusions": [
     {
      "scenarioId": "klinik-016",
      "reason": "Einwilligung zur Nutzung der Aufnahme vor Testbeginn widerrufen."
     },
     {
      "scenarioId": "klinik-033",
      "reason": "Relevanzmenge auch nach fachlicher Durchsicht nicht eindeutig festlegbar."
     }
    ]
   },
   "uncertainty": {
    "confidenceLevel": 0.95,
    "method": "paired-cluster-bootstrap",
    "clusterUnit": "scenario",
    "clusterCount": 48,
    "resamples": 2000,
    "seed": 2234884632,
    "intervalMethod": "percentile",
    "aggregation": "pooled-counts",
    "pairedSampleManifestSha256": "f630f8568c719864793b7aacf8e58f4627c6b7bdcdf5f3730abfda50ad6bfb37"
   }
  },
  {
   "id": "heidi/medical-scribes:therapy-notes",
   "provider": "heidi",
   "providerName": "Heidi Health",
   "test": "medical-scribes:therapy-notes",
   "label": "Psychotherapeutische Sitzungsdokumentation",
   "category": "medical-scribes",
   "task": "therapy-notes",
   "url": "https://scribeindex.com/anbieter/heidi/test/#psychotherapie",
   "rankingUrl": "https://scribeindex.com/vergleich/medical-scribes/psychotherapie/",
   "testPeriod": "2026-Q3",
   "protocol": "1.0",
   "corpus": "de-therapie-v1",
   "scenarios": 36,
   "runs": 3,
   "completed": 108,
   "total": 108,
   "completionRatePercent": 100,
   "evaluation": {
    "output": "therapy-note",
    "semanticRubric": "clinical-facts-v1",
    "wordErrorRate": {
     "applicability": "not-applicable",
     "basis": "unavailable",
     "explanation": "Die gelieferte Ausgabe ist eine therapeutische Sitzungsnotiz. Bewertet werden dokumentationsrelevante Fakten und ihre Zuordnung, nicht die Wortfolge des Gesprächs."
    }
   },
   "score": {
    "version": "2.2",
    "value": 59.4816,
    "ci95": [
     50.6,
     65.1
    ],
    "ci95Method": "paired-cluster-bootstrap-beta-critical",
    "pairedDifferences": [
     {
      "provider": "healthjet",
      "ci95": [
       -14.59,
       5.69
      ]
     },
     {
      "provider": "playnvoice",
      "ci95": [
       -21.14,
       -4.42
      ]
     },
     {
      "provider": "tandem-health",
      "ci95": [
       -15.29,
       4.22
      ]
     },
     {
      "provider": "via-health",
      "ci95": [
       -27.26,
       -10.66
      ]
     },
     {
      "provider": "dokudachs",
      "ci95": [
       -25.77,
       -7.34
      ]
     },
     {
      "provider": "iptas",
      "ci95": [
       -24.36,
       -7.53
      ]
     },
     {
      "provider": "clara-health",
      "ci95": [
       -20.74,
       -3.22
      ]
     },
     {
      "provider": "lumanote",
      "ci95": [
       -23.37,
       -3.47
      ]
     },
     {
      "provider": "noa-notes",
      "ci95": [
       -10.27,
       6.92
      ]
     },
     {
      "provider": "psynex",
      "ci95": [
       -26.35,
       -10.32
      ]
     },
     {
      "provider": "upheal",
      "ci95": [
       -6.11,
       14.74
      ]
     }
    ],
    "rank": 11,
    "cohortSize": 12,
    "criticalRatePercent": 3.704,
    "contentQuality": 85.99,
    "references": {
     "key": "therapy-notes",
     "qualityErrorPoints": 30,
     "correctionMinutes": 20,
     "criticalPercent": 20
    },
    "components": [
     {
      "key": "quality",
      "label": "Inhaltsqualität",
      "value": 53.299,
      "weight": 0.6,
      "contribution": 31.979
     },
     {
      "key": "critical",
      "label": "Schwerwiegende Fehler",
      "value": 81.481,
      "weight": 0.2,
      "contribution": 16.296
     },
     {
      "key": "effort",
      "label": "Korrekturaufwand",
      "value": 41.374,
      "weight": 0.15,
      "contribution": 6.206
     },
     {
      "key": "reliability",
      "label": "Abschlussquote",
      "value": 100,
      "weight": 0.05,
      "contribution": 5
     }
    ]
   },
   "mainMetric": {
    "label": "Fakten-F1",
    "abbreviation": "F1",
    "value": 85.99,
    "direction": "higher",
    "ci95": [
     83.94,
     87.85
    ]
   },
   "transcription": null,
   "facts": {
    "truePositive": 2722,
    "falsePositive": 285,
    "falseNegative": 602,
    "referenceFacts": 3324,
    "outputFacts": 3007,
    "precisionPercent": 90.522,
    "precisionCi95": [
     88.77,
     92.22
    ],
    "recallPercent": 81.889,
    "recallCi95": [
     78.81,
     84.77
    ],
    "f1Percent": 85.99,
    "f1Ci95": [
     83.94,
     87.85
    ]
   },
   "latency": {
    "p50Seconds": 39.6,
    "p95Seconds": 72.2,
    "mode": "live-conversation",
    "start": "Beenden der Aufnahme",
    "end": "Vollständiges Dokument verfügbar"
   },
   "correction": {
    "minutesPerAudioHour": 11.7251,
    "ci95": [
     10.11,
     13.41
    ],
    "estimate": {
     "outputs": 108,
     "audioSeconds": 310800,
     "minutes": 1012.24,
     "ci": [
      10.11,
      13.41
     ],
     "audioHours": 86.331
    }
   },
   "additionalMetrics": [
    {
     "key": "critical-documents",
     "label": "Dokumente mit schwerwiegendem Fehler",
     "numerator": 4,
     "denominator": 108,
     "valuePercent": 3.704,
     "direction": "lower",
     "definition": "Ausgaben mit mindestens einem potenziell schwerwiegenden medizinischen Fehler pro abgeschlossener Ausgabe. Bewertet wird jeder Fall nach einer festgelegten Fehlerrubrik. Fehler bei Medikation oder Verneinung zählen hier nur, wenn die Rubrik die betroffene Angabe als potenziell schwerwiegend einstuft. Die Zähler je Fehlerart enthalten auch folgenlose Abweichungen.",
     "ci95": [
      1.02,
      12.47
     ],
     "ci95Method": "wilson-design-effect",
     "designEffect": 1.9778
    },
    {
     "key": "unsupported-statements",
     "label": "Falsche oder unbelegte Aussagen",
     "numerator": 109,
     "denominator": 3007,
     "valuePercent": 3.625,
     "direction": "lower",
     "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.",
     "ci95": [
      2.73,
      4.8
     ],
     "ci95Method": "wilson-design-effect",
     "designEffect": 2.3357
    },
    {
     "key": "medical-term-errors",
     "label": "Fehler bei Fachbegriffen",
     "numerator": 64,
     "denominator": 1185,
     "valuePercent": 5.401,
     "direction": "lower",
     "definition": "Fachlich falsch wiedergegebene oder ausgelassene medizinische Konzepte pro annotiertem Fachkonzept der Referenz. Synonyme gelten bei gleicher Bedeutung als korrekt.",
     "ci95": [
      3.7,
      7.81
     ],
     "ci95Method": "wilson-design-effect",
     "designEffect": 2.4719
    },
    {
     "key": "medication-errors",
     "label": "Fehler bei Medikamenten und Dosierungen",
     "numerator": 4,
     "denominator": 75,
     "valuePercent": 5.333,
     "direction": "lower",
     "definition": "Falsch wiedergegebene oder ausgelassene Angaben zu Wirkstoff, Dosis, Einheit und Einnahme pro annotierter Medikationsangabe. Jede Angabe zählt höchstens einmal.",
     "ci95": [
      1.38,
      18.4
     ],
     "ci95Method": "wilson-design-effect",
     "designEffect": 2.2198
    },
    {
     "key": "negation-errors",
     "label": "Fehler bei Verneinungen",
     "numerator": 22,
     "denominator": 435,
     "valuePercent": 5.057,
     "direction": "lower",
     "definition": "Verlorene, hinzugefügte oder umgekehrte Negationen pro Referenzaussage mit verneintem oder ausdrücklich bestätigtem Befund. Eine Aussage zählt höchstens einmal.",
     "ci95": [
      2.59,
      9.65
     ],
     "ci95Method": "wilson-design-effect",
     "designEffect": 2.7303
    },
    {
     "key": "temporal-errors",
     "label": "Fehler bei zeitlichen Angaben",
     "numerator": 59,
     "denominator": 969,
     "valuePercent": 6.089,
     "direction": "lower",
     "definition": "Falsch zugeordnete oder ausgelassene Zeitpunkte, Dauern und zeitliche Beziehungen pro annotierter zeitlicher Referenzangabe.",
     "ci95": [
      4.12,
      8.91
     ],
     "ci95Method": "wilson-design-effect",
     "designEffect": 2.472
    },
    {
     "key": "attribution-errors",
     "label": "Fehler bei der Zuordnung",
     "numerator": 105,
     "denominator": 1908,
     "valuePercent": 5.503,
     "direction": "lower",
     "definition": "Falsche oder ausgelassene Zuordnung von Aussagen zu Patient, behandelnder Person oder Drittperson pro Referenzfakt mit erforderlicher Quellenzuordnung.",
     "ci95": [
      4.04,
      7.46
     ],
     "ci95Method": "wilson-design-effect",
     "designEffect": 2.7304
    },
    {
     "key": "risk-assessment-errors",
     "label": "Fehler bei Risikohinweisen",
     "numerator": 23,
     "denominator": 171,
     "valuePercent": 13.45,
     "direction": "lower",
     "definition": "Ausgelassene, hinzugefügte oder falsch eingeordnete Aussagen zu Selbstgefährdung und Schutzfaktoren pro annotierter risikorelevanter Referenzaussage. Bewertet wird anhand des Gesprächs nach einer festgelegten Rubrik.",
     "ci95": [
      7.36,
      23.3
     ],
     "ci95Method": "wilson-design-effect",
     "designEffect": 2.4129
    }
   ],
   "errorTypes": [
    {
     "label": "Nicht erfasste Referenzfakten",
     "count": 602
    },
    {
     "label": "Falsche oder unbelegte Aussagen",
     "count": 109
    },
    {
     "label": "Zutreffende, aber nicht relevante Aussagen",
     "count": 176
    }
   ],
   "failedRuns": [],
   "configuration": {
    "locale": "de-DE",
    "automaticLanguageDetection": false,
    "productVersion": "Web-App, Stand 3. Quartal 2026",
    "modelVersions": null,
    "template": {
     "id": "si-therapie-verlauf",
     "version": "1.0"
    },
    "instruction": {
     "id": "si-instr-therapie",
     "version": "1.0"
    },
    "customVocabulary": null,
    "settings": {
     "inputPath": "Aufnahme in der Anwendung über einen virtuellen Mikrofoneingang",
     "outputLanguage": "de-DE",
     "specialty": "Psychotherapie"
    },
    "scorer": {
     "name": "scribeindex-eval",
     "version": "1.0"
    },
    "normalization": null
   },
   "corpusMetadata": {
    "version": "1.0",
    "manifestSha256": "62780a1c05eb9562aa4bdbee3b73aedcf448ce0e8e6ba5fd85d7e17baa3b4bd8",
    "referenceVersion": "1.0",
    "referenceSha256": "62c50ae99e53e02e016470714f0a6524d90a92407fe393d48adae95f19a8ee2a",
    "sourceScenarioCount": 36,
    "evaluatedScenarioCount": 36,
    "totalAudioSeconds": 103620,
    "durationSeconds": {
     "minimum": 2220,
     "maximum": 3540
    },
    "audioFormats": [
     {
      "codec": "PCM 24 Bit (WAV)",
      "sampleRateHertz": 48000,
      "channels": 1
     }
    ],
    "conversions": [
     {
      "description": "Einspielung der Gesprächsaufnahme in Echtzeit über einen virtuellen Mikrofoneingang mit −20 dBFS RMS",
      "tool": "scribeindex-playback",
      "version": "1.0"
     }
    ],
    "exclusions": []
   },
   "uncertainty": {
    "confidenceLevel": 0.95,
    "method": "paired-cluster-bootstrap",
    "clusterUnit": "scenario",
    "clusterCount": 36,
    "resamples": 2000,
    "seed": 3733937332,
    "intervalMethod": "percentile",
    "aggregation": "pooled-counts",
    "pairedSampleManifestSha256": "0c35a46bc36056c43d2f55385441679c130a0d1ef5bcb7bd6cb2f19411cef23a"
   }
  },
  {
   "id": "heidi/medical-scribes:nursing-notes",
   "provider": "heidi",
   "providerName": "Heidi Health",
   "test": "medical-scribes:nursing-notes",
   "label": "Pflegedokumentation",
   "category": "medical-scribes",
   "task": "nursing-notes",
   "url": "https://scribeindex.com/anbieter/heidi/test/#pflegedokumentation",
   "rankingUrl": "https://scribeindex.com/vergleich/medical-scribes/pflegedokumentation/",
   "testPeriod": "2026-Q3",
   "protocol": "1.0",
   "corpus": "de-pflege-v1",
   "scenarios": 40,
   "runs": 3,
   "completed": 120,
   "total": 120,
   "completionRatePercent": 100,
   "evaluation": {
    "output": "nursing-note",
    "semanticRubric": "nursing-facts-v1",
    "wordErrorRate": {
     "applicability": "not-applicable",
     "basis": "unavailable",
     "explanation": "Bewertet werden die gelieferten Einträge der Pflegedokumentation. Strukturierte Felder und umformulierte Berichte werden über die Faktenrubrik abgeglichen, nicht gegen die Wortfolge der Aufnahme."
    }
   },
   "score": {
    "version": "2.2",
    "value": 73.1989,
    "ci95": [
     65.6,
     77.6
    ],
    "ci95Method": "paired-cluster-bootstrap-beta-critical",
    "pairedDifferences": [
     {
      "provider": "tandem-health",
      "ci95": [
       -17.68,
       -2.67
      ]
     },
     {
      "provider": "gospeech-medical",
      "ci95": [
       -7.7,
       6.37
      ]
     }
    ],
    "rank": 3,
    "cohortSize": 3,
    "criticalRatePercent": 3.333,
    "contentQuality": 90.56,
    "references": {
     "key": "nursing-notes",
     "qualityErrorPoints": 30,
     "correctionMinutes": 72,
     "criticalPercent": 20
    },
    "components": [
     {
      "key": "quality",
      "label": "Inhaltsqualität",
      "value": 68.532,
      "weight": 0.6,
      "contribution": 41.119
     },
     {
      "key": "critical",
      "label": "Schwerwiegende Fehler",
      "value": 83.333,
      "weight": 0.2,
      "contribution": 16.667
     },
     {
      "key": "effort",
      "label": "Korrekturaufwand",
      "value": 69.42,
      "weight": 0.15,
      "contribution": 10.413
     },
     {
      "key": "reliability",
      "label": "Abschlussquote",
      "value": 100,
      "weight": 0.05,
      "contribution": 5
     }
    ]
   },
   "mainMetric": {
    "label": "Fakten-F1",
    "abbreviation": "F1",
    "value": 90.56,
    "direction": "higher",
    "ci95": [
     89.19,
     91.92
    ]
   },
   "transcription": null,
   "facts": {
    "truePositive": 3204,
    "falsePositive": 200,
    "falseNegative": 468,
    "referenceFacts": 3672,
    "outputFacts": 3404,
    "precisionPercent": 94.125,
    "precisionCi95": [
     92.81,
     95.37
    ],
    "recallPercent": 87.255,
    "recallCi95": [
     85.25,
     89.21
    ],
    "f1Percent": 90.56,
    "f1Ci95": [
     89.19,
     91.92
    ]
   },
   "latency": {
    "p50Seconds": 15.6,
    "p95Seconds": 31.7,
    "mode": "live-conversation",
    "start": "Beenden der Aufnahme",
    "end": "Vollständiges Dokument verfügbar"
   },
   "correction": {
    "minutesPerAudioHour": 22.0178,
    "ci95": [
     17.99,
     26.14
    ],
    "estimate": {
     "outputs": 120,
     "audioSeconds": 42120,
     "minutes": 257.63,
     "ci": [
      17.99,
      26.14
     ],
     "audioHours": 11.701
    }
   },
   "additionalMetrics": [
    {
     "key": "critical-documents",
     "label": "Dokumente mit schwerwiegendem Fehler",
     "numerator": 4,
     "denominator": 120,
     "valuePercent": 3.333,
     "direction": "lower",
     "definition": "Ausgaben mit mindestens einem potenziell schwerwiegenden medizinischen Fehler pro abgeschlossener Ausgabe. Bewertet wird jeder Fall nach einer festgelegten Fehlerrubrik. Fehler bei Medikation oder Verneinung zählen hier nur, wenn die Rubrik die betroffene Angabe als potenziell schwerwiegend einstuft. Die Zähler je Fehlerart enthalten auch folgenlose Abweichungen.",
     "ci95": [
      0.92,
      11.3
     ],
     "ci95Method": "wilson-design-effect",
     "designEffect": 1.9778
    },
    {
     "key": "unsupported-statements",
     "label": "Falsche oder unbelegte Aussagen",
     "numerator": 100,
     "denominator": 3404,
     "valuePercent": 2.938,
     "direction": "lower",
     "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.",
     "ci95": [
      2.17,
      3.97
     ],
     "ci95Method": "wilson-design-effect",
     "designEffect": 2.4396
    },
    {
     "key": "medical-term-errors",
     "label": "Fehler bei Fachbegriffen",
     "numerator": 53,
     "denominator": 1230,
     "valuePercent": 4.309,
     "direction": "lower",
     "definition": "Fachlich falsch wiedergegebene oder ausgelassene medizinische Konzepte pro annotiertem Fachkonzept der Referenz. Synonyme gelten bei gleicher Bedeutung als korrekt.",
     "ci95": [
      3.05,
      6.06
     ],
     "ci95Method": "wilson-design-effect",
     "designEffect": 1.7096
    },
    {
     "key": "medication-errors",
     "label": "Fehler bei Medikamenten und Dosierungen",
     "numerator": 6,
     "denominator": 300,
     "valuePercent": 2,
     "direction": "lower",
     "definition": "Falsch wiedergegebene oder ausgelassene Angaben zu Wirkstoff, Dosis, Einheit und Einnahme pro annotierter Medikationsangabe. Jede Angabe zählt höchstens einmal.",
     "ci95": [
      0.64,
      6.05
     ],
     "ci95Method": "wilson-design-effect",
     "designEffect": 2.2497
    },
    {
     "key": "negation-errors",
     "label": "Fehler bei Verneinungen",
     "numerator": 18,
     "denominator": 570,
     "valuePercent": 3.158,
     "direction": "lower",
     "definition": "Verlorene, hinzugefügte oder umgekehrte Negationen pro Referenzaussage mit verneintem oder ausdrücklich bestätigtem Befund. Eine Aussage zählt höchstens einmal.",
     "ci95": [
      1.49,
      6.55
     ],
     "ci95Method": "wilson-design-effect",
     "designEffect": 2.7804
    },
    {
     "key": "temporal-errors",
     "label": "Fehler bei zeitlichen Angaben",
     "numerator": 47,
     "denominator": 921,
     "valuePercent": 5.103,
     "direction": "lower",
     "definition": "Falsch zugeordnete oder ausgelassene Zeitpunkte, Dauern und zeitliche Beziehungen pro annotierter zeitlicher Referenzangabe.",
     "ci95": [
      3.29,
      7.82
     ],
     "ci95Method": "wilson-design-effect",
     "designEffect": 2.4508
    },
    {
     "key": "attribution-errors",
     "label": "Fehler bei der Zuordnung",
     "numerator": 71,
     "denominator": 1734,
     "valuePercent": 4.095,
     "direction": "lower",
     "definition": "Falsche oder ausgelassene Zuordnung von Aussagen zu Patient, behandelnder Person oder Drittperson pro Referenzfakt mit erforderlicher Quellenzuordnung.",
     "ci95": [
      2.67,
      6.21
     ],
     "ci95Method": "wilson-design-effect",
     "designEffect": 3.4675
    },
    {
     "key": "vital-sign-errors",
     "label": "Fehler bei Vitalwerten",
     "numerator": 16,
     "denominator": 429,
     "valuePercent": 3.73,
     "direction": "lower",
     "definition": "Falsch übernommene oder ausgelassene Vitalwerte pro annotiertem Vitalwert der Referenz. Wert, Einheit, Messzeitpunkt und versorgte Person müssen zusammen stimmen.",
     "ci95": [
      1.74,
      7.79
     ],
     "ci95Method": "wilson-design-effect",
     "designEffect": 2.5543
    },
    {
     "key": "dictation-command-accuracy",
     "label": "Umgesetzte Diktatbefehle",
     "numerator": 74,
     "denominator": 90,
     "valuePercent": 82.222,
     "direction": "higher",
     "definition": "Richtig ausgeführte festgelegte Satzzeichen-, Absatz- und Korrekturbefehle pro ausgesprochenem Referenzbefehl. Der Befehl soll wirken und nicht als Befehlswort im Text stehen.",
     "ci95": [
      68.02,
      90.96
     ],
     "ci95Method": "wilson-design-effect",
     "designEffect": 2.1706
    },
    {
     "key": "self-correction-accuracy",
     "label": "Umgesetzte Selbstkorrekturen",
     "numerator": 25,
     "denominator": 30,
     "valuePercent": 83.333,
     "direction": "higher",
     "definition": "Spontane Selbstkorrekturen, nach denen das Dokument nur die endgültige Angabe enthält, pro annotierter Selbstkorrektur der Referenz. Steht die verworfene Angabe noch im Text oder ersetzt sie die endgültige, ist die Selbstkorrektur nicht umgesetzt. Ob eine Regel oder ein Sprachmodell sie umsetzt, spielt keine Rolle.",
     "ci95": [
      50.67,
      96.06
     ],
     "ci95Method": "wilson-design-effect",
     "designEffect": 3.3333
    },
    {
     "key": "edit-instruction-accuracy",
     "label": "Umgesetzte Bearbeitungsanweisungen",
     "numerator": 7,
     "denominator": 12,
     "valuePercent": 58.333,
     "direction": "higher",
     "definition": "Frei formulierte Anweisungen an das Dokument, deren Wirkung das gelieferte Dokument zeigt, pro annotierter Anweisung der Referenz. Eine solche Anweisung ändert eine früher genannte Angabe, ergänzt Inhalt an einer früheren Stelle oder verschiebt einen Abschnitt. Steht sie wörtlich im Text oder bleibt sie ohne Wirkung, ist sie nicht umgesetzt. Ob eine Regel oder ein Sprachmodell sie umsetzt, spielt keine Rolle.",
     "ci95": [
      22.94,
      86.81
     ],
     "ci95Method": "wilson-design-effect",
     "designEffect": 2.212
    }
   ],
   "errorTypes": [
    {
     "label": "Nicht erfasste Referenzfakten",
     "count": 468
    },
    {
     "label": "Falsche oder unbelegte Aussagen",
     "count": 100
    },
    {
     "label": "Zutreffende, aber nicht relevante Aussagen",
     "count": 100
    }
   ],
   "failedRuns": [],
   "configuration": {
    "locale": "de-DE",
    "automaticLanguageDetection": false,
    "productVersion": "Heidi im Browser mit Pflegevorlage, Stand 3. Quartal 2026",
    "modelVersions": null,
    "template": {
     "id": "si-pflegebericht",
     "version": "1.0"
    },
    "instruction": {
     "id": "si-instr-pflege",
     "version": "1.0"
    },
    "customVocabulary": null,
    "settings": {
     "inputPath": "Aufnahme in der Anwendung über einen virtuellen Mikrofoneingang",
     "language": "Deutsch",
     "outputLanguage": "Deutsch",
     "mode": "Gesprächsaufnahme für Pflegeberichte, Übergaben und Aufnahmegespräche",
     "template": "Pflegebericht mit getrennten Personen, Vitalwerten, Maßnahmen und Verlauf",
     "target": "Erzeugter Pflegebericht vor manueller Korrektur oder Übertragung",
     "extraContext": false,
     "manualCorrection": false
    },
    "scorer": {
     "name": "scribeindex-eval",
     "version": "1.0"
    },
    "normalization": null
   },
   "corpusMetadata": {
    "version": "1.0",
    "manifestSha256": "7502ed0b4f30247995e97f03b1a7a0cd3f54907c6b780831019a233cbd092a84",
    "referenceVersion": "1.0",
    "referenceSha256": "81561a613839ad570ef1ff39ee99889d0210625a97c37e39de452ea787a783ad",
    "sourceScenarioCount": 41,
    "evaluatedScenarioCount": 40,
    "totalAudioSeconds": 14040,
    "durationSeconds": {
     "minimum": 60,
     "maximum": 1680
    },
    "audioFormats": [
     {
      "codec": "PCM 24 Bit (WAV)",
      "sampleRateHertz": 48000,
      "channels": 1
     }
    ],
    "conversions": [
     {
      "description": "Einspielung der Gesprächsaufnahme in Echtzeit über einen virtuellen Mikrofoneingang mit −20 dBFS RMS",
      "tool": "scribeindex-playback",
      "version": "1.0"
     }
    ],
    "exclusions": [
     {
      "scenarioId": "pflege-028",
      "reason": "Eine mitwirkende Person nannte in der Übergabe versehentlich echte Namen. Die Aufnahme wurde vor der Referenzfreigabe zurückgezogen."
     }
    ]
   },
   "uncertainty": {
    "confidenceLevel": 0.95,
    "method": "paired-cluster-bootstrap",
    "clusterUnit": "scenario",
    "clusterCount": 40,
    "resamples": 2000,
    "seed": 1588450526,
    "intervalMethod": "percentile",
    "aggregation": "pooled-counts",
    "pairedSampleManifestSha256": "d4572266c17fe472c4e040fee447b07920271bd3b5b3838b241e77b8839549a9"
   }
  },
  {
   "id": "heidi/medizinische-transkription",
   "provider": "heidi",
   "providerName": "Heidi Health",
   "test": "medizinische-transkription",
   "label": "Medizinische Spracherkennung",
   "category": "medizinische-transkription",
   "url": "https://scribeindex.com/anbieter/heidi/test/#medizinische-transkription",
   "rankingUrl": "https://scribeindex.com/vergleich/medizinische-spracherkennung/",
   "testPeriod": "2026-Q3",
   "protocol": "1.0",
   "corpus": "de-diktat-v1",
   "scenarios": 62,
   "runs": 3,
   "completed": 186,
   "total": 186,
   "completionRatePercent": 100,
   "evaluation": {
    "output": "edited-transcript",
    "semanticRubric": "clinical-facts-v1",
    "wordErrorRate": {
     "applicability": "diagnostic",
     "basis": "delivered-output",
     "explanation": "Der Dienst liefert eine KI-überarbeitete Ausgabe, keine wortnahe Abschrift. Die WER vergleicht sie Wort für Wort mit dem Diktat. Gewollte Korrekturen, Umstellungen und Glättungen zählen dabei mit. Der Wert zeigt deshalb vor allem, wie weit der Text vom Wortlaut abweicht, nicht wie viele Fehler er enthält. Ob die Inhalte stimmen, misst der Faktenabgleich. Die Erkennungsfehler zählen falsch erkannte oder inhaltlich veränderte Wörter, bezogen auf dieselben Referenzwörter. Bei wortnaher Ausgabe zählt jede Abweichung vom Wortlaut, bei KI-überarbeiteter Ausgabe bleiben zulässige Umformulierungen außen vor. Vergleiche stehen deshalb nur innerhalb derselben Ausgabeart. Die WER geht nicht in den ScribeIndex-Score ein."
    }
   },
   "score": {
    "version": "2.2",
    "value": 93.3608,
    "ci95": [
     89.8,
     94
    ],
    "ci95Method": "paired-cluster-bootstrap-beta-critical",
    "pairedDifferences": [
     {
      "provider": "dragon-medical-one",
      "ci95": [
       4.76,
       12.54
      ]
     },
     {
      "provider": "tippiti",
      "ci95": [
       -6.44,
       -0.46
      ]
     },
     {
      "provider": "dragon-copilot",
      "ci95": [
       5.94,
       13.6
      ]
     },
     {
      "provider": "mira-medical",
      "ci95": [
       7.7,
       16.41
      ]
     },
     {
      "provider": "dictnow",
      "ci95": [
       7.36,
       15.81
      ]
     },
     {
      "provider": "fluency-direct",
      "ci95": [
       9.99,
       17.04
      ]
     },
     {
      "provider": "idana-flow",
      "ci95": [
       -3.02,
       3.14
      ]
     },
     {
      "provider": "healthjet",
      "ci95": [
       -1.57,
       5.82
      ]
     }
    ],
    "rank": 2,
    "cohortSize": 9,
    "criticalRatePercent": 0,
    "contentQuality": 97.451,
    "references": {
     "key": "medizinische-transkription",
     "qualityErrorPoints": 30,
     "correctionMinutes": 141,
     "criticalPercent": 15
    },
    "components": [
     {
      "key": "quality",
      "label": "Inhaltsqualität",
      "value": 91.503,
      "weight": 0.6,
      "contribution": 54.902
     },
     {
      "key": "critical",
      "label": "Schwerwiegende Fehler",
      "value": 100,
      "weight": 0.2,
      "contribution": 20
     },
     {
      "key": "effort",
      "label": "Korrekturaufwand",
      "value": 89.727,
      "weight": 0.15,
      "contribution": 13.459
     },
     {
      "key": "reliability",
      "label": "Abschlussquote",
      "value": 100,
      "weight": 0.05,
      "contribution": 5
     }
    ]
   },
   "mainMetric": {
    "label": "Fakten-F1",
    "abbreviation": "F1",
    "value": 97.451,
    "direction": "higher",
    "ci95": [
     97.05,
     97.84
    ]
   },
   "transcription": {
    "referenceWords": 103161,
    "substitutions": 3360,
    "deletions": 2748,
    "insertions": 1710,
    "errors": 7818,
    "werPercent": 7.578,
    "ci95": [
     7.12,
     8.09
    ],
    "comparable": false
   },
   "facts": {
    "truePositive": 6499,
    "falsePositive": 134,
    "falseNegative": 206,
    "referenceFacts": 6705,
    "outputFacts": 6633,
    "precisionPercent": 97.98,
    "precisionCi95": [
     97.43,
     98.48
    ],
    "recallPercent": 96.928,
    "recallCi95": [
     96.35,
     97.51
    ],
    "f1Percent": 97.451,
    "f1Ci95": [
     97.05,
     97.84
    ]
   },
   "latency": {
    "p50Seconds": 1.8,
    "p95Seconds": 6.1,
    "mode": "live-dictation",
    "start": "Ende des letzten zugespielten Wortes",
    "end": "Stabile nutzbare Textausgabe"
   },
   "correction": {
    "minutesPerAudioHour": 14.4848,
    "ci95": [
     13.46,
     15.64
    ],
    "estimate": {
     "outputs": 186,
     "audioSeconds": 56220,
     "minutes": 226.18,
     "ci": [
      13.46,
      15.64
     ],
     "audioHours": 15.615
    }
   },
   "additionalMetrics": [
    {
     "key": "recognition-errors",
     "label": "Erkennungsfehler",
     "numerator": 2379,
     "denominator": 103161,
     "valuePercent": 2.306,
     "direction": "lower",
     "definition": "Falsch erkannte, ausgelassene oder eingefügte Wörter pro Referenzwort, ohne zulässige Umformulierungen. Bei wortnaher Ausgabe entspricht der Wert der WER, dort zählt jede Abweichung vom Wortlaut. Bei KI-überarbeiteter Ausgabe zählen nur falsch erkannte oder inhaltlich veränderte Wörter. Für wortnahe Dienste ist die Zählung damit strenger.",
     "ci95": [
      2.11,
      2.52
     ],
     "ci95Method": "cluster-bootstrap-percentile",
     "designEffect": null
    },
    {
     "key": "cer",
     "label": "Zeichenfehlerrate · CER",
     "numerator": 33554,
     "denominator": 743736,
     "valuePercent": 4.512,
     "direction": "lower",
     "definition": "Zeichenabweichungen pro Referenzzeichen nach NFC-Normalisierung, einheitlicher Groß- und Kleinschreibung, entfernten Satzzeichen und zu einem Leerzeichen zusammengefasstem Leerraum. Leerzeichen zählen als Zeichen.",
     "ci95": [
      4.3,
      4.74
     ],
     "ci95Method": "cluster-bootstrap-percentile",
     "designEffect": null
    },
    {
     "key": "critical-documents",
     "label": "Dokumente mit schwerwiegendem Fehler",
     "numerator": 0,
     "denominator": 186,
     "valuePercent": 0,
     "direction": "lower",
     "definition": "Ausgaben mit mindestens einem potenziell schwerwiegenden medizinischen Fehler pro abgeschlossener Ausgabe. Bewertet wird jeder Fall nach einer festgelegten Fehlerrubrik. Fehler bei Medikation oder Verneinung zählen hier nur, wenn die Rubrik die betroffene Angabe als potenziell schwerwiegend einstuft. Die Zähler je Fehlerart enthalten auch folgenlose Abweichungen.",
     "ci95": [
      0,
      3.93
     ],
     "ci95Method": "wilson-design-effect",
     "designEffect": 1.9778
    },
    {
     "key": "unsupported-statements",
     "label": "Falsche oder unbelegte Aussagen",
     "numerator": 107,
     "denominator": 6633,
     "valuePercent": 1.613,
     "direction": "lower",
     "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.",
     "ci95": [
      1.19,
      2.18
     ],
     "ci95Method": "wilson-design-effect",
     "designEffect": 2.5305
    },
    {
     "key": "medical-term-errors",
     "label": "Fehler bei Fachbegriffen",
     "numerator": 192,
     "denominator": 11205,
     "valuePercent": 1.714,
     "direction": "lower",
     "definition": "Fachlich falsch wiedergegebene oder ausgelassene medizinische Konzepte pro annotiertem Fachkonzept der Referenz. Synonyme gelten bei gleicher Bedeutung als korrekt.",
     "ci95": [
      1.34,
      2.19
     ],
     "ci95Method": "wilson-design-effect",
     "designEffect": 3.0102
    },
    {
     "key": "medication-errors",
     "label": "Fehler bei Medikamenten und Dosierungen",
     "numerator": 14,
     "denominator": 762,
     "valuePercent": 1.837,
     "direction": "lower",
     "definition": "Falsch wiedergegebene oder ausgelassene Angaben zu Wirkstoff, Dosis, Einheit und Einnahme pro annotierter Medikationsangabe. Jede Angabe zählt höchstens einmal.",
     "ci95": [
      0.82,
      4.05
     ],
     "ci95Method": "wilson-design-effect",
     "designEffect": 2.4965
    },
    {
     "key": "negation-errors",
     "label": "Fehler bei Verneinungen",
     "numerator": 22,
     "denominator": 1107,
     "valuePercent": 1.987,
     "direction": "lower",
     "definition": "Verlorene, hinzugefügte oder umgekehrte Negationen pro Referenzaussage mit verneintem oder ausdrücklich bestätigtem Befund. Eine Aussage zählt höchstens einmal.",
     "ci95": [
      1.03,
      3.8
     ],
     "ci95Method": "wilson-design-effect",
     "designEffect": 2.5899
    },
    {
     "key": "temporal-errors",
     "label": "Fehler bei zeitlichen Angaben",
     "numerator": 34,
     "denominator": 1455,
     "valuePercent": 2.337,
     "direction": "lower",
     "definition": "Falsch zugeordnete oder ausgelassene Zeitpunkte, Dauern und zeitliche Beziehungen pro annotierter zeitlicher Referenzangabe.",
     "ci95": [
      1.35,
      3.99
     ],
     "ci95Method": "wilson-design-effect",
     "designEffect": 2.6964
    },
    {
     "key": "attribution-errors",
     "label": "Fehler bei der Zuordnung",
     "numerator": 46,
     "denominator": 2415,
     "valuePercent": 1.905,
     "direction": "lower",
     "definition": "Falsche oder ausgelassene Zuordnung von Aussagen zu Patient, behandelnder Person oder Drittperson pro Referenzfakt mit erforderlicher Quellenzuordnung.",
     "ci95": [
      1.21,
      2.97
     ],
     "ci95Method": "wilson-design-effect",
     "designEffect": 2.4518
    },
    {
     "key": "dictation-command-accuracy",
     "label": "Umgesetzte Diktatbefehle",
     "numerator": 1143,
     "denominator": 1326,
     "valuePercent": 86.199,
     "direction": "higher",
     "definition": "Richtig ausgeführte festgelegte Satzzeichen-, Absatz- und Korrekturbefehle pro ausgesprochenem Referenzbefehl. Der Befehl soll wirken und nicht als Befehlswort im Text stehen.",
     "ci95": [
      82.31,
      89.35
     ],
     "ci95Method": "wilson-design-effect",
     "designEffect": 3.5814
    },
    {
     "key": "self-correction-accuracy",
     "label": "Umgesetzte Selbstkorrekturen",
     "numerator": 230,
     "denominator": 252,
     "valuePercent": 91.27,
     "direction": "higher",
     "definition": "Spontane Selbstkorrekturen, nach denen das Dokument nur die endgültige Angabe enthält, pro annotierter Selbstkorrektur der Referenz. Steht die verworfene Angabe noch im Text oder ersetzt sie die endgültige, ist die Selbstkorrektur nicht umgesetzt. Ob eine Regel oder ein Sprachmodell sie umsetzt, spielt keine Rolle.",
     "ci95": [
      84.48,
      95.26
     ],
     "ci95Method": "wilson-design-effect",
     "designEffect": 2.3037
    },
    {
     "key": "edit-instruction-accuracy",
     "label": "Umgesetzte Bearbeitungsanweisungen",
     "numerator": 60,
     "denominator": 90,
     "valuePercent": 66.667,
     "direction": "higher",
     "definition": "Frei formulierte Anweisungen an das Dokument, deren Wirkung das gelieferte Dokument zeigt, pro annotierter Anweisung der Referenz. Eine solche Anweisung ändert eine früher genannte Angabe, ergänzt Inhalt an einer früheren Stelle oder verschiebt einen Abschnitt. Steht sie wörtlich im Text oder bleibt sie ohne Wirkung, ist sie nicht umgesetzt. Ob eine Regel oder ein Sprachmodell sie umsetzt, spielt keine Rolle.",
     "ci95": [
      49.79,
      80.14
     ],
     "ci95Method": "wilson-design-effect",
     "designEffect": 2.6683
    }
   ],
   "errorTypes": [
    {
     "label": "Nicht erfasste Referenzfakten",
     "count": 206
    },
    {
     "label": "Falsche oder unbelegte Aussagen",
     "count": 107
    },
    {
     "label": "Zutreffende, aber nicht relevante Aussagen",
     "count": 27
    }
   ],
   "failedRuns": [],
   "configuration": {
    "locale": "de-DE",
    "automaticLanguageDetection": false,
    "productVersion": "Heidi Browser, Inline Dictation im Context-Feld, Stand 3. Quartal 2026",
    "modelVersions": null,
    "template": null,
    "instruction": {
     "id": "si-instr-diktat-ausarbeitung",
     "version": "1.0"
    },
    "customVocabulary": null,
    "settings": {
     "inputPath": "Virtueller Mikrofoneingang",
     "outputLanguage": "de-DE",
     "mode": "Inline Dictation im leeren Context-Feld, Smart Dictation",
     "outputStyle": "KI-überarbeiteter Diktattext, keine nachträgliche Vorlagenerstellung"
    },
    "scorer": {
     "name": "scribeindex-eval",
     "version": "1.0"
    },
    "normalization": {
     "id": "de-med-wer",
     "version": "1.0"
    }
   },
   "corpusMetadata": {
    "version": "1.0",
    "manifestSha256": "6768f28bb70c0457e31c2eaafd4f3c498c05b4aec26501537825bbaa22733060",
    "referenceVersion": "1.0",
    "referenceSha256": "18772162e86230bce7cfb8a2f52f90244df2b1cdf52bdb6a646494dd3596dbb9",
    "sourceScenarioCount": 64,
    "evaluatedScenarioCount": 62,
    "totalAudioSeconds": 18720,
    "durationSeconds": {
     "minimum": 60,
     "maximum": 900
    },
    "audioFormats": [
     {
      "codec": "PCM 24 Bit (WAV)",
      "sampleRateHertz": 48000,
      "channels": 1
     },
     {
      "codec": "MP3 128 kbit/s",
      "sampleRateHertz": 44100,
      "channels": 1
     },
     {
      "codec": "AAC-LC (M4A)",
      "sampleRateHertz": 44100,
      "channels": 1
     }
    ],
    "conversions": [
     {
      "description": "Kontrollierte Wiedergabe der Referenzaufnahmen über einen virtuellen Mikrofoneingang mit −20 dBFS RMS in Echtzeit",
      "tool": "scribeindex-playback",
      "version": "1.0"
     },
     {
      "description": "Dekodierung komprimierter Quelldateien zu PCM 48 kHz mono vor der Wiedergabe",
      "tool": "FFmpeg",
      "version": "7.1.1"
     }
    ],
    "exclusions": [
     {
      "scenarioId": "diktat-023",
      "reason": "Die sprechende Person nannte versehentlich einen echten Namen. Die Aufnahme wurde vor der Referenzfreigabe zurückgezogen."
     },
     {
      "scenarioId": "diktat-057",
      "reason": "Endgültige Angabe einer Selbstkorrektur auch nach Prüfung der Aufnahme nicht eindeutig hörbar."
     }
    ]
   },
   "uncertainty": {
    "confidenceLevel": 0.95,
    "method": "paired-cluster-bootstrap",
    "clusterUnit": "scenario",
    "clusterCount": 62,
    "resamples": 2000,
    "seed": 4214870755,
    "intervalMethod": "percentile",
    "aggregation": "pooled-counts",
    "pairedSampleManifestSha256": "1feb69fb1f1a9ee5134ab583a5bf6a80625f840f53d2d833da91149ac9f1550a"
   }
  }
 ]
}