{
 "schemaVersion": "1.0",
 "name": "ScribeIndex Testergebnisse: Upheal",
 "license": {
  "name": "CC BY 4.0",
  "url": "https://creativecommons.org/licenses/by/4.0/deed.de"
 },
 "citation": "ScribeIndex (2026): Testergebnisse Upheal. https://scribeindex.com/anbieter/upheal/test/",
 "corpora": [
  {
   "id": "de-therapie-v1",
   "version": "1.0",
   "title": "Psychotherapeutische Sitzungen",
   "category": "medical-scribes",
   "task": "therapy-notes",
   "protocol": "1.0",
   "description": "Im Rollenspiel geführte Therapiesitzungen aus Verhaltenstherapie, tiefenpsychologisch fundierter Therapie und systemischen Paar- oder Familiengesprächen. 17 der 36 Sitzungen enthalten Aussagen zu Selbstgefährdung oder Schutzfaktoren.",
   "sourceScenarioCount": 36,
   "scenarioCount": 36,
   "runs": 3,
   "exclusions": [],
   "strata": [
    {
     "dimension": "Verfahren",
     "groups": [
      {
       "label": "Verhaltenstherapie",
       "count": 15
      },
      {
       "label": "Tiefenpsychologisch fundiert",
       "count": 12
      },
      {
       "label": "Systemisch (Paar oder Familie)",
       "count": 5
      },
      {
       "label": "Erstgespräch und Probatorik",
       "count": 4
      }
     ]
    },
    {
     "dimension": "Risikoinhalt",
     "groups": [
      {
       "label": "Mit Risikoaussagen",
       "count": 17
      },
      {
       "label": "Ohne Risikoaussagen",
       "count": 19
      }
     ]
    }
   ],
   "speakers": {
    "min": 2,
    "max": 4
   },
   "durationSeconds": {
    "min": 2220,
    "max": 3540,
    "median": 2820,
    "total": 103620
   },
   "audioFormats": [
    {
     "codec": "PCM 24 Bit (WAV)",
     "sampleRateHertz": 48000,
     "channels": 1
    }
   ],
   "reference": {
    "version": "1.0",
    "words": 185226,
    "characters": 1162943,
    "charactersPerWord": 6.279,
    "facts": 1108,
    "units": [
     {
      "key": "medicalTerms",
      "label": "Annotierte medizinische Fachkonzepte",
      "count": 395
     },
     {
      "key": "medicationStatements",
      "label": "Medikationsangaben (Wirkstoff, Dosis, Einheit, Einnahme)",
      "count": 25
     },
     {
      "key": "polarityStatements",
      "label": "Verneinte oder ausdrücklich bestätigte Befunde",
      "count": 145
     },
     {
      "key": "temporalFacts",
      "label": "Zeitliche Referenzangaben",
      "count": 323
     },
     {
      "key": "attributionFacts",
      "label": "Fakten mit erforderlicher Quellenzuordnung",
      "count": 636
     },
     {
      "key": "riskFacts",
      "label": "Risikorelevante Referenzaussagen",
      "count": 57
     }
    ]
   },
   "annotation": {
    "independentAnnotations": 1,
    "adjudication": "Dokumentationsrelevante Fakten und Risikoaussagen werden mit der Gesprächsvorlage festgelegt und nach der Aufnahme am Gesprochenen bestätigt. Risikoaussagen prüft immer eine Fachperson.",
    "rubric": {
     "id": "clinical-facts-v1",
     "version": "1.0"
    }
   },
   "scorer": {
    "name": "scribeindex-eval",
    "version": "1.0"
   },
   "normalization": null,
   "manifestSha256": "62780a1c05eb9562aa4bdbee3b73aedcf448ce0e8e6ba5fd85d7e17baa3b4bd8",
   "referenceSha256": "62c50ae99e53e02e016470714f0a6524d90a92407fe393d48adae95f19a8ee2a",
   "uncertainty": {
    "method": "paired-cluster-bootstrap",
    "clusterUnit": "scenario",
    "resamples": 2000,
    "seed": 3733937332,
    "intervalMethod": "percentile",
    "aggregation": "pooled-counts",
    "pairedSampleManifestSha256": "0c35a46bc36056c43d2f55385441679c130a0d1ef5bcb7bd6cb2f19411cef23a"
   },
   "frozen": "2026-Q2",
   "testPeriod": "2026-Q2/2026-Q3",
   "methodUrl": "https://scribeindex.com/methodik/medical-scribes/"
  }
 ],
 "results": [
  {
   "id": "upheal/medical-scribes:therapy-notes",
   "provider": "upheal",
   "providerName": "Upheal",
   "test": "medical-scribes:therapy-notes",
   "label": "Psychotherapeutische Sitzungsdokumentation",
   "category": "medical-scribes",
   "task": "therapy-notes",
   "url": "https://scribeindex.com/anbieter/upheal/test/#psychotherapie",
   "rankingUrl": "https://scribeindex.com/vergleich/medical-scribes/psychotherapie/",
   "testPeriod": "2026-Q3",
   "protocol": "1.0",
   "corpus": "de-therapie-v1",
   "scenarios": 36,
   "runs": 3,
   "completed": 106,
   "total": 108,
   "completionRatePercent": 98.148,
   "evaluation": {
    "output": "therapy-note",
    "semanticRubric": "clinical-facts-v1",
    "wordErrorRate": {
     "applicability": "not-applicable",
     "basis": "unavailable",
     "explanation": "Die gelieferte Ausgabe ist eine therapeutische Sitzungsnotiz. Bewertet werden dokumentationsrelevante Fakten und ihre Zuordnung, nicht die Wortfolge des Gesprächs."
    }
   },
   "score": {
    "version": "2.2",
    "value": 55.4544,
    "ci95": [
     45.6,
     61.2
    ],
    "ci95Method": "paired-cluster-bootstrap-beta-critical",
    "pairedDifferences": [
     {
      "provider": "healthjet",
      "ci95": [
       -19.29,
       2.08
      ]
     },
     {
      "provider": "playnvoice",
      "ci95": [
       -25.72,
       -8.37
      ]
     },
     {
      "provider": "heidi",
      "ci95": [
       -14.74,
       6.11
      ]
     },
     {
      "provider": "tandem-health",
      "ci95": [
       -19.73,
       0
      ]
     },
     {
      "provider": "via-health",
      "ci95": [
       -32.54,
       -13.75
      ]
     },
     {
      "provider": "dokudachs",
      "ci95": [
       -30.93,
       -11.03
      ]
     },
     {
      "provider": "iptas",
      "ci95": [
       -28.72,
       -11.68
      ]
     },
     {
      "provider": "clara-health",
      "ci95": [
       -25.29,
       -6.64
      ]
     },
     {
      "provider": "lumanote",
      "ci95": [
       -28.26,
       -7.32
      ]
     },
     {
      "provider": "noa-notes",
      "ci95": [
       -15.27,
       3.24
      ]
     },
     {
      "provider": "psynex",
      "ci95": [
       -30.77,
       -14.32
      ]
     }
    ],
    "rank": 12,
    "cohortSize": 12,
    "criticalRatePercent": 4.717,
    "contentQuality": 84.706,
    "references": {
     "key": "therapy-notes",
     "qualityErrorPoints": 30,
     "correctionMinutes": 20,
     "criticalPercent": 20
    },
    "components": [
     {
      "key": "quality",
      "label": "Inhaltsqualität",
      "value": 49.021,
      "weight": 0.6,
      "contribution": 29.413
     },
     {
      "key": "critical",
      "label": "Schwerwiegende Fehler",
      "value": 76.415,
      "weight": 0.2,
      "contribution": 15.283
     },
     {
      "key": "effort",
      "label": "Korrekturaufwand",
      "value": 39.01,
      "weight": 0.15,
      "contribution": 5.851
     },
     {
      "key": "reliability",
      "label": "Abschlussquote",
      "value": 98.148,
      "weight": 0.05,
      "contribution": 4.907
     }
    ]
   },
   "mainMetric": {
    "label": "Fakten-F1",
    "abbreviation": "F1",
    "value": 84.706,
    "direction": "higher",
    "ci95": [
     82.76,
     86.51
    ]
   },
   "transcription": null,
   "facts": {
    "truePositive": 2689,
    "falsePositive": 393,
    "falseNegative": 578,
    "referenceFacts": 3267,
    "outputFacts": 3082,
    "precisionPercent": 87.249,
    "precisionCi95": [
     85.36,
     89.06
    ],
    "recallPercent": 82.308,
    "recallCi95": [
     79.4,
     85.11
    ],
    "f1Percent": 84.706,
    "f1Ci95": [
     82.76,
     86.51
    ]
   },
   "latency": {
    "p50Seconds": 79.2,
    "p95Seconds": 155.5,
    "mode": "live-conversation",
    "start": "Beenden der Aufnahme",
    "end": "Vollständiges Dokument verfügbar"
   },
   "correction": {
    "minutesPerAudioHour": 12.198,
    "ci95": [
     10.65,
     13.75
    ],
    "estimate": {
     "outputs": 106,
     "audioSeconds": 304620,
     "minutes": 1032.1,
     "ci": [
      10.65,
      13.75
     ],
     "audioHours": 84.612
    }
   },
   "additionalMetrics": [
    {
     "key": "critical-documents",
     "label": "Dokumente mit schwerwiegendem Fehler",
     "numerator": 5,
     "denominator": 106,
     "valuePercent": 4.717,
     "direction": "lower",
     "definition": "Ausgaben mit mindestens einem potenziell schwerwiegenden medizinischen Fehler pro abgeschlossener Ausgabe. Bewertet wird jeder Fall nach einer festgelegten Fehlerrubrik. Fehler bei Medikation oder Verneinung zählen hier nur, wenn die Rubrik die betroffene Angabe als potenziell schwerwiegend einstuft. Die Zähler je Fehlerart enthalten auch folgenlose Abweichungen.",
     "ci95": [
      1.49,
      13.93
     ],
     "ci95Method": "wilson-design-effect",
     "designEffect": 1.9506
    },
    {
     "key": "unsupported-statements",
     "label": "Falsche oder unbelegte Aussagen",
     "numerator": 161,
     "denominator": 3082,
     "valuePercent": 5.224,
     "direction": "lower",
     "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.",
     "ci95": [
      4.14,
      6.58
     ],
     "ci95Method": "wilson-design-effect",
     "designEffect": 2.3695
    },
    {
     "key": "medical-term-errors",
     "label": "Fehler bei Fachbegriffen",
     "numerator": 105,
     "denominator": 1163,
     "valuePercent": 9.028,
     "direction": "lower",
     "definition": "Fachlich falsch wiedergegebene oder ausgelassene medizinische Konzepte pro annotiertem Fachkonzept der Referenz. Synonyme gelten bei gleicher Bedeutung als korrekt.",
     "ci95": [
      6.77,
      11.95
     ],
     "ci95Method": "wilson-design-effect",
     "designEffect": 2.4437
    },
    {
     "key": "medication-errors",
     "label": "Fehler bei Medikamenten und Dosierungen",
     "numerator": 5,
     "denominator": 72,
     "valuePercent": 6.944,
     "direction": "lower",
     "definition": "Falsch wiedergegebene oder ausgelassene Angaben zu Wirkstoff, Dosis, Einheit und Einnahme pro annotierter Medikationsangabe. Jede Angabe zählt höchstens einmal.",
     "ci95": [
      2.09,
      20.67
     ],
     "ci95Method": "wilson-design-effect",
     "designEffect": 2.152
    },
    {
     "key": "negation-errors",
     "label": "Fehler bei Verneinungen",
     "numerator": 12,
     "denominator": 429,
     "valuePercent": 2.797,
     "direction": "lower",
     "definition": "Verlorene, hinzugefügte oder umgekehrte Negationen pro Referenzaussage mit verneintem oder ausdrücklich bestätigtem Befund. Eine Aussage zählt höchstens einmal.",
     "ci95": [
      1.14,
      6.69
     ],
     "ci95Method": "wilson-design-effect",
     "designEffect": 2.7043
    },
    {
     "key": "temporal-errors",
     "label": "Fehler bei zeitlichen Angaben",
     "numerator": 51,
     "denominator": 956,
     "valuePercent": 5.335,
     "direction": "lower",
     "definition": "Falsch zugeordnete oder ausgelassene Zeitpunkte, Dauern und zeitliche Beziehungen pro annotierter zeitlicher Referenzangabe.",
     "ci95": [
      3.5,
      8.04
     ],
     "ci95Method": "wilson-design-effect",
     "designEffect": 2.4515
    },
    {
     "key": "attribution-errors",
     "label": "Fehler bei der Zuordnung",
     "numerator": 110,
     "denominator": 1875,
     "valuePercent": 5.867,
     "direction": "lower",
     "definition": "Falsche oder ausgelassene Zuordnung von Aussagen zu Patient, behandelnder Person oder Drittperson pro Referenzfakt mit erforderlicher Quellenzuordnung.",
     "ci95": [
      4.34,
      7.87
     ],
     "ci95Method": "wilson-design-effect",
     "designEffect": 2.6999
    },
    {
     "key": "risk-assessment-errors",
     "label": "Fehler bei Risikohinweisen",
     "numerator": 13,
     "denominator": 167,
     "valuePercent": 7.784,
     "direction": "lower",
     "definition": "Ausgelassene, hinzugefügte oder falsch eingeordnete Aussagen zu Selbstgefährdung und Schutzfaktoren pro annotierter risikorelevanter Referenzaussage. Bewertet wird anhand des Gesprächs nach einer festgelegten Rubrik.",
     "ci95": [
      3.49,
      16.46
     ],
     "ci95Method": "wilson-design-effect",
     "designEffect": 2.3762
    }
   ],
   "errorTypes": [
    {
     "label": "Nicht erfasste Referenzfakten",
     "count": 578
    },
    {
     "label": "Falsche oder unbelegte Aussagen",
     "count": 161
    },
    {
     "label": "Zutreffende, aber nicht relevante Aussagen",
     "count": 232
    }
   ],
   "failedRuns": [
    {
     "scenarioId": "therapie-034",
     "run": 1,
     "reason": "Kein Dokument innerhalb des protokollierten Zeitlimits"
    },
    {
     "scenarioId": "therapie-035",
     "run": 1,
     "reason": "Kein Dokument innerhalb des protokollierten Zeitlimits"
    }
   ],
   "configuration": {
    "locale": "de-DE",
    "automaticLanguageDetection": true,
    "productVersion": "Upheal Clinician-App für Android, Stand 3. Quartal 2026",
    "modelVersions": null,
    "template": {
     "id": "si-therapie-verlauf",
     "version": "1.0"
    },
    "instruction": {
     "id": "si-instr-therapie",
     "version": "1.0"
    },
    "customVocabulary": null,
    "settings": {
     "inputPath": "Virtueller Mikrofoneingang einer emulierten Geräteumgebung",
     "device": "Emulierte Android-Geräteumgebung",
     "outputLanguage": "de-DE",
     "patientContext": "Ohne zusätzliche Vorbefunde"
    },
    "scorer": {
     "name": "scribeindex-eval",
     "version": "1.0"
    },
    "normalization": null
   },
   "corpusMetadata": {
    "version": "1.0",
    "manifestSha256": "62780a1c05eb9562aa4bdbee3b73aedcf448ce0e8e6ba5fd85d7e17baa3b4bd8",
    "referenceVersion": "1.0",
    "referenceSha256": "62c50ae99e53e02e016470714f0a6524d90a92407fe393d48adae95f19a8ee2a",
    "sourceScenarioCount": 36,
    "evaluatedScenarioCount": 36,
    "totalAudioSeconds": 103620,
    "durationSeconds": {
     "minimum": 2220,
     "maximum": 3540
    },
    "audioFormats": [
     {
      "codec": "PCM 24 Bit (WAV)",
      "sampleRateHertz": 48000,
      "channels": 1
     }
    ],
    "conversions": [
     {
      "description": "Einspielung der Gesprächsaufnahme in Echtzeit über den virtuellen Mikrofoneingang einer emulierten Geräteumgebung mit −20 dBFS RMS",
      "tool": "scribeindex-playback",
      "version": "1.0"
     }
    ],
    "exclusions": []
   },
   "uncertainty": {
    "confidenceLevel": 0.95,
    "method": "paired-cluster-bootstrap",
    "clusterUnit": "scenario",
    "clusterCount": 36,
    "resamples": 2000,
    "seed": 3733937332,
    "intervalMethod": "percentile",
    "aggregation": "pooled-counts",
    "pairedSampleManifestSha256": "0c35a46bc36056c43d2f55385441679c130a0d1ef5bcb7bd6cb2f19411cef23a"
   }
  }
 ]
}