{ "schemaVersion": "1.0", "name": "ScribeIndex Testergebnisse: LumaNote", "license": { "name": "CC BY 4.0", "url": "https://creativecommons.org/licenses/by/4.0/deed.de" }, "citation": "ScribeIndex (2026): Testergebnisse LumaNote. https://scribeindex.com/anbieter/lumanote/test/", "corpora": [ { "id": "de-therapie-v1", "version": "1.0", "title": "Psychotherapeutische Sitzungen", "category": "medical-scribes", "task": "therapy-notes", "protocol": "1.0", "description": "Im Rollenspiel geführte Therapiesitzungen aus Verhaltenstherapie, tiefenpsychologisch fundierter Therapie und systemischen Paar- oder Familiengesprächen. 17 der 36 Sitzungen enthalten Aussagen zu Selbstgefährdung oder Schutzfaktoren.", "sourceScenarioCount": 36, "scenarioCount": 36, "runs": 3, "exclusions": [], "strata": [ { "dimension": "Verfahren", "groups": [ { "label": "Verhaltenstherapie", "count": 15 }, { "label": "Tiefenpsychologisch fundiert", "count": 12 }, { "label": "Systemisch (Paar oder Familie)", "count": 5 }, { "label": "Erstgespräch und Probatorik", "count": 4 } ] }, { "dimension": "Risikoinhalt", "groups": [ { "label": "Mit Risikoaussagen", "count": 17 }, { "label": "Ohne Risikoaussagen", "count": 19 } ] } ], "speakers": { "min": 2, "max": 4 }, "durationSeconds": { "min": 2220, "max": 3540, "median": 2820, "total": 103620 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 1 } ], "reference": { "version": "1.0", "words": 185226, "characters": 1162943, "charactersPerWord": 6.279, "facts": 1108, "units": [ { "key": "medicalTerms", "label": "Annotierte medizinische Fachkonzepte", "count": 395 }, { "key": "medicationStatements", "label": "Medikationsangaben (Wirkstoff, Dosis, Einheit, Einnahme)", "count": 25 }, { "key": "polarityStatements", "label": "Verneinte oder ausdrücklich bestätigte Befunde", "count": 145 }, { "key": "temporalFacts", "label": "Zeitliche Referenzangaben", "count": 323 }, { "key": "attributionFacts", "label": "Fakten mit erforderlicher Quellenzuordnung", "count": 636 }, { "key": "riskFacts", "label": "Risikorelevante Referenzaussagen", "count": 57 } ] }, "annotation": { "independentAnnotations": 1, "adjudication": "Dokumentationsrelevante Fakten und Risikoaussagen werden mit der Gesprächsvorlage festgelegt und nach der Aufnahme am Gesprochenen bestätigt. Risikoaussagen prüft immer eine Fachperson.", "rubric": { "id": "clinical-facts-v1", "version": "1.0" } }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": null, "manifestSha256": "62780a1c05eb9562aa4bdbee3b73aedcf448ce0e8e6ba5fd85d7e17baa3b4bd8", "referenceSha256": "62c50ae99e53e02e016470714f0a6524d90a92407fe393d48adae95f19a8ee2a", "uncertainty": { "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "resamples": 2000, "seed": 3733937332, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "0c35a46bc36056c43d2f55385441679c130a0d1ef5bcb7bd6cb2f19411cef23a" }, "frozen": "2026-Q2", "testPeriod": "2026-Q2/2026-Q3", "methodUrl": "https://scribeindex.com/methodik/medical-scribes/" }, { "id": "de-anamnese-v1", "version": "1.0", "title": "Lange Anamnesegespräche", "category": "medical-scribes", "task": "anamnesis-report", "protocol": "1.0", "description": "Lange, im Rollenspiel geführte Anamnesegespräche mit fiktiven Personen, wechselnden zeitlichen Ebenen, Angehörigenbeiträgen, Dolmetschenden und Angaben, die einander ausdrücklich widersprechen. Zielausgabe ist ein ausführlicher gegliederter Bericht.", "sourceScenarioCount": 25, "scenarioCount": 24, "runs": 2, "exclusions": [ { "scenarioId": "anamnese-009", "reason": "Aufnahme vorzeitig abgebrochen, Gespräch unvollständig." } ], "strata": [ { "dimension": "Gesprächskonstellation", "groups": [ { "label": "Einzelgespräch", "count": 13 }, { "label": "Mit Angehörigen", "count": 6 }, { "label": "Mit Dolmetschenden", "count": 5 } ] }, { "dimension": "Kontext", "groups": [ { "label": "Psychiatrische Anamnese", "count": 8 }, { "label": "Psychosomatische Anamnese", "count": 6 }, { "label": "Neurologische Anamnese", "count": 4 }, { "label": "Internistische Langanamnese", "count": 3 }, { "label": "Sozialmedizinische Begutachtung", "count": 3 } ] }, { "dimension": "Widersprüchliche Angaben", "groups": [ { "label": "Mit annotierten Widersprüchen", "count": 22 }, { "label": "Ohne annotierte Widersprüche", "count": 2 } ] } ], "speakers": { "min": 2, "max": 4 }, "durationSeconds": { "min": 2220, "max": 5100, "median": 3600, "total": 86760 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 2 } ], "reference": { "version": "1.0", "words": 143354, "characters": 915637, "charactersPerWord": 6.387, "facts": 3963, "units": [ { "key": "medicalTerms", "label": "Annotierte medizinische Fachkonzepte", "count": 1143 }, { "key": "medicationStatements", "label": "Medikationsangaben (Wirkstoff, Dosis, Einheit, Einnahme)", "count": 153 }, { "key": "polarityStatements", "label": "Verneinte oder ausdrücklich bestätigte Befunde", "count": 418 }, { "key": "temporalFacts", "label": "Zeitliche Referenzangaben", "count": 914 }, { "key": "attributionFacts", "label": "Fakten mit erforderlicher Quellenzuordnung", "count": 2593 }, { "key": "detailFacts", "label": "Markierte erforderliche Detailfakten", "count": 2383 }, { "key": "requiredSections", "label": "Erforderliche Berichtsabschnitte", "count": 438 }, { "key": "contradictions", "label": "Annotierte Widerspruchspaare", "count": 51 } ] }, "annotation": { "independentAnnotations": 1, "adjudication": "Detailfakten mit Quelle und Zeitbezug, Widerspruchspaare und Pflichtabschnitte werden mit der Gesprächsvorlage festgelegt und nach der Aufnahme am Gesprochenen bestätigt.", "rubric": { "id": "anamnesis-facts-v1", "version": "1.0" } }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": null, "manifestSha256": "fd43d74a52c8f38d1962a41126bf5f14f7d1f35990ef9e325e5a5c9b4a8e750e", "referenceSha256": "f29faa81a90ca61e58fc49886c47b58ec1ff812e17abf3c5ffd0a6f9c54a8417", "uncertainty": { "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "resamples": 2000, "seed": 4114781480, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "507123a351cd2e8740278c579658de54ed5f0b6c9b5e1c6d7d6e788ac20cc2a3" }, "frozen": "2026-Q2", "testPeriod": "2026-Q2/2026-Q3", "methodUrl": "https://scribeindex.com/methodik/medical-scribes/" } ], "results": [ { "id": "lumanote/medical-scribes:therapy-notes", "provider": "lumanote", "providerName": "LumaNote", "test": "medical-scribes:therapy-notes", "label": "Psychotherapeutische Sitzungsdokumentation", "category": "medical-scribes", "task": "therapy-notes", "url": "https://scribeindex.com/anbieter/lumanote/test/#psychotherapie", "rankingUrl": "https://scribeindex.com/vergleich/medical-scribes/psychotherapie/", "testPeriod": "2026-Q3", "protocol": "1.0", "corpus": "de-therapie-v1", "scenarios": 36, "runs": 3, "completed": 108, "total": 108, "completionRatePercent": 100, "evaluation": { "output": "therapy-note", "semanticRubric": "clinical-facts-v1", "wordErrorRate": { "applicability": "not-applicable", "basis": "unavailable", "explanation": "Die gelieferte Ausgabe ist eine therapeutische Sitzungsnotiz. Bewertet werden dokumentationsrelevante Fakten und ihre Zuordnung, nicht die Wortfolge des Gesprächs." } }, "score": { "version": "2.2", "value": 72.7879, "ci95": [ 64.1, 77.6 ], "ci95Method": "paired-cluster-bootstrap-beta-critical", "pairedDifferences": [ { "provider": "healthjet", "ci95": [ -0.44, 18.47 ] }, { "provider": "playnvoice", "ci95": [ -6.82, 8.35 ] }, { "provider": "heidi", "ci95": [ 3.47, 23.37 ] }, { "provider": "tandem-health", "ci95": [ -1.69, 16.98 ] }, { "provider": "via-health", "ci95": [ -13.74, 2.91 ] }, { "provider": "dokudachs", "ci95": [ -12.2, 5.55 ] }, { "provider": "iptas", "ci95": [ -9.88, 4.33 ] }, { "provider": "clara-health", "ci95": [ -6.53, 9.74 ] }, { "provider": "noa-notes", "ci95": [ 3.88, 19.15 ] }, { "provider": "psynex", "ci95": [ -12.41, 2.25 ] }, { "provider": "upheal", "ci95": [ 7.32, 28.26 ] } ], "rank": 5, "cohortSize": 12, "criticalRatePercent": 3.704, "contentQuality": 90.923, "references": { "key": "therapy-notes", "qualityErrorPoints": 30, "correctionMinutes": 20, "criticalPercent": 20 }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 69.743, "weight": 0.6, "contribution": 41.846 }, { "key": "critical", "label": "Schwerwiegende Fehler", "value": 81.481, "weight": 0.2, "contribution": 16.296 }, { "key": "effort", "label": "Korrekturaufwand", "value": 64.306, "weight": 0.15, "contribution": 9.646 }, { "key": "reliability", "label": "Abschlussquote", "value": 100, "weight": 0.05, "contribution": 5 } ] }, "mainMetric": { "label": "Fakten-F1", "abbreviation": "F1", "value": 90.923, "direction": "higher", "ci95": [ 89.45, 92.28 ] }, "transcription": null, "facts": { "truePositive": 3000, "falsePositive": 275, "falseNegative": 324, "referenceFacts": 3324, "outputFacts": 3275, "precisionPercent": 91.603, "precisionCi95": [ 89.65, 93.39 ], "recallPercent": 90.253, "recallCi95": [ 88.83, 91.66 ], "f1Percent": 90.923, "f1Ci95": [ 89.45, 92.28 ] }, "latency": { "p50Seconds": 371.9, "p95Seconds": 601.4, "mode": "file-upload", "start": "Uploadstart", "end": "Vollständiges Dokument verfügbar" }, "correction": { "minutesPerAudioHour": 7.1388, "ci95": [ 6.05, 8.34 ], "estimate": { "outputs": 108, "audioSeconds": 310800, "minutes": 616.3, "ci": [ 6.05, 8.34 ], "audioHours": 86.331 } }, "additionalMetrics": [ { "key": "critical-documents", "label": "Dokumente mit schwerwiegendem Fehler", "numerator": 4, "denominator": 108, "valuePercent": 3.704, "direction": "lower", "definition": "Ausgaben mit mindestens einem potenziell schwerwiegenden medizinischen Fehler pro abgeschlossener Ausgabe. Bewertet wird jeder Fall nach einer festgelegten Fehlerrubrik. Fehler bei Medikation oder Verneinung zählen hier nur, wenn die Rubrik die betroffene Angabe als potenziell schwerwiegend einstuft. Die Zähler je Fehlerart enthalten auch folgenlose Abweichungen.", "ci95": [ 1.02, 12.47 ], "ci95Method": "wilson-design-effect", "designEffect": 1.9778 }, { "key": "unsupported-statements", "label": "Falsche oder unbelegte Aussagen", "numerator": 122, "denominator": 3275, "valuePercent": 3.725, "direction": "lower", "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.", "ci95": [ 2.83, 4.89 ], "ci95Method": "wilson-design-effect", "designEffect": 2.4562 }, { "key": "medical-term-errors", "label": "Fehler bei Fachbegriffen", "numerator": 58, "denominator": 1185, "valuePercent": 4.895, "direction": "lower", "definition": "Fachlich falsch wiedergegebene oder ausgelassene medizinische Konzepte pro annotiertem Fachkonzept der Referenz. Synonyme gelten bei gleicher Bedeutung als korrekt.", "ci95": [ 3.29, 7.21 ], "ci95Method": "wilson-design-effect", "designEffect": 2.4719 }, { "key": "medication-errors", "label": "Fehler bei Medikamenten und Dosierungen", "numerator": 7, "denominator": 75, "valuePercent": 9.333, "direction": "lower", "definition": "Falsch wiedergegebene oder ausgelassene Angaben zu Wirkstoff, Dosis, Einheit und Einnahme pro annotierter Medikationsangabe. Jede Angabe zählt höchstens einmal.", "ci95": [ 3.3, 23.67 ], "ci95Method": "wilson-design-effect", "designEffect": 2.2198 }, { "key": "negation-errors", "label": "Fehler bei Verneinungen", "numerator": 11, "denominator": 435, "valuePercent": 2.529, "direction": "lower", "definition": "Verlorene, hinzugefügte oder umgekehrte Negationen pro Referenzaussage mit verneintem oder ausdrücklich bestätigtem Befund. Eine Aussage zählt höchstens einmal.", "ci95": [ 0.99, 6.31 ], "ci95Method": "wilson-design-effect", "designEffect": 2.7303 }, { "key": "temporal-errors", "label": "Fehler bei zeitlichen Angaben", "numerator": 44, "denominator": 969, "valuePercent": 4.541, "direction": "lower", "definition": "Falsch zugeordnete oder ausgelassene Zeitpunkte, Dauern und zeitliche Beziehungen pro annotierter zeitlicher Referenzangabe.", "ci95": [ 2.88, 7.08 ], "ci95Method": "wilson-design-effect", "designEffect": 2.472 }, { "key": "attribution-errors", "label": "Fehler bei der Zuordnung", "numerator": 43, "denominator": 1908, "valuePercent": 2.254, "direction": "lower", "definition": "Falsche oder ausgelassene Zuordnung von Aussagen zu Patient, behandelnder Person oder Drittperson pro Referenzfakt mit erforderlicher Quellenzuordnung.", "ci95": [ 1.38, 3.65 ], "ci95Method": "wilson-design-effect", "designEffect": 2.7304 }, { "key": "risk-assessment-errors", "label": "Fehler bei Risikohinweisen", "numerator": 5, "denominator": 171, "valuePercent": 2.924, "direction": "lower", "definition": "Ausgelassene, hinzugefügte oder falsch eingeordnete Aussagen zu Selbstgefährdung und Schutzfaktoren pro annotierter risikorelevanter Referenzaussage. Bewertet wird anhand des Gesprächs nach einer festgelegten Rubrik.", "ci95": [ 0.82, 9.87 ], "ci95Method": "wilson-design-effect", "designEffect": 2.4129 } ], "errorTypes": [ { "label": "Nicht erfasste Referenzfakten", "count": 324 }, { "label": "Falsche oder unbelegte Aussagen", "count": 122 }, { "label": "Zutreffende, aber nicht relevante Aussagen", "count": 153 } ], "failedRuns": [], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "LumaNote Browseranwendung mit Audio-Upload, Stand 3. Quartal 2026", "modelVersions": null, "template": { "id": "anbieter-verlaufsdokumentation", "version": null }, "instruction": { "id": "si-instr-therapie", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Dateiupload der Korpusdatei im Browser", "outputLanguage": "de-DE", "specialty": "Psychotherapie", "template": "Vorhandene Verlaufsdokumentation passend zur Therapieform", "documentLength": "Lange Ausgabe" }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": null }, "corpusMetadata": { "version": "1.0", "manifestSha256": "62780a1c05eb9562aa4bdbee3b73aedcf448ce0e8e6ba5fd85d7e17baa3b4bd8", "referenceVersion": "1.0", "referenceSha256": "62c50ae99e53e02e016470714f0a6524d90a92407fe393d48adae95f19a8ee2a", "sourceScenarioCount": 36, "evaluatedScenarioCount": 36, "totalAudioSeconds": 103620, "durationSeconds": { "minimum": 2220, "maximum": 3540 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 1 } ], "conversions": [], "exclusions": [] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 36, "resamples": 2000, "seed": 3733937332, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "0c35a46bc36056c43d2f55385441679c130a0d1ef5bcb7bd6cb2f19411cef23a" } }, { "id": "lumanote/medical-scribes:anamnesis-report", "provider": "lumanote", "providerName": "LumaNote", "test": "medical-scribes:anamnesis-report", "label": "Anamneseberichte", "category": "medical-scribes", "task": "anamnesis-report", "url": "https://scribeindex.com/anbieter/lumanote/test/#anamneseberichte", "rankingUrl": "https://scribeindex.com/vergleich/medical-scribes/anamneseberichte/", "testPeriod": "2026-Q3", "protocol": "1.0", "corpus": "de-anamnese-v1", "scenarios": 24, "runs": 2, "completed": 48, "total": 48, "completionRatePercent": 100, "evaluation": { "output": "anamnesis-report", "semanticRubric": "anamnesis-facts-v1", "wordErrorRate": { "applicability": "not-applicable", "basis": "unavailable", "explanation": "Bewertet wird der ausführliche Anamnesebericht aus dem aufgezeichneten Gespräch. Gegliederte Abschnitte, indirekte Rede und Umformulierungen werden semantisch abgeglichen, nicht gegen die Wortfolge des Audios bewertet." } }, "score": { "version": "2.2", "value": 69.049, "ci95": [ 56.4, 74.4 ], "ci95Method": "paired-cluster-bootstrap-beta-critical", "pairedDifferences": [ { "provider": "healthjet", "ci95": [ -17.88, 8.17 ] }, { "provider": "tippiti", "ci95": [ -25.94, -3.17 ] } ], "rank": 3, "cohortSize": 3, "criticalRatePercent": 6.25, "contentQuality": 89.786, "references": { "key": "anamnesis-report", "qualityErrorPoints": 30, "correctionMinutes": 84, "criticalPercent": 20 }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 65.952, "weight": 0.6, "contribution": 39.571 }, { "key": "critical", "label": "Schwerwiegende Fehler", "value": 68.75, "weight": 0.2, "contribution": 13.75 }, { "key": "effort", "label": "Korrekturaufwand", "value": 71.519, "weight": 0.15, "contribution": 10.728 }, { "key": "reliability", "label": "Abschlussquote", "value": 100, "weight": 0.05, "contribution": 5 } ] }, "mainMetric": { "label": "Fakten-F1", "abbreviation": "F1", "value": 89.786, "direction": "higher", "ci95": [ 88.96, 90.63 ] }, "transcription": null, "facts": { "truePositive": 6887, "falsePositive": 528, "falseNegative": 1039, "referenceFacts": 7926, "outputFacts": 7415, "precisionPercent": 92.879, "precisionCi95": [ 91.81, 93.93 ], "recallPercent": 86.891, "recallCi95": [ 85.61, 88.13 ], "f1Percent": 89.786, "f1Ci95": [ 88.96, 90.63 ] }, "latency": { "p50Seconds": 509.8, "p95Seconds": 987.4, "mode": "file-upload", "start": "Uploadstart", "end": "Vollständiges Dokument verfügbar" }, "correction": { "minutesPerAudioHour": 23.9237, "ci95": [ 20.8, 27.14 ], "estimate": { "outputs": 48, "audioSeconds": 173520, "minutes": 1153.17, "ci": [ 20.8, 27.14 ], "audioHours": 48.202 } }, "additionalMetrics": [ { "key": "critical-documents", "label": "Dokumente mit schwerwiegendem Fehler", "numerator": 3, "denominator": 48, "valuePercent": 6.25, "direction": "lower", "definition": "Ausgaben mit mindestens einem potenziell schwerwiegenden medizinischen Fehler pro abgeschlossener Ausgabe. Bewertet wird jeder Fall nach einer festgelegten Fehlerrubrik. Fehler bei Medikation oder Verneinung zählen hier nur, wenn die Rubrik die betroffene Angabe als potenziell schwerwiegend einstuft. Die Zähler je Fehlerart enthalten auch folgenlose Abweichungen.", "ci95": [ 1.73, 20.08 ], "ci95Method": "wilson-design-effect", "designEffect": 1.4889 }, { "key": "unsupported-statements", "label": "Falsche oder unbelegte Aussagen", "numerator": 175, "denominator": 7415, "valuePercent": 2.36, "direction": "lower", "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.", "ci95": [ 1.89, 2.94 ], "ci95Method": "wilson-design-effect", "designEffect": 2.242 }, { "key": "medical-term-errors", "label": "Fehler bei Fachbegriffen", "numerator": 125, "denominator": 2286, "valuePercent": 5.468, "direction": "lower", "definition": "Fachlich falsch wiedergegebene oder ausgelassene medizinische Konzepte pro annotiertem Fachkonzept der Referenz. Synonyme gelten bei gleicher Bedeutung als korrekt.", "ci95": [ 4.39, 6.79 ], "ci95Method": "wilson-design-effect", "designEffect": 1.637 }, { "key": "medication-errors", "label": "Fehler bei Medikamenten und Dosierungen", "numerator": 14, "denominator": 306, "valuePercent": 4.575, "direction": "lower", "definition": "Falsch wiedergegebene oder ausgelassene Angaben zu Wirkstoff, Dosis, Einheit und Einnahme pro annotierter Medikationsangabe. Jede Angabe zählt höchstens einmal.", "ci95": [ 2.39, 8.57 ], "ci95Method": "wilson-design-effect", "designEffect": 1.6217 }, { "key": "negation-errors", "label": "Fehler bei Verneinungen", "numerator": 22, "denominator": 836, "valuePercent": 2.632, "direction": "lower", "definition": "Verlorene, hinzugefügte oder umgekehrte Negationen pro Referenzaussage mit verneintem oder ausdrücklich bestätigtem Befund. Eine Aussage zählt höchstens einmal.", "ci95": [ 1.48, 4.61 ], "ci95Method": "wilson-design-effect", "designEffect": 1.9327 }, { "key": "temporal-errors", "label": "Fehler bei zeitlichen Angaben", "numerator": 67, "denominator": 1828, "valuePercent": 3.665, "direction": "lower", "definition": "Falsch zugeordnete oder ausgelassene Zeitpunkte, Dauern und zeitliche Beziehungen pro annotierter zeitlicher Referenzangabe.", "ci95": [ 2.67, 5 ], "ci95Method": "wilson-design-effect", "designEffect": 1.7744 }, { "key": "attribution-errors", "label": "Fehler bei der Zuordnung", "numerator": 129, "denominator": 5186, "valuePercent": 2.487, "direction": "lower", "definition": "Falsche oder ausgelassene Zuordnung von Aussagen zu Patient, behandelnder Person oder Drittperson pro Referenzfakt mit erforderlicher Quellenzuordnung.", "ci95": [ 1.92, 3.21 ], "ci95Method": "wilson-design-effect", "designEffect": 2.2365 }, { "key": "detail-retention", "label": "Detailerhalt", "numerator": 4061, "denominator": 4766, "valuePercent": 85.208, "direction": "higher", "definition": "Korrekt erhaltene erforderliche Detailfakten pro vorab markiertem Detailfakt der vollständigen Anamnesereferenz. Angaben zu Vorgeschichte, Beschwerden, Verlauf, Behandlung und Lebensumständen werden getrennt annotiert. Fehlende Angaben sind keine Treffer.", "ci95": [ 83.28, 86.95 ], "ci95Method": "wilson-design-effect", "designEffect": 3.3007 }, { "key": "template-completeness", "label": "Vollständige Berichtsgliederung", "numerator": 751, "denominator": 876, "valuePercent": 85.731, "direction": "higher", "definition": "Vorhandene und inhaltlich korrekt befüllte Pflichtabschnitte pro aufgabenbezogen erforderlichem Abschnitt. Je nach Gesprächsinhalt sind 16 bis 20 Abschnitte der Berichtsvorlage erforderlich. Nicht erhobene Inhalte werden als nicht erhoben markiert und nicht ergänzt.", "ci95": [ 82.57, 88.4 ], "ci95Method": "wilson-design-effect", "designEffect": 1.5762 }, { "key": "contradiction-handling", "label": "Erhalt widersprüchlicher Angaben", "numerator": 78, "denominator": 102, "valuePercent": 76.471, "direction": "higher", "definition": "Korrekt getrennt und mit ihrer Quelle wiedergegebene widersprüchliche Angaben pro vorab annotiertem Widerspruchspaar. Ausgelassene oder ohne Quellenbasis aufgelöste Widersprüche sind keine Treffer.", "ci95": [ 62.87, 86.19 ], "ci95Method": "wilson-design-effect", "designEffect": 2.1032 }, { "key": "unsupported-inferences", "label": "Nicht belegte Schlussfolgerungen", "numerator": 44, "denominator": 622, "valuePercent": 7.074, "direction": "lower", "definition": "Nicht durch Gespräch oder bereitgestellten Kontext belegte Schlussfolgerungen pro tatsächlich ausgegebener Schlussfolgerung. Eine als fremde Einschätzung gekennzeichnete Aussage zählt nur bei korrekter Quellenzuordnung als belegt.", "ci95": [ 4.46, 11.04 ], "ci95Method": "wilson-design-effect", "designEffect": 2.5898 } ], "errorTypes": [ { "label": "Nicht erfasste Referenzfakten", "count": 1039 }, { "label": "Falsche oder unbelegte Aussagen", "count": 175 }, { "label": "Zutreffende, aber nicht relevante Aussagen", "count": 353 } ], "failedRuns": [], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "LumaNote Browseranwendung mit Audio-Upload, Stand 3. Quartal 2026", "modelVersions": null, "template": { "id": "anbieter-biografische-anamnese", "version": null }, "instruction": { "id": "si-instr-anamnese", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Dateiupload der Korpusdatei im Browser", "outputLanguage": "de-DE", "specialty": "Psychotherapie", "template": "Vorhandene Vorlage für biografische Anamnesen", "documentLength": "Lange Ausgabe" }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": null }, "corpusMetadata": { "version": "1.0", "manifestSha256": "fd43d74a52c8f38d1962a41126bf5f14f7d1f35990ef9e325e5a5c9b4a8e750e", "referenceVersion": "1.0", "referenceSha256": "f29faa81a90ca61e58fc49886c47b58ec1ff812e17abf3c5ffd0a6f9c54a8417", "sourceScenarioCount": 25, "evaluatedScenarioCount": 24, "totalAudioSeconds": 86760, "durationSeconds": { "minimum": 2220, "maximum": 5100 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 2 } ], "conversions": [], "exclusions": [ { "scenarioId": "anamnese-009", "reason": "Aufnahme vorzeitig abgebrochen, Gespräch unvollständig." } ] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 24, "resamples": 2000, "seed": 4114781480, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "507123a351cd2e8740278c579658de54ed5f0b6c9b5e1c6d7d6e788ac20cc2a3" } } ] }