{ "schemaVersion": "1.0", "name": "ScribeIndex Testergebnisse: Idana Flow Pro", "license": { "name": "CC BY 4.0", "url": "https://creativecommons.org/licenses/by/4.0/deed.de" }, "citation": "ScribeIndex (2026): Testergebnisse Idana Flow Pro. https://scribeindex.com/anbieter/idana-flow/test/", "corpora": [ { "id": "de-klinik-v1", "version": "1.0", "title": "Ärztliche Behandlungsgespräche", "category": "medical-scribes", "task": "clinical-notes", "protocol": "1.0", "description": "Im Rollenspiel geführte Behandlungsgespräche mit zwei bis vier Personen, darunter Erstanamnese, Verlauf, Medikationsbesprechung, Befundbesprechung und kurzes psychiatrisches Erstgespräch. Die Gespräche liegen als unterschiedliche Raum- und Smartphoneaufnahmen vor.", "sourceScenarioCount": 50, "scenarioCount": 48, "runs": 3, "exclusions": [ { "scenarioId": "klinik-016", "reason": "Einwilligung zur Nutzung der Aufnahme vor Testbeginn widerrufen." }, { "scenarioId": "klinik-033", "reason": "Relevanzmenge auch nach fachlicher Durchsicht nicht eindeutig festlegbar." } ], "strata": [ { "dimension": "Gesprächsform", "groups": [ { "label": "Erstanamnese", "count": 11 }, { "label": "Verlaufsgespräch", "count": 12 }, { "label": "Medikationsbesprechung", "count": 8 }, { "label": "Befundbesprechung", "count": 10 }, { "label": "Kurzes psychiatrisches Erstgespräch", "count": 7 } ] }, { "dimension": "Fachrichtung", "groups": [ { "label": "Allgemeinmedizin", "count": 14 }, { "label": "Innere Medizin", "count": 10 }, { "label": "Pädiatrie", "count": 6 }, { "label": "Orthopädie", "count": 6 }, { "label": "Neurologie", "count": 5 }, { "label": "Psychiatrie", "count": 7 } ] }, { "dimension": "Aufnahme", "groups": [ { "label": "Raummikrofon, ruhig", "count": 20 }, { "label": "Smartphone auf dem Tisch", "count": 17 }, { "label": "Hintergrundgeräusche", "count": 11 } ] }, { "dimension": "Sprecherzahl", "groups": [ { "label": "Zwei Personen", "count": 29 }, { "label": "Drei Personen", "count": 13 }, { "label": "Vier Personen", "count": 6 } ] } ], "speakers": { "min": 2, "max": 4 }, "durationSeconds": { "min": 360, "max": 2400, "median": 540, "total": 34860 }, "audioFormats": [ { "codec": "AAC-LC (M4A)", "sampleRateHertz": 48000, "channels": 1 }, { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 2 } ], "reference": { "version": "1.0", "words": 71893, "characters": 469914, "charactersPerWord": 6.536, "facts": 1379, "units": [ { "key": "medicalTerms", "label": "Annotierte medizinische Fachkonzepte", "count": 1169 }, { "key": "medicationStatements", "label": "Medikationsangaben (Wirkstoff, Dosis, Einheit, Einnahme)", "count": 207 }, { "key": "polarityStatements", "label": "Verneinte oder ausdrücklich bestätigte Befunde", "count": 274 }, { "key": "temporalFacts", "label": "Zeitliche Referenzangaben", "count": 313 }, { "key": "attributionFacts", "label": "Fakten mit erforderlicher Quellenzuordnung", "count": 722 } ] }, "annotation": { "independentAnnotations": 1, "adjudication": "Atomare Fakten und Relevanzmenge werden mit der Gesprächsvorlage festgelegt und nach der Aufnahme am Gesprochenen bestätigt. Unklare Stellen prüft eine Fachperson, danach wird die Referenz eingefroren.", "rubric": { "id": "clinical-facts-v1", "version": "1.0" } }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": null, "manifestSha256": "07e4ff2bb9cb21c1b350d732b5e593f4f1830354a230c75954136f03552f7ba5", "referenceSha256": "9ddba13742d943cd28b478c231a53d71ed064e1ba7681896e21faedfe2bb2207", "uncertainty": { "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "resamples": 2000, "seed": 2234884632, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "f630f8568c719864793b7aacf8e58f4627c6b7bdcdf5f3730abfda50ad6bfb37" }, "frozen": "2026-Q2", "testPeriod": "2026-Q2/2026-Q3", "methodUrl": "https://scribeindex.com/methodik/medical-scribes/" }, { "id": "de-diktat-v1", "version": "1.0", "title": "Medizinische Diktate", "category": "medizinische-transkription", "protocol": "1.0", "description": "Nachgesprochene ärztliche Diktate aus sieben Fachrichtungen zu fiktiven Patientinnen und Patienten, mit Befunden, Medikation und Verneinungen. Dazu kommen gesprochene Anweisungen, also Diktatbefehle, spontane Selbstkorrekturen und gelegentliche Bearbeitungsanweisungen zu früheren Stellen des Diktats. Die Aufnahmen entstehen mit Headset oder Tischmikrofon, teils mit Hintergrundgeräuschen oder als komprimierte Diktiergerätedateien.", "sourceScenarioCount": 64, "scenarioCount": 62, "runs": 3, "exclusions": [ { "scenarioId": "diktat-023", "reason": "Die sprechende Person nannte versehentlich einen echten Namen. Die Aufnahme wurde vor der Referenzfreigabe zurückgezogen." }, { "scenarioId": "diktat-057", "reason": "Endgültige Angabe einer Selbstkorrektur auch nach Prüfung der Aufnahme nicht eindeutig hörbar." } ], "strata": [ { "dimension": "Fachrichtung", "groups": [ { "label": "Innere Medizin", "count": 13 }, { "label": "Allgemeinmedizin", "count": 11 }, { "label": "Orthopädie und Unfallchirurgie", "count": 10 }, { "label": "Radiologie", "count": 9 }, { "label": "Kardiologie", "count": 8 }, { "label": "Neurologie", "count": 7 }, { "label": "Gynäkologie", "count": 4 } ] }, { "dimension": "Aussprache", "groups": [ { "label": "Standarddeutsch", "count": 27 }, { "label": "Regional (Deutschland)", "count": 13 }, { "label": "Österreichisch", "count": 9 }, { "label": "Schweizerisch gefärbt", "count": 6 }, { "label": "Nicht muttersprachlich", "count": 7 } ] }, { "dimension": "Aufnahmebedingung", "groups": [ { "label": "Ruhiger Raum, Headset", "count": 22 }, { "label": "Ruhiger Raum, Tischmikrofon", "count": 14 }, { "label": "Hintergrundgeräusche", "count": 15 }, { "label": "Komprimierte Aufnahme", "count": 11 } ] } ], "speakers": { "min": 1, "max": 1 }, "durationSeconds": { "min": 60, "max": 900, "median": 300, "total": 18720 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 1 }, { "codec": "MP3 128 kbit/s", "sampleRateHertz": 44100, "channels": 1 }, { "codec": "AAC-LC (M4A)", "sampleRateHertz": 44100, "channels": 1 } ], "reference": { "version": "1.0", "words": 34387, "characters": 247912, "charactersPerWord": 7.209, "facts": 2235, "units": [ { "key": "medicalTerms", "label": "Annotierte medizinische Fachkonzepte", "count": 3735 }, { "key": "medicationStatements", "label": "Medikationsangaben (Wirkstoff, Dosis, Einheit, Einnahme)", "count": 254 }, { "key": "polarityStatements", "label": "Verneinte oder ausdrücklich bestätigte Befunde", "count": 369 }, { "key": "temporalFacts", "label": "Zeitliche Referenzangaben", "count": 485 }, { "key": "attributionFacts", "label": "Fakten mit erforderlicher Quellenzuordnung", "count": 805 }, { "key": "commands", "label": "Diktatbefehle", "count": 442 }, { "key": "selfCorrections", "label": "Selbstkorrekturen mit geänderter Angabe", "count": 84 }, { "key": "editInstructions", "label": "Bearbeitungsanweisungen", "count": 30 } ] }, "annotation": { "independentAnnotations": 1, "adjudication": "Diktattext und Fakten entstehen als Sprechvorlage vor der Aufnahme. Nach der Aufnahme wird das Gesprochene automatisch mit der Vorlage abgeglichen, abweichende Stellen werden an der Aufnahme geprüft und die Referenz vor dem ersten Anbieterlauf eingefroren.", "rubric": { "id": "clinical-facts-v1", "version": "1.0" } }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": { "id": "de-med-wer", "version": "1.0" }, "manifestSha256": "6768f28bb70c0457e31c2eaafd4f3c498c05b4aec26501537825bbaa22733060", "referenceSha256": "18772162e86230bce7cfb8a2f52f90244df2b1cdf52bdb6a646494dd3596dbb9", "uncertainty": { "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "resamples": 2000, "seed": 4214870755, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "1feb69fb1f1a9ee5134ab583a5bf6a80625f840f53d2d833da91149ac9f1550a" }, "frozen": "2026-Q2", "testPeriod": "2026-Q2/2026-Q3", "methodUrl": "https://scribeindex.com/methodik/medizinische-spracherkennung/" } ], "results": [ { "id": "idana-flow/medical-scribes:clinical-notes", "provider": "idana-flow", "providerName": "Idana Flow Pro", "test": "medical-scribes:clinical-notes", "label": "Ärztliche Gesprächsdokumentation", "category": "medical-scribes", "task": "clinical-notes", "url": "https://scribeindex.com/anbieter/idana-flow/test/#aerztliche-dokumentation", "rankingUrl": "https://scribeindex.com/vergleich/medical-scribes/aerztliche-dokumentation/", "testPeriod": "2026-Q2", "protocol": "1.0", "corpus": "de-klinik-v1", "scenarios": 48, "runs": 3, "completed": 143, "total": 144, "completionRatePercent": 99.306, "evaluation": { "output": "clinical-note", "semanticRubric": "clinical-facts-v1", "wordErrorRate": { "applicability": "not-applicable", "basis": "unavailable", "explanation": "Die gelieferte Ausgabe ist eine verdichtete Dokumentation, keine wortnahe Abschrift. Deshalb gibt es keine WER." } }, "score": { "version": "2.2", "value": 80.8163, "ci95": [ 74.5, 84 ], "ci95Method": "paired-cluster-bootstrap-beta-critical", "pairedDifferences": [ { "provider": "healthjet", "ci95": [ -6.93, 4.83 ] }, { "provider": "heidi", "ci95": [ -7.19, 4.73 ] }, { "provider": "tippiti", "ci95": [ -12.16, -1.05 ] }, { "provider": "tandem-health", "ci95": [ -4.98, 7.81 ] }, { "provider": "noa-notes", "ci95": [ -0.91, 12.04 ] }, { "provider": "doctolib-assistent", "ci95": [ -13.96, -3.79 ] }, { "provider": "dragon-copilot", "ci95": [ -9.03, 4.28 ] }, { "provider": "speechlive-health", "ci95": [ -5.73, 6.36 ] }, { "provider": "gospeech-medical", "ci95": [ -9.99, 0.76 ] }, { "provider": "quixxs", "ci95": [ 6.95, 20.48 ] } ], "rank": 7, "cohortSize": 11, "criticalRatePercent": 2.797, "contentQuality": 93.298, "references": { "key": "clinical-notes", "qualityErrorPoints": 30, "correctionMinutes": 59, "criticalPercent": 20 }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 77.662, "weight": 0.6, "contribution": 46.597 }, { "key": "critical", "label": "Schwerwiegende Fehler", "value": 86.014, "weight": 0.2, "contribution": 17.203 }, { "key": "effort", "label": "Korrekturaufwand", "value": 80.342, "weight": 0.15, "contribution": 12.051 }, { "key": "reliability", "label": "Abschlussquote", "value": 99.306, "weight": 0.05, "contribution": 4.965 } ] }, "mainMetric": { "label": "Fakten-F1", "abbreviation": "F1", "value": 93.298, "direction": "higher", "ci95": [ 92.49, 94.18 ] }, "transcription": null, "facts": { "truePositive": 3745, "falsePositive": 167, "falseNegative": 371, "referenceFacts": 4116, "outputFacts": 3912, "precisionPercent": 95.731, "precisionCi95": [ 94.78, 96.72 ], "recallPercent": 90.986, "recallCi95": [ 89.91, 92.14 ], "f1Percent": 93.298, "f1Ci95": [ 92.49, 94.18 ] }, "latency": { "p50Seconds": 28.6, "p95Seconds": 76.8, "mode": "live-conversation", "start": "Beenden der Aufnahme", "end": "Vollständiges Dokument verfügbar" }, "correction": { "minutesPerAudioHour": 11.5981, "ci95": [ 9.8, 13.36 ], "estimate": { "outputs": 143, "audioSeconds": 104040, "minutes": 335.14, "ci": [ 9.8, 13.36 ], "audioHours": 28.896 } }, "additionalMetrics": [ { "key": "critical-documents", "label": "Dokumente mit schwerwiegendem Fehler", "numerator": 4, "denominator": 143, "valuePercent": 2.797, "direction": "lower", "definition": "Ausgaben mit mindestens einem potenziell schwerwiegenden medizinischen Fehler pro abgeschlossener Ausgabe. Bewertet wird jeder Fall nach einer festgelegten Fehlerrubrik. Fehler bei Medikation oder Verneinung zählen hier nur, wenn die Rubrik die betroffene Angabe als potenziell schwerwiegend einstuft. Die Zähler je Fehlerart enthalten auch folgenlose Abweichungen.", "ci95": [ 0.77, 9.56 ], "ci95Method": "wilson-design-effect", "designEffect": 1.9676 }, { "key": "unsupported-statements", "label": "Falsche oder unbelegte Aussagen", "numerator": 54, "denominator": 3912, "valuePercent": 1.38, "direction": "lower", "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.", "ci95": [ 0.89, 2.12 ], "ci95Method": "wilson-design-effect", "designEffect": 2.636 }, { "key": "medical-term-errors", "label": "Fehler bei Fachbegriffen", "numerator": 134, "denominator": 3490, "valuePercent": 3.84, "direction": "lower", "definition": "Fachlich falsch wiedergegebene oder ausgelassene medizinische Konzepte pro annotiertem Fachkonzept der Referenz. Synonyme gelten bei gleicher Bedeutung als korrekt.", "ci95": [ 2.94, 5 ], "ci95Method": "wilson-design-effect", "designEffect": 2.5729 }, { "key": "medication-errors", "label": "Fehler bei Medikamenten und Dosierungen", "numerator": 13, "denominator": 618, "valuePercent": 2.104, "direction": "lower", "definition": "Falsch wiedergegebene oder ausgelassene Angaben zu Wirkstoff, Dosis, Einheit und Einnahme pro annotierter Medikationsangabe. Jede Angabe zählt höchstens einmal.", "ci95": [ 0.97, 4.47 ], "ci95Method": "wilson-design-effect", "designEffect": 2.1014 }, { "key": "negation-errors", "label": "Fehler bei Verneinungen", "numerator": 27, "denominator": 819, "valuePercent": 3.297, "direction": "lower", "definition": "Verlorene, hinzugefügte oder umgekehrte Negationen pro Referenzaussage mit verneintem oder ausdrücklich bestätigtem Befund. Eine Aussage zählt höchstens einmal.", "ci95": [ 1.87, 5.73 ], "ci95Method": "wilson-design-effect", "designEffect": 2.3364 }, { "key": "temporal-errors", "label": "Fehler bei zeitlichen Angaben", "numerator": 44, "denominator": 936, "valuePercent": 4.701, "direction": "lower", "definition": "Falsch zugeordnete oder ausgelassene Zeitpunkte, Dauern und zeitliche Beziehungen pro annotierter zeitlicher Referenzangabe.", "ci95": [ 2.96, 7.37 ], "ci95Method": "wilson-design-effect", "designEffect": 2.5399 }, { "key": "attribution-errors", "label": "Fehler bei der Zuordnung", "numerator": 64, "denominator": 2156, "valuePercent": 2.968, "direction": "lower", "definition": "Falsche oder ausgelassene Zuordnung von Aussagen zu Patient, behandelnder Person oder Drittperson pro Referenzfakt mit erforderlicher Quellenzuordnung.", "ci95": [ 2, 4.39 ], "ci95Method": "wilson-design-effect", "designEffect": 2.6751 } ], "errorTypes": [ { "label": "Nicht erfasste Referenzfakten", "count": 371 }, { "label": "Falsche oder unbelegte Aussagen", "count": 54 }, { "label": "Zutreffende, aber nicht relevante Aussagen", "count": 113 } ], "failedRuns": [ { "scenarioId": "klinik-028", "run": 3, "reason": "Kein Dokument innerhalb des protokollierten Zeitlimits" } ], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "Idana Flow Pro im Praxisportal, Stand 2. Quartal 2026", "modelVersions": null, "template": { "id": "anbieter-strukturierter-bericht", "version": null }, "instruction": { "id": "si-instr-sprechstunde", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Aufnahme in der Anwendung über einen virtuellen Mikrofoneingang", "outputLanguage": "de-DE", "documentFormat": "Strukturierter Bericht", "patientContext": "Ohne zusätzliche Fragebogendaten" }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": null }, "corpusMetadata": { "version": "1.0", "manifestSha256": "07e4ff2bb9cb21c1b350d732b5e593f4f1830354a230c75954136f03552f7ba5", "referenceVersion": "1.0", "referenceSha256": "9ddba13742d943cd28b478c231a53d71ed064e1ba7681896e21faedfe2bb2207", "sourceScenarioCount": 50, "evaluatedScenarioCount": 48, "totalAudioSeconds": 34860, "durationSeconds": { "minimum": 360, "maximum": 2400 }, "audioFormats": [ { "codec": "AAC-LC (M4A)", "sampleRateHertz": 48000, "channels": 1 }, { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 2 } ], "conversions": [ { "description": "Einspielung der Gesprächsaufnahme in Echtzeit über einen virtuellen Mikrofoneingang mit −20 dBFS RMS", "tool": "scribeindex-playback", "version": "1.0" } ], "exclusions": [ { "scenarioId": "klinik-016", "reason": "Einwilligung zur Nutzung der Aufnahme vor Testbeginn widerrufen." }, { "scenarioId": "klinik-033", "reason": "Relevanzmenge auch nach fachlicher Durchsicht nicht eindeutig festlegbar." } ] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 48, "resamples": 2000, "seed": 2234884632, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "f630f8568c719864793b7aacf8e58f4627c6b7bdcdf5f3730abfda50ad6bfb37" } }, { "id": "idana-flow/medizinische-transkription", "provider": "idana-flow", "providerName": "Idana Flow Pro", "test": "medizinische-transkription", "label": "Medizinische Spracherkennung", "category": "medizinische-transkription", "url": "https://scribeindex.com/anbieter/idana-flow/test/#medizinische-transkription", "rankingUrl": "https://scribeindex.com/vergleich/medizinische-spracherkennung/", "testPeriod": "2026-Q2", "protocol": "1.0", "corpus": "de-diktat-v1", "scenarios": 62, "runs": 3, "completed": 185, "total": 186, "completionRatePercent": 99.462, "evaluation": { "output": "edited-transcript", "semanticRubric": "clinical-facts-v1", "wordErrorRate": { "applicability": "diagnostic", "basis": "delivered-output", "explanation": "Der Dienst liefert eine KI-überarbeitete Ausgabe, keine wortnahe Abschrift. Die WER vergleicht sie Wort für Wort mit dem Diktat. Gewollte Korrekturen, Umstellungen und Glättungen zählen dabei mit. Der Wert zeigt deshalb vor allem, wie weit der Text vom Wortlaut abweicht, nicht wie viele Fehler er enthält. Ob die Inhalte stimmen, misst der Faktenabgleich. Die Erkennungsfehler zählen falsch erkannte oder inhaltlich veränderte Wörter, bezogen auf dieselben Referenzwörter. Bei wortnaher Ausgabe zählt jede Abweichung vom Wortlaut, bei KI-überarbeiteter Ausgabe bleiben zulässige Umformulierungen außen vor. Vergleiche stehen deshalb nur innerhalb derselben Ausgabeart. Die WER geht nicht in den ScribeIndex-Score ein." } }, "score": { "version": "2.2", "value": 93.2591, "ci95": [ 89.6, 94.2 ], "ci95Method": "paired-cluster-bootstrap-beta-critical", "pairedDifferences": [ { "provider": "dragon-medical-one", "ci95": [ 4.57, 12.32 ] }, { "provider": "heidi", "ci95": [ -3.14, 3.02 ] }, { "provider": "tippiti", "ci95": [ -6.42, -0.23 ] }, { "provider": "dragon-copilot", "ci95": [ 5.59, 13.76 ] }, { "provider": "mira-medical", "ci95": [ 7.71, 16.42 ] }, { "provider": "dictnow", "ci95": [ 7.63, 15.85 ] }, { "provider": "fluency-direct", "ci95": [ 10.03, 16.84 ] }, { "provider": "healthjet", "ci95": [ -1.8, 5.8 ] } ], "rank": 3, "cohortSize": 9, "criticalRatePercent": 0, "contentQuality": 97.49, "references": { "key": "medizinische-transkription", "qualityErrorPoints": 30, "correctionMinutes": 141, "criticalPercent": 15 }, "components": [ { "key": "quality", "label": "Inhaltsqualität", "value": 91.632, "weight": 0.6, "contribution": 54.979 }, { "key": "critical", "label": "Schwerwiegende Fehler", "value": 100, "weight": 0.2, "contribution": 20 }, { "key": "effort", "label": "Korrekturaufwand", "value": 88.712, "weight": 0.15, "contribution": 13.307 }, { "key": "reliability", "label": "Abschlussquote", "value": 99.462, "weight": 0.05, "contribution": 4.973 } ] }, "mainMetric": { "label": "Fakten-F1", "abbreviation": "F1", "value": 97.49, "direction": "higher", "ci95": [ 96.94, 98.01 ] }, "transcription": { "referenceWords": 102215, "substitutions": 4694, "deletions": 4618, "insertions": 3143, "errors": 12455, "werPercent": 12.185, "ci95": [ 11.18, 13.18 ], "comparable": false }, "facts": { "truePositive": 6427, "falsePositive": 110, "falseNegative": 221, "referenceFacts": 6648, "outputFacts": 6537, "precisionPercent": 98.317, "precisionCi95": [ 97.75, 98.83 ], "recallPercent": 96.676, "recallCi95": [ 95.86, 97.42 ], "f1Percent": 97.49, "f1Ci95": [ 96.94, 98.01 ] }, "latency": { "p50Seconds": 21.4, "p95Seconds": 48.9, "mode": "live-dictation", "start": "Ende des letzten zugespielten Wortes", "end": "Stabile nutzbare Textausgabe" }, "correction": { "minutesPerAudioHour": 15.9161, "ci95": [ 14.41, 17.49 ], "estimate": { "outputs": 185, "audioSeconds": 55680, "minutes": 246.11, "ci": [ 14.41, 17.49 ], "audioHours": 15.463 } }, "additionalMetrics": [ { "key": "recognition-errors", "label": "Erkennungsfehler", "numerator": 2598, "denominator": 102215, "valuePercent": 2.542, "direction": "lower", "definition": "Falsch erkannte, ausgelassene oder eingefügte Wörter pro Referenzwort, ohne zulässige Umformulierungen. Bei wortnaher Ausgabe entspricht der Wert der WER, dort zählt jede Abweichung vom Wortlaut. Bei KI-überarbeiteter Ausgabe zählen nur falsch erkannte oder inhaltlich veränderte Wörter. Für wortnahe Dienste ist die Zählung damit strenger.", "ci95": [ 2.3, 2.79 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "cer", "label": "Zeichenfehlerrate · CER", "numerator": 48126, "denominator": 737065, "valuePercent": 6.529, "direction": "lower", "definition": "Zeichenabweichungen pro Referenzzeichen nach NFC-Normalisierung, einheitlicher Groß- und Kleinschreibung, entfernten Satzzeichen und zu einem Leerzeichen zusammengefasstem Leerraum. Leerzeichen zählen als Zeichen.", "ci95": [ 6.05, 7 ], "ci95Method": "cluster-bootstrap-percentile", "designEffect": null }, { "key": "critical-documents", "label": "Dokumente mit schwerwiegendem Fehler", "numerator": 0, "denominator": 185, "valuePercent": 0, "direction": "lower", "definition": "Ausgaben mit mindestens einem potenziell schwerwiegenden medizinischen Fehler pro abgeschlossener Ausgabe. Bewertet wird jeder Fall nach einer festgelegten Fehlerrubrik. Fehler bei Medikation oder Verneinung zählen hier nur, wenn die Rubrik die betroffene Angabe als potenziell schwerwiegend einstuft. Die Zähler je Fehlerart enthalten auch folgenlose Abweichungen.", "ci95": [ 0, 3.93 ], "ci95Method": "wilson-design-effect", "designEffect": 1.9699 }, { "key": "unsupported-statements", "label": "Falsche oder unbelegte Aussagen", "numerator": 72, "denominator": 6537, "valuePercent": 1.101, "direction": "lower", "definition": "Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier.", "ci95": [ 0.76, 1.59 ], "ci95Method": "wilson-design-effect", "designEffect": 2.5081 }, { "key": "medical-term-errors", "label": "Fehler bei Fachbegriffen", "numerator": 210, "denominator": 11117, "valuePercent": 1.889, "direction": "lower", "definition": "Fachlich falsch wiedergegebene oder ausgelassene medizinische Konzepte pro annotiertem Fachkonzept der Referenz. Synonyme gelten bei gleicher Bedeutung als korrekt.", "ci95": [ 1.49, 2.38 ], "ci95Method": "wilson-design-effect", "designEffect": 2.9944 }, { "key": "medication-errors", "label": "Fehler bei Medikamenten und Dosierungen", "numerator": 18, "denominator": 757, "valuePercent": 2.378, "direction": "lower", "definition": "Falsch wiedergegebene oder ausgelassene Angaben zu Wirkstoff, Dosis, Einheit und Einnahme pro annotierter Medikationsangabe. Jede Angabe zählt höchstens einmal.", "ci95": [ 1.17, 4.78 ], "ci95Method": "wilson-design-effect", "designEffect": 2.4859 }, { "key": "negation-errors", "label": "Fehler bei Verneinungen", "numerator": 15, "denominator": 1096, "valuePercent": 1.369, "direction": "lower", "definition": "Verlorene, hinzugefügte oder umgekehrte Negationen pro Referenzaussage mit verneintem oder ausdrücklich bestätigtem Befund. Eine Aussage zählt höchstens einmal.", "ci95": [ 0.62, 2.99 ], "ci95Method": "wilson-design-effect", "designEffect": 2.5733 }, { "key": "temporal-errors", "label": "Fehler bei zeitlichen Angaben", "numerator": 35, "denominator": 1448, "valuePercent": 2.417, "direction": "lower", "definition": "Falsch zugeordnete oder ausgelassene Zeitpunkte, Dauern und zeitliche Beziehungen pro annotierter zeitlicher Referenzangabe.", "ci95": [ 1.41, 4.09 ], "ci95Method": "wilson-design-effect", "designEffect": 2.6879 }, { "key": "attribution-errors", "label": "Fehler bei der Zuordnung", "numerator": 41, "denominator": 2389, "valuePercent": 1.716, "direction": "lower", "definition": "Falsche oder ausgelassene Zuordnung von Aussagen zu Patient, behandelnder Person oder Drittperson pro Referenzfakt mit erforderlicher Quellenzuordnung.", "ci95": [ 1.07, 2.74 ], "ci95Method": "wilson-design-effect", "designEffect": 2.4358 }, { "key": "dictation-command-accuracy", "label": "Umgesetzte Diktatbefehle", "numerator": 1131, "denominator": 1311, "valuePercent": 86.27, "direction": "higher", "definition": "Richtig ausgeführte festgelegte Satzzeichen-, Absatz- und Korrekturbefehle pro ausgesprochenem Referenzbefehl. Der Befehl soll wirken und nicht als Befehlswort im Text stehen.", "ci95": [ 82.38, 89.41 ], "ci95Method": "wilson-design-effect", "designEffect": 3.5507 }, { "key": "self-correction-accuracy", "label": "Umgesetzte Selbstkorrekturen", "numerator": 230, "denominator": 251, "valuePercent": 91.633, "direction": "higher", "definition": "Spontane Selbstkorrekturen, nach denen das Dokument nur die endgültige Angabe enthält, pro annotierter Selbstkorrektur der Referenz. Steht die verworfene Angabe noch im Text oder ersetzt sie die endgültige, ist die Selbstkorrektur nicht umgesetzt. Ob eine Regel oder ein Sprachmodell sie umsetzt, spielt keine Rolle.", "ci95": [ 84.92, 95.52 ], "ci95Method": "wilson-design-effect", "designEffect": 2.2975 }, { "key": "edit-instruction-accuracy", "label": "Umgesetzte Bearbeitungsanweisungen", "numerator": 71, "denominator": 89, "valuePercent": 79.775, "direction": "higher", "definition": "Frei formulierte Anweisungen an das Dokument, deren Wirkung das gelieferte Dokument zeigt, pro annotierter Anweisung der Referenz. Eine solche Anweisung ändert eine früher genannte Angabe, ergänzt Inhalt an einer früheren Stelle oder verschiebt einen Abschnitt. Steht sie wörtlich im Text oder bleibt sie ohne Wirkung, ist sie nicht umgesetzt. Ob eine Regel oder ein Sprachmodell sie umsetzt, spielt keine Rolle.", "ci95": [ 63.51, 89.94 ], "ci95Method": "wilson-design-effect", "designEffect": 2.6441 } ], "errorTypes": [ { "label": "Nicht erfasste Referenzfakten", "count": 221 }, { "label": "Falsche oder unbelegte Aussagen", "count": 72 }, { "label": "Zutreffende, aber nicht relevante Aussagen", "count": 38 } ], "failedRuns": [ { "scenarioId": "diktat-055", "run": 1, "reason": "Erstellung des Befundtexts nach Diktatende mit Fehlermeldung abgebrochen" } ], "configuration": { "locale": "de-DE", "automaticLanguageDetection": false, "productVersion": "Idana Flow Pro im Praxisportal, Diktatmodus, Stand 2. Quartal 2026", "modelVersions": null, "template": { "id": "anbieter-befundtext", "version": null }, "instruction": { "id": "si-instr-diktat-ausarbeitung", "version": "1.0" }, "customVocabulary": null, "settings": { "inputPath": "Aufnahme in der Anwendung über einen virtuellen Mikrofoneingang", "outputLanguage": "de-DE", "mode": "Diktatmodus für medizinische Monologe", "documentFormat": "Befundtext", "patientContext": "Ohne zusätzlichen Patientenkontext" }, "scorer": { "name": "scribeindex-eval", "version": "1.0" }, "normalization": { "id": "de-med-wer", "version": "1.0" } }, "corpusMetadata": { "version": "1.0", "manifestSha256": "6768f28bb70c0457e31c2eaafd4f3c498c05b4aec26501537825bbaa22733060", "referenceVersion": "1.0", "referenceSha256": "18772162e86230bce7cfb8a2f52f90244df2b1cdf52bdb6a646494dd3596dbb9", "sourceScenarioCount": 64, "evaluatedScenarioCount": 62, "totalAudioSeconds": 18720, "durationSeconds": { "minimum": 60, "maximum": 900 }, "audioFormats": [ { "codec": "PCM 24 Bit (WAV)", "sampleRateHertz": 48000, "channels": 1 }, { "codec": "MP3 128 kbit/s", "sampleRateHertz": 44100, "channels": 1 }, { "codec": "AAC-LC (M4A)", "sampleRateHertz": 44100, "channels": 1 } ], "conversions": [ { "description": "Kontrollierte Wiedergabe der Referenzaufnahmen über einen virtuellen Mikrofoneingang mit −20 dBFS RMS in Echtzeit", "tool": "scribeindex-playback", "version": "1.0" }, { "description": "Dekodierung komprimierter Quelldateien zu PCM 48 kHz mono vor der Wiedergabe", "tool": "FFmpeg", "version": "7.1.1" } ], "exclusions": [ { "scenarioId": "diktat-023", "reason": "Die sprechende Person nannte versehentlich einen echten Namen. Die Aufnahme wurde vor der Referenzfreigabe zurückgezogen." }, { "scenarioId": "diktat-057", "reason": "Endgültige Angabe einer Selbstkorrektur auch nach Prüfung der Aufnahme nicht eindeutig hörbar." } ] }, "uncertainty": { "confidenceLevel": 0.95, "method": "paired-cluster-bootstrap", "clusterUnit": "scenario", "clusterCount": 62, "resamples": 2000, "seed": 4214870755, "intervalMethod": "percentile", "aggregation": "pooled-counts", "pairedSampleManifestSha256": "1feb69fb1f1a9ee5134ab583a5bf6a80625f840f53d2d833da91149ac9f1550a" } } ] }