HealthJet im Test
Ergebnisse aus 4 Testreihen auf deutschsprachigen Korpora. Alle Anbieter einer Aufgabe bearbeiten dieselben Fälle nach demselben Protokoll.
Ergebnisse im Überblick
ScribeIndex hat HealthJet im 2. Quartal 2026 in vier Testreihen getestet. Im Test „Ärztliche Gesprächsdokumentation“ erreicht HealthJet 81,4 von 100 Punkten (Platz 6 von 11, 48 Gespräche, je 3 Durchläufe). Im Test „Psychotherapeutische Sitzungsdokumentation“ erreicht HealthJet 63,8 von 100 Punkten (Platz 9 von 12, 36 Sitzungen, je 3 Durchläufe). Im Test „Anamneseberichte“ erreicht HealthJet 73,9 von 100 Punkten (Platz 2 von 3, 24 Gespräche, je 2 Durchläufe). Im Test „Medizinische Spracherkennung“ erreicht HealthJet 91,6 von 100 Punkten (Platz 4 von 9, 62 Diktate, je 3 Durchläufe).
| Aufgabe | ScribeIndex-Score | Platz | Hauptkennzahl | Nacharbeit | Getestet |
|---|---|---|---|---|---|
| Ärztliche Gesprächsdokumentation | Mittelfeld: 81,4 | 6 von 11 | Fakten-F1: 92,7 % | 2,68 min je Gespräch | 2. Quartal 2026 |
| Psychotherapeutische Sitzungsdokumentation | Mittelfeld: 63,8 | 9 von 12 | Fakten-F1: 88,7 % | 7,5 min je Sitzung | 2. Quartal 2026 |
| Anamneseberichte | Mittelfeld: 73,9 | 2 von 3 | Fakten-F1: 91,9 % | 20,6 min je Gespräch | 2. Quartal 2026 |
| Medizinische Spracherkennung | Mittelfeld: 91,6 | 4 von 9 | Fakten-F1: 97,2 % | 1,64 min je Diktat | 2. Quartal 2026 |
HealthJet: Ärztliche Gesprächsdokumentation
In der Testreihe „Ärztliche Gesprächsdokumentation“ liegt HealthJet mit 81,4 Punkten auf Platz 6 von 11, 7,7 Punkte hinter Doctolib Assistent (89,1) und 0,6 Punkte vor Idana Flow (80,8). Hinter Doctolib Assistent bleibt HealthJet vor allem beim Fakten-F1 (92,7 % gegenüber 95,7 %) zurück. Vor Idana Flow liegt HealthJet vor allem bei den schwerwiegenden Fehlern (in 1 von 143 Dokumenten gegenüber 4 von 143). Idana Flow liegt dafür beim Fakten-F1 (93,3 % gegenüber 92,7 %) vorn. Das 95-%-Konfidenzintervall des Fakten-F1 reicht von 91,9 bis 93,6 %. Die Präzision liegt bei 96,0 %, der Recall bei 89,7 %. Zum einmaligen Durchlesen kommen nach Schätzung von ScribeIndex im Schnitt 2,68 Minuten Nacharbeit je Gespräch hinzu, bei einer durchschnittlichen Aufnahmedauer von 12,1 Minuten.
Einordnung: Mittelfeld · ScribeIndex-Score 81,4 / 100 · 95-%-Intervall 76,2–83,6 · Platz 6 von 11
Genau auf dem Median des Feldes und 14,4 Punkte vor dem schwächsten Dienst.
Fakten-F1 (Geteilter Platz 7 von 11): 92,7 % · 95-%-Intervall 91,9–93,6 %
Schwächster Wert: 87,7 % · Median (11 Anbieter): 93,1 % · Bester Wert: 95,7 %
Harmonisches Mittel aus Faktenpräzision und Fakten-Recall gegenüber der annotierten Referenz.
Nacharbeit je Gespräch (Platz 9 von 11): 2,68 min · 95-%-Intervall 2,31–3,09 min
Schwächster Wert: 4,34 min · Median (11 Anbieter): 2,34 min · Bester Wert: 1,79 min
Geschätzte Nacharbeit bis zur Zielfassung je Gespräch, bei durchschnittlich 12,1 Minuten Aufnahme. Nicht enthalten ist das einmalige Durchlesen, das auch ein von Hand getipptes Dokument braucht. Auf eine Stunde Aufnahme gerechnet sind das 13,3 Minuten.
Verarbeitungszeit (Median) (Platz 3 von 8): 29,3 s · Niedriger ist besser
Schwächster Wert: 58,6 s · Median (8 Anbieter): 39,0 s · Bester Wert: 24,9 s
Gemessen von „Beenden der Aufnahme“ bis „Vollständiges Dokument verfügbar“. Platz und Vergleichswerte nur unter Diensten derselben Messstrecke.
Dokumente mit schwerwiegendem Fehler (Platz 4 von 11): 0,7 % · 95-%-Intervall 0,1–6,3 % (Wilson mit Designeffekt) · 1 von 143 abgeschlossenen Ausgaben mit schwerwiegendem Fehler
Schwächster Wert: 2,8 % · Median (11 Anbieter): 2,1 % · Bester Wert: 0,0 %
Ausgaben mit mindestens einem potenziell schwerwiegenden medizinischen Fehler pro abgeschlossener Ausgabe. Bewertet wird jeder Fall nach einer festgelegten Fehlerrubrik. Fehler bei Medikation oder Verneinung zählen hier nur, wenn die Rubrik die betroffene Angabe als potenziell schwerwiegend einstuft. Die Zähler je Fehlerart enthalten auch folgenlose Abweichungen.
So setzt sich der ScribeIndex-Score zusammen
| Teilwert | Punkte | Gewicht | Beitrag |
|---|---|---|---|
| Inhaltsqualität | 75,8 | 60 % | 45,5 |
| Schwerwiegende Fehler | 96,5 | 20 % | 19,3 |
| Korrekturaufwand | 77,5 | 15 % | 11,6 |
| Abschlussquote | 99,3 | 5 % | 5,0 |
| ScribeIndex-Score | 100 % | 81,4 |
Ein Fakten-F1 von 92,74 % liegt 7,26 Prozentpunkte unter einem fehlerfreien Ergebnis. Bei 30 Prozentpunkten Abstand fällt die Inhaltsqualität auf null, hier liegt sie deshalb bei 75,8 von 100 Punkten.
Die Beiträge entstehen aus ungerundeten Teilwerten. Deshalb kann die Summe der angezeigten Werte um 0,1 vom Score abweichen. Bewertungsmodell 2.2. Formel und Skalierung
Testbedingungen
- Korpus: Ärztliche Behandlungsgespräche
- Fälle: 48 Szenarien × 3 Durchläufe
- Abgeschlossen: 143 von 144 Läufen
- Testweg: Live-Gespräch
- Bewertete Ausgabe: Ärztliche Gesprächsdokumentation
- Getestete Version: HealthJet Web-Dashboard mit Browseraufnahme, Stand 2. Quartal 2026
- Protokoll und Zeitraum: Version 1.0, getestet im 2. Quartal 2026
Alle Kennzahlen
HealthJet erreicht im Test „Ärztliche Gesprächsdokumentation“ 81,4 von 100 Punkten. Fakten-F1 92,7 % (95-%-Konfidenzintervall 91,9–93,6 %). Getestet wurden 48 Szenarien mit je 3 Durchläufen, 143 von 144 Läufen wurden abgeschlossen. Korpus de-klinik-v1, Protokoll 1.0, getestet im 2. Quartal 2026.
| Kennzahl | Wert | Zählung und Bedeutung | 95-%-Intervall |
|---|---|---|---|
| ScribeIndex-Score | 81,4 / 100 | Gewichteter Gesamtwert aus Inhaltsqualität, schwerwiegenden Fehlern, Nacharbeit und Abschlussquote, Bewertungsmodell 2.2. | 76,2–83,6 |
| Fakten-F1 | 92,7 % | Erläuterung weiter oben. | 91,9–93,6 |
| Nacharbeit je Gespräch | 2,68 min | Erläuterung weiter oben. | 2,31–3,09 |
| Verarbeitungszeit (Median) | 29,3 s | Erläuterung weiter oben. | – |
| Dokumente mit schwerwiegendem Fehler | 0,7 % | 1 von 143 abgeschlossenen Ausgaben mit schwerwiegendem Fehler. | 0,1–6,3 (Wilson mit Designeffekt) |
| Falsche oder unbelegte Aussagen | 1,9 % | 74 falsche oder unbelegte Aussagen von 3.847 ausgegebenen Aussagen. Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier. | 1,3–2,8 (Wilson mit Designeffekt) |
| Fehler bei Fachbegriffen | 4,3 % | 149 fehlerhafte Fachkonzepte von 3.492 Referenzkonzepten. Fachlich falsch wiedergegebene oder ausgelassene medizinische Konzepte pro annotiertem Fachkonzept der Referenz. Synonyme gelten bei gleicher Bedeutung als korrekt. | 3,3–5,5 (Wilson mit Designeffekt) |
| Fehler bei Medikamenten und Dosierungen | 4,0 % | 25 fehlerhafte Medikationsangaben von 620 Referenzangaben zur Medikation. Falsch wiedergegebene oder ausgelassene Angaben zu Wirkstoff, Dosis, Einheit und Einnahme pro annotierter Medikationsangabe. Jede Angabe zählt höchstens einmal. | 2,3–6,9 (Wilson mit Designeffekt) |
| Fehler bei Verneinungen | 2,9 % | 24 fehlerhafte Verneinungen von 817 Referenzaussagen zu Negation oder Bestätigung. Verlorene, hinzugefügte oder umgekehrte Negationen pro Referenzaussage mit verneintem oder ausdrücklich bestätigtem Befund. Eine Aussage zählt höchstens einmal. | 1,6–5,3 (Wilson mit Designeffekt) |
| Fehler bei zeitlichen Angaben | 4,8 % | 45 fehlerhafte zeitliche Angaben von 937 zeitlichen Referenzangaben. Falsch zugeordnete oder ausgelassene Zeitpunkte, Dauern und zeitliche Beziehungen pro annotierter zeitlicher Referenzangabe. | 3,0–7,5 (Wilson mit Designeffekt) |
| Fehler bei der Zuordnung | 2,6 % | 57 fehlerhafte Zuordnungen von 2.156 Referenzfakten mit Quellenzuordnung. Falsche oder ausgelassene Zuordnung von Aussagen zu Patient, behandelnder Person oder Drittperson pro Referenzfakt mit erforderlicher Quellenzuordnung. | 1,7–4,0 (Wilson mit Designeffekt) |
| Faktenpräzision | 96,0 % | 3.694 korrekte relevante Fakten von 3.847 ausgegebenen Fakten. Korrekte relevante Fakten im Verhältnis zu allen deduplizierten ausgegebenen Fakten. | 95,0–97,1 |
| Fakten-Recall | 89,7 % | 3.694 korrekt erhaltene Fakten von 4.119 dokumentationsrelevanten Referenzfakten. Korrekt erhaltene Fakten im Verhältnis zu allen dokumentationsrelevanten Referenzfakten. | 88,5–90,8 |
| Verarbeitungszeit (95. Perzentil) | 74,7 s | 95 % der erfolgreichen Läufe waren nach dieser Zeit fertig. | – |
| Abschlussquote | 99,3 % | 143 von 144 gestarteten Läufen abgeschlossen. Anteil der Läufe mit verwertbarem Ergebnis. | – |
Verarbeitungszeit
- Median (p50): 29,3 s
- 95. Perzentil (p95): 74,7 s
- Testweg: Live-Gespräch
- Messstrecke: Von „Beenden der Aufnahme“ bis „Vollständiges Dokument verfügbar“
Über alle abgeschlossenen Läufe, Audio in Echtzeit zugespielt. p95 zeigt die Dauer, die 95 % der Läufe nicht überschreiten. Median und p95 beschreiben die Verteilung der Messwerte und sind kein Konfidenzintervall.
Geschätzte Nacharbeit
- Je Gespräch: 2,68 min (Ø 12,1 min Aufnahme)
- Je Stunde Aufnahme: 13,28 min
- 95-%-Intervall je Stunde: 11,45–15,28 min
- Geschätzte Nacharbeit gesamt: 383,78 min
- Audiodauer aller Ausgaben: 28 h 54 min (28,908 h)
- Ausgaben: 143, alle abgeschlossenen Läufe
Geschätzt aus den gezählten Fehlern aller abgeschlossenen Ausgaben, mit festen Zeiten je Korrekturschritt, die für alle Dienste gleich sind. Die Rate je Stunde ist die Nacharbeit gesamt ÷ Audiostunden und lässt sich aus den angezeigten Minuten und den Stunden in Klammern genau nachrechnen.
Fehler nach Typ
| Fehlertyp | Anzahl | Anteil am häufigsten Fehlertyp | Bedeutung |
|---|---|---|---|
| Nicht erfasste Referenzfakten | 425 (10,3 % der Referenzfakten) | 100 % | Eine erforderliche Angabe aus der Aufnahme fehlt oder ist verfälscht (FN), etwa eine nicht dokumentierte Allergie. Korrekte Umformulierungen zählen als Treffer. |
| Falsche oder unbelegte Aussagen | 74 (1,9 % der ausgegebenen Aussagen) | 17 % | Die Ausgabe enthält eine Angabe, die der Referenz widerspricht oder sich nicht auf die Aufnahme stützt (FP, inhaltlicher Fehler), etwa eine nie genannte Dosis. Eine verfälschte Referenzangabe zählt zugleich hier und als nicht erfasster Referenzfakt. |
| Zutreffende, aber nicht relevante Aussagen | 79 (2,1 % der ausgegebenen Aussagen) | 19 % | Die Angabe stimmt, gehört laut Rubrik aber nicht in das Dokument (FP, nicht relevant), etwa Smalltalk oder wiederholte Begrüßungen. Sie senkt die Präzision, ist aber kein inhaltlicher Fehler. |
Über alle abgeschlossenen Läufe ergab der Faktenabgleich 3.694 korrekt erhaltene Fakten (TP), 153 falsch positive Aussagen (FP), davon 74 falsch oder unbelegt und 79 zutreffend, aber nicht relevant, 425 nicht erfasste Referenzfakten (FN). Fakten-F1 = 2TP ÷ (2TP + FP + FN). Beide FP-Arten senken die Präzision, nur falsche oder unbelegte Aussagen gelten als inhaltlicher Fehler.
Die gelieferte Ausgabe ist eine verdichtete Dokumentation, keine wortnahe Abschrift. Deshalb gibt es keine WER.
Abgeschlossene Läufe: 143 von 144 (99,3 %)
| Szenario | Lauf | Grund |
|---|---|---|
klinik-045 | 2 | Dokumenterstellung mit Fehlermeldung abgebrochen |
Abgebrochene Läufe zählen in keinem Nenner der Qualitätskennzahlen. Sie stehen nur im Nenner der Abschlussquote und senken so den ScribeIndex-Score. Abgebrochene Läufe wiederholt ScribeIndex nicht. Die Zeitlimits stehen in der Methodik unter Laufzeit, Ausfälle und Nacharbeit.
Konfiguration im Test
- Produktversion: HealthJet Web-Dashboard mit Browseraufnahme, Stand 2. Quartal 2026
- Modellversion: Vom Anbieter nicht ausgewiesen
- Sprache: Deutsch (de-DE)
- Vorlage: ScribeIndex-Vorlage „Sprechstundennotiz“, Version 1.0
- Arbeitsauftrag: Sprechstundendokumentation, Version 1.0
- Eigener Wortschatz: Nicht hinterlegt
- Audioeingang: Aufnahme in der Anwendung über einen virtuellen Mikrofoneingang
- Ausgabesprache: Deutsch
- Vorlage im Produkt: Eigene Vorlage für klinische Gesprächsdokumentation
- Modus: Gespräch aufnehmen, Vorlage auswählen und Dokumenterstellung auslösen
- Zusätzlicher Kontext: Nein
- Manuelle Nachkorrektur: Nein
- Auswertung: Version 1.0
- Textnormalisierung: Keine, da kein Wortvergleich
- Bewertungsrubrik: clinical-facts-v1, Version 1.0
Korpus, Ausschlüsse und Prüfsummen
Im Rollenspiel geführte Behandlungsgespräche mit zwei bis vier Personen, darunter Erstanamnese, Verlauf, Medikationsbesprechung, Befundbesprechung und kurzes psychiatrisches Erstgespräch. Die Gespräche liegen als unterschiedliche Raum- und Smartphoneaufnahmen vor.
- Korpus: Ärztliche Behandlungsgespräche (
de-klinik-v1, Version 1.0) - Szenarien: 50 aufgenommen, 48 ausgewertet, je 3 Läufe
- Audio gesamt: 9 h 41 min, je Fall 6 min bis 40 min (Median 9 min)
- Sprecher je Fall: 2 bis 4
- Gesprächsform: Erstanamnese (11), Verlaufsgespräch (12), Medikationsbesprechung (8), Befundbesprechung (10), Kurzes psychiatrisches Erstgespräch (7)
- Fachrichtung: Allgemeinmedizin (14), Innere Medizin (10), Pädiatrie (6), Orthopädie (6), Neurologie (5), Psychiatrie (7)
- Aufnahme: Raummikrofon, ruhig (20), Smartphone auf dem Tisch (17), Hintergrundgeräusche (11)
- Sprecherzahl: Zwei Personen (29), Drei Personen (13), Vier Personen (6)
- Audioformate: AAC-LC (M4A), 48 kHz, mono · PCM 24 Bit (WAV), 48 kHz, 2 Kanäle
- Aufbereitung:
- Einspielung der Gesprächsaufnahme in Echtzeit über einen virtuellen Mikrofoneingang mit −20 dBFS RMS
- Referenz: Version 1.0: 71.893 Wörter, 469.914 Zeichen, 1.379 Referenzfakten
- Annotierte Einheiten: Annotierte medizinische Fachkonzepte 1.169 · Medikationsangaben (Wirkstoff, Dosis, Einheit, Einnahme) 207 · Verneinte oder ausdrücklich bestätigte Befunde 274 · Zeitliche Referenzangaben 313 · Fakten mit erforderlicher Quellenzuordnung 722
- Referenzprüfung: Atomare Fakten und Relevanzmenge werden mit der Gesprächsvorlage festgelegt und nach der Aufnahme am Gesprochenen bestätigt. Unklare Stellen prüft eine Fachperson, danach wird die Referenz eingefroren. Rubrik clinical-facts-v1, Version 1.0.
- Zeitraum der Testreihe: 2. und 3. Quartal 2026 für alle Dienste, Korpus vor dem ersten Lauf eingefroren
- Ausgeschlossen:
klinik-016: Einwilligung zur Nutzung der Aufnahme vor Testbeginn widerrufen.klinik-033: Relevanzmenge auch nach fachlicher Durchsicht nicht eindeutig festlegbar.
- SHA-256 Manifest:
07e4ff2bb9cb21c1b350d732b5e593f4f1830354a230c75954136f03552f7ba5 - SHA-256 Referenz:
9ddba13742d943cd28b478c231a53d71ed064e1ba7681896e21faedfe2bb2207
Unsicherheit und Berechnung
- Verfahren: Gepaarter Cluster-Bootstrap, Konfidenzniveau 95 %, Perzentilintervall. Anteile aus Zählern erhalten ein Wilson-Intervall mit Designeffekt. Für das Score-Intervall wird der Anteil schwerwiegender Fehler je Dienst aus einer Beta-Verteilung gezogen.
- Cluster: 48 Cluster, Einheit Szenario. Alle Läufe eines Szenarios bleiben im selben Cluster.
- Wiederholungen: 2.000 Bootstrap-Stichproben, Seed 2234884632
- Aggregation: Zähler aller abgeschlossenen Läufe werden gepoolt. Kennzahlen entstehen aus Summen, nicht aus Mittelwerten je Fall.
- Gepaarte Stichprobe: Alle Anbieter dieses Korpus nutzen dieselben Bootstrap-Stichproben. SHA-256 der Ziehungsliste:
f630f8568c719864793b7aacf8e58f4627c6b7bdcdf5f3730abfda50ad6bfb37 - Fakten: Präzision = TP ÷ (TP + FP) = 96,0 %. Recall = TP ÷ (TP + FN) = 89,7 %. F1 = 2TP ÷ (2TP + FP + FN) = 92,7 % (95-%-Intervall 91,9–93,6 %).
- ScribeIndex-Score: 95-%-Intervall 76,2–83,6 Punkte, je Bootstrap-Stichprobe aus dem vollständigen Score neu berechnet. Wie das Score-Intervall entsteht
Rangliste Ärztliche Gesprächsdokumentation
Sortiert nach ScribeIndex-Score.
- Platz 1: Doctolib Assistent im Test 89,1
- Platz 2: Tippiti im Test 86,9
- Platz 3: GoSpeech Medical im Test 84,9
- Platz 4: Dragon Copilot im Test 83,0
- Platz 5: Heidi im Test 81,9
- Platz 6: HealthJet 81,4
- Platz 7: Idana Flow im Test 80,8
- Platz 8: SpeechLive Health im Test 80,0
- Platz 9: Tandem Health im Test 79,3
- Platz 10: Noa Notes im Test 75,2
- Platz 11: QUIXXS im Test 67,0
HealthJet: Psychotherapeutische Sitzungsdokumentation
In der Testreihe „Psychotherapeutische Sitzungsdokumentation“ liegt HealthJet mit 63,8 Punkten auf Platz 9 von 12, 14,3 Punkte hinter VIA HealthTech (78,1) und 3,1 Punkte vor Noa Notes (60,7). Hinter VIA HealthTech bleibt HealthJet vor allem beim Fakten-F1 (88,7 % gegenüber 92,6 %) und bei den schwerwiegenden Fehlern (in 7 von 108 Dokumenten gegenüber 3 von 108) zurück. Vor Noa Notes liegt HealthJet vor allem beim Fakten-F1 (88,7 % gegenüber 85,4 %). Noa Notes liegt dafür bei den schwerwiegenden Fehlern (in 1 von 106 Dokumenten gegenüber 7 von 108) vorn. Das 95-%-Konfidenzintervall des Fakten-F1 reicht von 87,3 bis 90,0 %. Die Präzision liegt bei 92,7 %, der Recall bei 85,0 %. Zum einmaligen Durchlesen kommen nach Schätzung von ScribeIndex im Schnitt 7,5 Minuten Nacharbeit je Sitzung hinzu, bei einer durchschnittlichen Aufnahmedauer von 48,0 Minuten.
Einordnung: Mittelfeld · ScribeIndex-Score 63,8 / 100 · 95-%-Intervall 54,1–69,6 · Platz 9 von 12
7,5 Punkte unter dem Median des Feldes, aber 8,3 Punkte vor dem schwächsten Dienst. Die Schlussgruppe beginnt erst im untersten Fünftel der Punktespanne.
Fakten-F1 (Platz 8 von 12): 88,7 % · 95-%-Intervall 87,3–90,0 %
Schwächster Wert: 84,7 % · Median (12 Anbieter): 89,3 % · Bester Wert: 92,6 %
Nacharbeit je Sitzung (Geteilter Platz 8 von 12): 7,5 min · 95-%-Intervall 6,6–8,5 min
Schwächster Wert: 9,7 min · Median (12 Anbieter): 7,2 min · Bester Wert: 4,6 min
Geschätzte Nacharbeit bis zur Zielfassung je Sitzung, bei durchschnittlich 48,0 Minuten Aufnahme. Auf eine Stunde Aufnahme gerechnet sind das 9,4 Minuten.
Verarbeitungszeit (Median) (Platz 2 von 7): 43,3 s · Niedriger ist besser
Schwächster Wert: 79,2 s · Median (7 Anbieter): 58,3 s · Bester Wert: 39,6 s
Dokumente mit schwerwiegendem Fehler (Platz 12 von 12): 6,5 % · 95-%-Intervall 2,4–16,3 % (Wilson mit Designeffekt) · 7 von 108 abgeschlossenen Ausgaben mit schwerwiegendem Fehler
Schwächster Wert: 6,5 % · Median (12 Anbieter): 2,8 % · Bester Wert: 0,0 %
So setzt sich der ScribeIndex-Score zusammen
| Teilwert | Punkte | Gewicht | Beitrag |
|---|---|---|---|
| Inhaltsqualität | 62,2 | 60 % | 37,4 |
| Schwerwiegende Fehler | 67,6 | 20 % | 13,5 |
| Korrekturaufwand | 52,9 | 15 % | 7,9 |
| Abschlussquote | 100,0 | 5 % | 5,0 |
| ScribeIndex-Score | 100 % | 63,8 |
Ein Fakten-F1 von 88,67 % liegt 11,33 Prozentpunkte unter einem fehlerfreien Ergebnis. Bei 30 Prozentpunkten Abstand fällt die Inhaltsqualität auf null, hier liegt sie deshalb bei 62,2 von 100 Punkten.
Die Beiträge entstehen aus ungerundeten Teilwerten. Deshalb kann die Summe der angezeigten Werte um 0,1 vom Score abweichen. Bewertungsmodell 2.2. Formel und Skalierung
Testbedingungen
- Korpus: Psychotherapeutische Sitzungen
- Fälle: 36 Szenarien × 3 Durchläufe
- Abgeschlossen: 108 von 108 Läufen
- Testweg: Live-Gespräch
- Bewertete Ausgabe: Psychotherapeutische Sitzungsdokumentation
- Getestete Version: HealthJet Web-Dashboard, psychotherapeutische Dokumentation, Stand 2. Quartal 2026
- Protokoll und Zeitraum: Version 1.0, getestet im 2. Quartal 2026
Alle Kennzahlen
HealthJet erreicht im Test „Psychotherapeutische Sitzungsdokumentation“ 63,8 von 100 Punkten. Fakten-F1 88,7 % (95-%-Konfidenzintervall 87,3–90,0 %). Getestet wurden 36 Szenarien mit je 3 Durchläufen, 108 von 108 Läufen wurden abgeschlossen. Korpus de-therapie-v1, Protokoll 1.0, getestet im 2. Quartal 2026.
| Kennzahl | Wert | Zählung und Bedeutung | 95-%-Intervall |
|---|---|---|---|
| ScribeIndex-Score | 63,8 / 100 | Gewichteter Gesamtwert aus Inhaltsqualität, schwerwiegenden Fehlern, Nacharbeit und Abschlussquote, Bewertungsmodell 2.2. | 54,1–69,6 |
| Fakten-F1 | 88,7 % | Erläuterung weiter oben. | 87,3–90,0 |
| Nacharbeit je Sitzung | 7,5 min | Erläuterung weiter oben. | 6,6–8,5 |
| Verarbeitungszeit (Median) | 43,3 s | Erläuterung weiter oben. | – |
| Dokumente mit schwerwiegendem Fehler | 6,5 % | 7 von 108 abgeschlossenen Ausgaben mit schwerwiegendem Fehler. | 2,4–16,3 (Wilson mit Designeffekt) |
| Falsche oder unbelegte Aussagen | 1,8 % | 56 falsche oder unbelegte Aussagen von 3.050 ausgegebenen Aussagen. | 1,2–2,7 (Wilson mit Designeffekt) |
| Fehler bei Fachbegriffen | 3,3 % | 39 fehlerhafte Fachkonzepte von 1.185 Referenzkonzepten. | 2,0–5,3 (Wilson mit Designeffekt) |
| Fehler bei Medikamenten und Dosierungen | 0,0 % | 0 fehlerhafte Medikationsangaben von 75 Referenzangaben zur Medikation. | 0,0–10,2 (Wilson mit Designeffekt) |
| Fehler bei Verneinungen | 3,9 % | 17 fehlerhafte Verneinungen von 435 Referenzaussagen zu Negation oder Bestätigung. | 1,8–8,2 (Wilson mit Designeffekt) |
| Fehler bei zeitlichen Angaben | 5,7 % | 55 fehlerhafte zeitliche Angaben von 969 zeitlichen Referenzangaben. | 3,8–8,4 (Wilson mit Designeffekt) |
| Fehler bei der Zuordnung | 3,3 % | 63 fehlerhafte Zuordnungen von 1.908 Referenzfakten mit Quellenzuordnung. | 2,2–4,9 (Wilson mit Designeffekt) |
| Fehler bei Risikohinweisen | 0,6 % | 1 fehlerhafter Risikohinweis von 171 risikorelevanten Referenzaussagen. Ausgelassene, hinzugefügte oder falsch eingeordnete Aussagen zu Selbstgefährdung und Schutzfaktoren pro annotierter risikorelevanter Referenzaussage. Bewertet wird anhand des Gesprächs nach einer festgelegten Rubrik. | 0,1–6,2 (Wilson mit Designeffekt) |
| Faktenpräzision | 92,7 % | 2.826 korrekte relevante Fakten von 3.050 ausgegebenen Fakten. | 91,3–94,1 |
| Fakten-Recall | 85,0 % | 2.826 korrekt erhaltene Fakten von 3.324 dokumentationsrelevanten Referenzfakten. | 82,9–87,0 |
| Verarbeitungszeit (95. Perzentil) | 103 s | Erläuterung weiter oben. | – |
| Abschlussquote | 100,0 % | 108 von 108 gestarteten Läufen abgeschlossen. | – |
Verarbeitungszeit
- Median (p50): 43,3 s
- 95. Perzentil (p95): 103 s
- Testweg: Live-Gespräch
- Messstrecke: Von „Beenden der Aufnahme“ bis „Vollständiges Dokument verfügbar“
Über alle abgeschlossenen Läufe, Audio in Echtzeit zugespielt. p95 zeigt die Dauer, die 95 % der Läufe nicht überschreiten. Median und p95 beschreiben die Verteilung der Messwerte und sind kein Konfidenzintervall.
Geschätzte Nacharbeit
- Je Sitzung: 7,5 min (Ø 48,0 min Aufnahme)
- Je Stunde Aufnahme: 9,43 min
- 95-%-Intervall je Stunde: 8,30–10,58 min
- Geschätzte Nacharbeit gesamt: 814,08 min
- Audiodauer aller Ausgaben: 86 h 20 min (86,331 h)
- Ausgaben: 108, alle abgeschlossenen Läufe
Geschätzt aus den gezählten Fehlern aller abgeschlossenen Ausgaben, mit festen Zeiten je Korrekturschritt, die für alle Dienste gleich sind. Die Rate je Stunde ist die Nacharbeit gesamt ÷ Audiostunden und lässt sich aus den angezeigten Minuten und den Stunden in Klammern genau nachrechnen.
Fehler nach Typ
| Fehlertyp | Anzahl | Anteil am häufigsten Fehlertyp | Bedeutung |
|---|---|---|---|
| Nicht erfasste Referenzfakten | 498 (15,0 % der Referenzfakten) | 100 % | Eine erforderliche Angabe aus der Aufnahme fehlt oder ist verfälscht (FN), etwa eine nicht dokumentierte Vereinbarung für die nächste Sitzung. Korrekte Umformulierungen zählen als Treffer. |
| Falsche oder unbelegte Aussagen | 56 (1,8 % der ausgegebenen Aussagen) | 11 % | Die Ausgabe enthält eine Angabe, die der Referenz widerspricht oder sich nicht auf die Aufnahme stützt (FP, inhaltlicher Fehler), etwa eine nie angewandte Intervention. Eine verfälschte Referenzangabe zählt zugleich hier und als nicht erfasster Referenzfakt. |
| Zutreffende, aber nicht relevante Aussagen | 168 (5,5 % der ausgegebenen Aussagen) | 34 % | Die Angabe stimmt, gehört laut Rubrik aber nicht in das Dokument (FP, nicht relevant), etwa Smalltalk oder wiederholte Begrüßungen. Sie senkt die Präzision, ist aber kein inhaltlicher Fehler. |
Über alle abgeschlossenen Läufe ergab der Faktenabgleich 2.826 korrekt erhaltene Fakten (TP), 224 falsch positive Aussagen (FP), davon 56 falsch oder unbelegt und 168 zutreffend, aber nicht relevant, 498 nicht erfasste Referenzfakten (FN). Fakten-F1 = 2TP ÷ (2TP + FP + FN). Beide FP-Arten senken die Präzision, nur falsche oder unbelegte Aussagen gelten als inhaltlicher Fehler.
Die gelieferte Ausgabe ist eine therapeutische Sitzungsnotiz. Bewertet werden dokumentationsrelevante Fakten und ihre Zuordnung, nicht die Wortfolge des Gesprächs.
Abgeschlossene Läufe: 108 von 108 (100,0 %)
Alle 108 Läufe lieferten ein auswertbares Ergebnis.
Konfiguration im Test
- Produktversion: HealthJet Web-Dashboard, psychotherapeutische Dokumentation, Stand 2. Quartal 2026
- Modellversion: Vom Anbieter nicht ausgewiesen
- Sprache: Deutsch (de-DE)
- Vorlage: ScribeIndex-Vorlage „Therapieverlauf“, Version 1.0
- Arbeitsauftrag: Therapiedokumentation, Version 1.0
- Eigener Wortschatz: Nicht hinterlegt
- Audioeingang: Aufnahme in der Anwendung über einen virtuellen Mikrofoneingang
- Ausgabesprache: Deutsch
- Vorlage im Produkt: Eigene Vorlage für Therapieverläufe
- Modus: Gespräch aufnehmen, Vorlage auswählen und Dokumenterstellung auslösen
- Zusätzlicher Kontext: Nein
- Manuelle Nachkorrektur: Nein
- Auswertung: Version 1.0
- Textnormalisierung: Keine, da kein Wortvergleich
- Bewertungsrubrik: clinical-facts-v1, Version 1.0
Korpus, Ausschlüsse und Prüfsummen
Im Rollenspiel geführte Therapiesitzungen aus Verhaltenstherapie, tiefenpsychologisch fundierter Therapie und systemischen Paar- oder Familiengesprächen. 17 der 36 Sitzungen enthalten Aussagen zu Selbstgefährdung oder Schutzfaktoren.
- Korpus: Psychotherapeutische Sitzungen (
de-therapie-v1, Version 1.0) - Szenarien: 36 aufgenommen, 36 ausgewertet, je 3 Läufe
- Audio gesamt: 28 h 47 min, je Fall 37 min bis 59 min (Median 47 min)
- Sprecher je Fall: 2 bis 4
- Verfahren: Verhaltenstherapie (15), Tiefenpsychologisch fundiert (12), Systemisch (Paar oder Familie) (5), Erstgespräch und Probatorik (4)
- Risikoinhalt: Mit Risikoaussagen (17), Ohne Risikoaussagen (19)
- Audioformate: PCM 24 Bit (WAV), 48 kHz, mono
- Aufbereitung:
- Einspielung der Gesprächsaufnahme in Echtzeit über einen virtuellen Mikrofoneingang mit −20 dBFS RMS
- Referenz: Version 1.0: 185.226 Wörter, 1.162.943 Zeichen, 1.108 Referenzfakten
- Annotierte Einheiten: Annotierte medizinische Fachkonzepte 395 · Medikationsangaben (Wirkstoff, Dosis, Einheit, Einnahme) 25 · Verneinte oder ausdrücklich bestätigte Befunde 145 · Zeitliche Referenzangaben 323 · Fakten mit erforderlicher Quellenzuordnung 636 · Risikorelevante Referenzaussagen 57
- Referenzprüfung: Dokumentationsrelevante Fakten und Risikoaussagen werden mit der Gesprächsvorlage festgelegt und nach der Aufnahme am Gesprochenen bestätigt. Risikoaussagen prüft immer eine Fachperson. Rubrik clinical-facts-v1, Version 1.0.
- Zeitraum der Testreihe: 2. und 3. Quartal 2026 für alle Dienste, Korpus vor dem ersten Lauf eingefroren
- SHA-256 Manifest:
62780a1c05eb9562aa4bdbee3b73aedcf448ce0e8e6ba5fd85d7e17baa3b4bd8 - SHA-256 Referenz:
62c50ae99e53e02e016470714f0a6524d90a92407fe393d48adae95f19a8ee2a
Unsicherheit und Berechnung
- Verfahren: Gepaarter Cluster-Bootstrap, Konfidenzniveau 95 %, Perzentilintervall. Anteile aus Zählern erhalten ein Wilson-Intervall mit Designeffekt. Für das Score-Intervall wird der Anteil schwerwiegender Fehler je Dienst aus einer Beta-Verteilung gezogen.
- Cluster: 36 Cluster, Einheit Szenario. Alle Läufe eines Szenarios bleiben im selben Cluster.
- Wiederholungen: 2.000 Bootstrap-Stichproben, Seed 3733937332
- Aggregation: Zähler aller abgeschlossenen Läufe werden gepoolt. Kennzahlen entstehen aus Summen, nicht aus Mittelwerten je Fall.
- Gepaarte Stichprobe: Alle Anbieter dieses Korpus nutzen dieselben Bootstrap-Stichproben. SHA-256 der Ziehungsliste:
0c35a46bc36056c43d2f55385441679c130a0d1ef5bcb7bd6cb2f19411cef23a - Fakten: Präzision = TP ÷ (TP + FP) = 92,7 %. Recall = TP ÷ (TP + FN) = 85,0 %. F1 = 2TP ÷ (2TP + FP + FN) = 88,7 % (95-%-Intervall 87,3–90,0 %).
- ScribeIndex-Score: 95-%-Intervall 54,1–69,6 Punkte, je Bootstrap-Stichprobe aus dem vollständigen Score neu berechnet. Wie das Score-Intervall entsteht
Rangliste Psychotherapeutische Sitzungsdokumentation
Sortiert nach ScribeIndex-Score.
- Platz 1: VIA HealthTech im Test 78,1
- Platz 2: Psynex im Test 77,2
- Platz 3: DokuDachs im Test 75,9
- Platz 4: iptas im Test 74,9
- Platz 5: LumaNote im Test 72,8
- Platz 6: PlaynVoice im Test 71,7
- Platz 7: Clara Health im Test 70,9
- Platz 8: Tandem Health im Test 65,1
- Platz 9: HealthJet 63,8
- Platz 10: Noa Notes im Test 60,7
- Platz 11: Heidi im Test 59,5
- Platz 12: Upheal im Test 55,5
HealthJet: Anamneseberichte
In der Testreihe „Anamneseberichte“ liegt HealthJet mit 73,9 Punkten auf Platz 2 von 3, 9,6 Punkte hinter Tippiti (83,5) und 4,9 Punkte vor LumaNote (69,0). Hinter Tippiti bleibt HealthJet vor allem beim Fakten-F1 (91,9 % gegenüber 94,2 %) und bei den schwerwiegenden Fehlern (in 3 von 48 Dokumenten gegenüber 1 von 48) zurück. Vor LumaNote liegt HealthJet vor allem beim Fakten-F1 (91,9 % gegenüber 89,8 %). Das 95-%-Konfidenzintervall des Fakten-F1 reicht von 90,9 bis 92,8 %. Die Präzision liegt bei 95,5 %, der Recall bei 88,6 %. Zum einmaligen Durchlesen kommen nach Schätzung von ScribeIndex im Schnitt 20,6 Minuten Nacharbeit je Gespräch hinzu, bei einer durchschnittlichen Aufnahmedauer von 60,3 Minuten.
Einordnung: Mittelfeld · ScribeIndex-Score 73,9 / 100 · 95-%-Intervall 61,1–79,4 · Platz 2 von 3
Genau auf dem Median des Feldes und 4,9 Punkte vor dem schwächsten Dienst.
Fakten-F1 (Platz 2 von 3): 91,9 % · 95-%-Intervall 90,9–92,8 %
Schwächster Wert: 89,8 % · Median (3 Anbieter): 91,9 % · Bester Wert: 94,2 %
Nacharbeit je Gespräch (Platz 2 von 3): 20,6 min · 95-%-Intervall 18,0–23,3 min
Schwächster Wert: 24,0 min · Median (3 Anbieter): 20,6 min · Bester Wert: 15,3 min
Geschätzte Nacharbeit bis zur Zielfassung je Gespräch, bei durchschnittlich 60,3 Minuten Aufnahme. Auf eine Stunde Aufnahme gerechnet sind das 20,5 Minuten.
Verarbeitungszeit (Median): 49,5 s · Niedriger ist besser
Dokumente mit schwerwiegendem Fehler (Geteilter Platz 2 von 3, schwächster Wert): 6,3 % · 95-%-Intervall 1,7–20,1 % (Wilson mit Designeffekt) · 3 von 48 abgeschlossenen Ausgaben mit schwerwiegendem Fehler
Schwächster Wert: 6,3 % · Median (3 Anbieter): 6,3 % · Bester Wert: 2,1 %
So setzt sich der ScribeIndex-Score zusammen
| Teilwert | Punkte | Gewicht | Beitrag |
|---|---|---|---|
| Inhaltsqualität | 73,0 | 60 % | 43,8 |
| Schwerwiegende Fehler | 68,8 | 20 % | 13,8 |
| Korrekturaufwand | 75,6 | 15 % | 11,3 |
| Abschlussquote | 100,0 | 5 % | 5,0 |
| ScribeIndex-Score | 100 % | 73,9 |
Ein Fakten-F1 von 91,90 % liegt 8,10 Prozentpunkte unter einem fehlerfreien Ergebnis. Bei 30 Prozentpunkten Abstand fällt die Inhaltsqualität auf null, hier liegt sie deshalb bei 73,0 von 100 Punkten.
Die Beiträge entstehen aus ungerundeten Teilwerten. Deshalb kann die Summe der angezeigten Werte um 0,1 vom Score abweichen. Bewertungsmodell 2.2. Formel und Skalierung
Testbedingungen
- Korpus: Lange Anamnesegespräche
- Fälle: 24 Szenarien × 2 Durchläufe
- Abgeschlossen: 48 von 48 Läufen
- Testweg: Live-Gespräch
- Bewertete Ausgabe: Anamnesebericht
- Getestete Version: HealthJet Web-Dashboard, Eigenanamnese, Stand 2. Quartal 2026
- Protokoll und Zeitraum: Version 1.0, getestet im 2. Quartal 2026
Alle Kennzahlen
HealthJet erreicht im Test „Anamneseberichte“ 73,9 von 100 Punkten. Fakten-F1 91,9 % (95-%-Konfidenzintervall 90,9–92,8 %). Getestet wurden 24 Szenarien mit je 2 Durchläufen, 48 von 48 Läufen wurden abgeschlossen. Korpus de-anamnese-v1, Protokoll 1.0, getestet im 2. Quartal 2026.
| Kennzahl | Wert | Zählung und Bedeutung | 95-%-Intervall |
|---|---|---|---|
| ScribeIndex-Score | 73,9 / 100 | Gewichteter Gesamtwert aus Inhaltsqualität, schwerwiegenden Fehlern, Nacharbeit und Abschlussquote, Bewertungsmodell 2.2. | 61,1–79,4 |
| Fakten-F1 | 91,9 % | Erläuterung weiter oben. | 90,9–92,8 |
| Nacharbeit je Gespräch | 20,6 min | Erläuterung weiter oben. | 18,0–23,3 |
| Verarbeitungszeit (Median) | 49,5 s | Erläuterung weiter oben. | – |
| Dokumente mit schwerwiegendem Fehler | 6,3 % | 3 von 48 abgeschlossenen Ausgaben mit schwerwiegendem Fehler. | 1,7–20,1 (Wilson mit Designeffekt) |
| Falsche oder unbelegte Aussagen | 2,2 % | 164 falsche oder unbelegte Aussagen von 7.349 ausgegebenen Aussagen. | 1,8–2,8 (Wilson mit Designeffekt) |
| Fehler bei Fachbegriffen | 2,5 % | 57 fehlerhafte Fachkonzepte von 2.286 Referenzkonzepten. | 1,8–3,5 (Wilson mit Designeffekt) |
| Fehler bei Medikamenten und Dosierungen | 2,9 % | 9 fehlerhafte Medikationsangaben von 306 Referenzangaben zur Medikation. | 1,3–6,5 (Wilson mit Designeffekt) |
| Fehler bei Verneinungen | 1,3 % | 11 fehlerhafte Verneinungen von 836 Referenzaussagen zu Negation oder Bestätigung. | 0,6–2,9 (Wilson mit Designeffekt) |
| Fehler bei zeitlichen Angaben | 3,6 % | 66 fehlerhafte zeitliche Angaben von 1.828 zeitlichen Referenzangaben. | 2,6–4,9 (Wilson mit Designeffekt) |
| Fehler bei der Zuordnung | 1,9 % | 99 fehlerhafte Zuordnungen von 5.186 Referenzfakten mit Quellenzuordnung. | 1,4–2,6 (Wilson mit Designeffekt) |
| Detailerhalt | 86,4 % | 4.116 korrekt erhaltene Detailfakten von 4.766 erforderlichen Referenzdetails. Korrekt erhaltene erforderliche Detailfakten pro vorab markiertem Detailfakt der vollständigen Anamnesereferenz. Angaben zu Vorgeschichte, Beschwerden, Verlauf, Behandlung und Lebensumständen werden getrennt annotiert. Fehlende Angaben sind keine Treffer. | 84,5–88,0 (Wilson mit Designeffekt) |
| Vollständige Berichtsgliederung | 93,5 % | 819 korrekt befüllte Pflichtabschnitte von 876 erforderlichen Abschnitten. Vorhandene und inhaltlich korrekt befüllte Pflichtabschnitte pro aufgabenbezogen erforderlichem Abschnitt. Je nach Gesprächsinhalt sind 16 bis 20 Abschnitte der Berichtsvorlage erforderlich. Nicht erhobene Inhalte werden als nicht erhoben markiert und nicht ergänzt. | 91,1–95,3 (Wilson mit Designeffekt) |
| Erhalt widersprüchlicher Angaben | 86,3 % | 88 korrekt dokumentierte Widerspruchspaare von 102 annotierten Widerspruchspaaren. Korrekt getrennt und mit ihrer Quelle wiedergegebene widersprüchliche Angaben pro vorab annotiertem Widerspruchspaar. Ausgelassene oder ohne Quellenbasis aufgelöste Widersprüche sind keine Treffer. | 73,9–93,3 (Wilson mit Designeffekt) |
| Nicht belegte Schlussfolgerungen | 7,9 % | 49 unbelegte Schlussfolgerungen von 620 ausgegebenen Schlussfolgerungen. Nicht durch Gespräch oder bereitgestellten Kontext belegte Schlussfolgerungen pro tatsächlich ausgegebener Schlussfolgerung. Eine als fremde Einschätzung gekennzeichnete Aussage zählt nur bei korrekter Quellenzuordnung als belegt. | 5,1–12,0 (Wilson mit Designeffekt) |
| Faktenpräzision | 95,5 % | 7.019 korrekte relevante Fakten von 7.349 ausgegebenen Fakten. | 94,4–96,6 |
| Fakten-Recall | 88,6 % | 7.019 korrekt erhaltene Fakten von 7.926 dokumentationsrelevanten Referenzfakten. | 87,0–90,1 |
| Verarbeitungszeit (95. Perzentil) | 83,0 s | Erläuterung weiter oben. | – |
| Abschlussquote | 100,0 % | 48 von 48 gestarteten Läufen abgeschlossen. | – |
Verarbeitungszeit
- Median (p50): 49,5 s
- 95. Perzentil (p95): 83,0 s
- Testweg: Live-Gespräch
- Messstrecke: Von „Beenden der Aufnahme“ bis „Vollständiges Dokument verfügbar“
Über alle abgeschlossenen Läufe, Audio in Echtzeit zugespielt. p95 zeigt die Dauer, die 95 % der Läufe nicht überschreiten. Median und p95 beschreiben die Verteilung der Messwerte und sind kein Konfidenzintervall.
Geschätzte Nacharbeit
- Je Gespräch: 20,6 min (Ø 60,3 min Aufnahme)
- Je Stunde Aufnahme: 20,51 min
- 95-%-Intervall je Stunde: 17,90–23,22 min
- Geschätzte Nacharbeit gesamt: 988,39 min
- Audiodauer aller Ausgaben: 48 h 12 min (48,202 h)
- Ausgaben: 48, alle abgeschlossenen Läufe
Geschätzt aus den gezählten Fehlern aller abgeschlossenen Ausgaben, mit festen Zeiten je Korrekturschritt, die für alle Dienste gleich sind. Die Rate je Stunde ist die Nacharbeit gesamt ÷ Audiostunden und lässt sich aus den angezeigten Minuten und den Stunden in Klammern genau nachrechnen.
Fehler nach Typ
| Fehlertyp | Anzahl | Anteil am häufigsten Fehlertyp | Bedeutung |
|---|---|---|---|
| Nicht erfasste Referenzfakten | 907 (11,4 % der Referenzfakten) | 100 % | Eine erforderliche Angabe aus der Aufnahme fehlt oder ist verfälscht (FN), etwa eine nicht dokumentierte Allergie. Korrekte Umformulierungen zählen als Treffer. |
| Falsche oder unbelegte Aussagen | 164 (2,2 % der ausgegebenen Aussagen) | 18 % | Die Ausgabe enthält eine Angabe, die der Referenz widerspricht oder sich nicht auf die Aufnahme stützt (FP, inhaltlicher Fehler), etwa eine nie genannte Dosis. Eine verfälschte Referenzangabe zählt zugleich hier und als nicht erfasster Referenzfakt. |
| Zutreffende, aber nicht relevante Aussagen | 166 (2,3 % der ausgegebenen Aussagen) | 18 % | Die Angabe stimmt, gehört laut Rubrik aber nicht in das Dokument (FP, nicht relevant), etwa Smalltalk oder wiederholte Begrüßungen. Sie senkt die Präzision, ist aber kein inhaltlicher Fehler. |
Über alle abgeschlossenen Läufe ergab der Faktenabgleich 7.019 korrekt erhaltene Fakten (TP), 330 falsch positive Aussagen (FP), davon 164 falsch oder unbelegt und 166 zutreffend, aber nicht relevant, 907 nicht erfasste Referenzfakten (FN). Fakten-F1 = 2TP ÷ (2TP + FP + FN). Beide FP-Arten senken die Präzision, nur falsche oder unbelegte Aussagen gelten als inhaltlicher Fehler.
Bewertet wird der ausführliche Anamnesebericht aus dem aufgezeichneten Gespräch. Gegliederte Abschnitte, indirekte Rede und Umformulierungen werden semantisch abgeglichen, nicht gegen die Wortfolge des Audios bewertet.
Abgeschlossene Läufe: 48 von 48 (100,0 %)
Alle 48 Läufe lieferten ein auswertbares Ergebnis.
Konfiguration im Test
- Produktversion: HealthJet Web-Dashboard, Eigenanamnese, Stand 2. Quartal 2026
- Modellversion: Vom Anbieter nicht ausgewiesen
- Sprache: Deutsch (de-DE)
- Vorlage: ScribeIndex-Vorlage „Anamnesebericht“, Version 1.0
- Arbeitsauftrag: Anamnesebericht, Version 1.0
- Eigener Wortschatz: Nicht hinterlegt
- Audioeingang: Aufnahme in der Anwendung über einen virtuellen Mikrofoneingang
- Ausgabesprache: Deutsch
- Vorlage im Produkt: Eigene Vorlage mit der vorab fixierten Berichtsgliederung
- Modus: Gesprächsteil einzeln ausarbeiten, keine Aktenzusammenführung oder fachliche Beurteilung
- Berichtsstil: Ausführlich, thematisch gegliedert, indirekte Rede
- Zusätzlicher Kontext: Nein
- Manuelle Nachkorrektur: Nein
- Auswertung: Version 1.0
- Textnormalisierung: Keine, da kein Wortvergleich
- Bewertungsrubrik: anamnesis-facts-v1, Version 1.0
Korpus, Ausschlüsse und Prüfsummen
Lange, im Rollenspiel geführte Anamnesegespräche mit fiktiven Personen, wechselnden zeitlichen Ebenen, Angehörigenbeiträgen, Dolmetschenden und Angaben, die einander ausdrücklich widersprechen. Zielausgabe ist ein ausführlicher gegliederter Bericht.
- Korpus: Lange Anamnesegespräche (
de-anamnese-v1, Version 1.0) - Szenarien: 25 aufgenommen, 24 ausgewertet, je 2 Läufe
- Audio gesamt: 24 h 6 min, je Fall 37 min bis 1 h 25 min (Median 1 h)
- Sprecher je Fall: 2 bis 4
- Gesprächskonstellation: Einzelgespräch (13), Mit Angehörigen (6), Mit Dolmetschenden (5)
- Kontext: Psychiatrische Anamnese (8), Psychosomatische Anamnese (6), Neurologische Anamnese (4), Internistische Langanamnese (3), Sozialmedizinische Begutachtung (3)
- Widersprüchliche Angaben: Mit annotierten Widersprüchen (22), Ohne annotierte Widersprüche (2)
- Audioformate: PCM 24 Bit (WAV), 48 kHz, 2 Kanäle
- Aufbereitung:
- Einspielung der Gesprächsaufnahme in Echtzeit über einen virtuellen Mikrofoneingang mit −20 dBFS RMS
- Referenz: Version 1.0: 143.354 Wörter, 915.637 Zeichen, 3.963 Referenzfakten
- Annotierte Einheiten: Annotierte medizinische Fachkonzepte 1.143 · Medikationsangaben (Wirkstoff, Dosis, Einheit, Einnahme) 153 · Verneinte oder ausdrücklich bestätigte Befunde 418 · Zeitliche Referenzangaben 914 · Fakten mit erforderlicher Quellenzuordnung 2.593 · Markierte erforderliche Detailfakten 2.383 · Erforderliche Berichtsabschnitte 438 · Annotierte Widerspruchspaare 51
- Referenzprüfung: Detailfakten mit Quelle und Zeitbezug, Widerspruchspaare und Pflichtabschnitte werden mit der Gesprächsvorlage festgelegt und nach der Aufnahme am Gesprochenen bestätigt. Rubrik anamnesis-facts-v1, Version 1.0.
- Zeitraum der Testreihe: 2. und 3. Quartal 2026 für alle Dienste, Korpus vor dem ersten Lauf eingefroren
- Ausgeschlossen:
anamnese-009: Aufnahme vorzeitig abgebrochen, Gespräch unvollständig.
- SHA-256 Manifest:
fd43d74a52c8f38d1962a41126bf5f14f7d1f35990ef9e325e5a5c9b4a8e750e - SHA-256 Referenz:
f29faa81a90ca61e58fc49886c47b58ec1ff812e17abf3c5ffd0a6f9c54a8417
Unsicherheit und Berechnung
- Verfahren: Gepaarter Cluster-Bootstrap, Konfidenzniveau 95 %, Perzentilintervall. Anteile aus Zählern erhalten ein Wilson-Intervall mit Designeffekt. Für das Score-Intervall wird der Anteil schwerwiegender Fehler je Dienst aus einer Beta-Verteilung gezogen.
- Cluster: 24 Cluster, Einheit Szenario. Alle Läufe eines Szenarios bleiben im selben Cluster.
- Wiederholungen: 2.000 Bootstrap-Stichproben, Seed 4114781480
- Aggregation: Zähler aller abgeschlossenen Läufe werden gepoolt. Kennzahlen entstehen aus Summen, nicht aus Mittelwerten je Fall.
- Gepaarte Stichprobe: Alle Anbieter dieses Korpus nutzen dieselben Bootstrap-Stichproben. SHA-256 der Ziehungsliste:
507123a351cd2e8740278c579658de54ed5f0b6c9b5e1c6d7d6e788ac20cc2a3 - Fakten: Präzision = TP ÷ (TP + FP) = 95,5 %. Recall = TP ÷ (TP + FN) = 88,6 %. F1 = 2TP ÷ (2TP + FP + FN) = 91,9 % (95-%-Intervall 90,9–92,8 %).
- ScribeIndex-Score: 95-%-Intervall 61,1–79,4 Punkte, je Bootstrap-Stichprobe aus dem vollständigen Score neu berechnet. Wie das Score-Intervall entsteht
Rangliste Anamneseberichte
Sortiert nach ScribeIndex-Score.
- Platz 1: Tippiti im Test 83,5
- Platz 2: HealthJet 73,9
- Platz 3: LumaNote im Test 69,0
HealthJet: Medizinische Spracherkennung
In der Testreihe „Medizinische Spracherkennung“ liegt HealthJet mit 91,6 Punkten auf Platz 4 von 9, 5,2 Punkte hinter Tippiti (96,8) und 6,5 Punkte vor Dragon Medical One (85,1). Hinter Tippiti bleibt HealthJet vor allem beim Fakten-F1 (97,2 % gegenüber 98,9 %) und bei der Nacharbeit (1,64 gegenüber 0,75 Minuten je Diktat) zurück. Vor Dragon Medical One liegt HealthJet vor allem beim Fakten-F1 (97,2 % gegenüber 95,1 %) und bei der Nacharbeit (1,64 gegenüber 3,53 Minuten je Diktat). Das 95-%-Konfidenzintervall des Fakten-F1 reicht von 96,7 bis 97,7 %. Die Präzision liegt bei 97,6 %, der Recall bei 96,9 %. Die Nacharbeit ist eine Schätzung von ScribeIndex und kommt zum einmaligen Durchlesen hinzu, bei einer durchschnittlichen Aufnahmedauer von 5,0 Minuten. 1 von 186 Ausgaben enthielt mindestens einen schwerwiegenden Fehler.
Einordnung: Mittelfeld · ScribeIndex-Score 91,6 / 100 · 95-%-Intervall 87,0–92,8 · Platz 4 von 9 · KI-überarbeitet (Ein Sprachmodell überarbeitet den erkannten Text sprachlich. Die WER zeigt hier nur die Abweichung vom Wortlaut)
5,2 Punkte hinter dem besten Dienst und 6,5 Punkte über dem Median des Feldes.
Fakten-F1 (Platz 4 von 9): 97,2 % · 95-%-Intervall 96,7–97,7 %
Schwächster Wert: 92,9 % · Median (9 Anbieter): 95,1 % · Bester Wert: 98,9 %
Nacharbeit je Diktat (Platz 4 von 9): 1,64 min · 95-%-Intervall 1,50–1,79 min
Schwächster Wert: 4,58 min · Median (9 Anbieter): 3,53 min · Bester Wert: 0,75 min
Geschätzte Nacharbeit bis zur Zielfassung je Diktat, bei durchschnittlich 5,0 Minuten Aufnahme. Auf eine Stunde Aufnahme gerechnet sind das 19,5 Minuten.
Verarbeitungszeit (Median) (Platz 6 von 7): 19,9 s · Niedriger ist besser
Schwächster Wert: 21,4 s · Median (7 Anbieter): 1,5 s · Bester Wert: 0,7 s
Gemessen von „Ende des letzten zugespielten Wortes“ bis „Stabile nutzbare Textausgabe“.
Dokumente mit schwerwiegendem Fehler (Geteilter Platz 5 von 9): 0,5 % · 95-%-Intervall 0,1–4,9 % (Wilson mit Designeffekt) · 1 von 186 abgeschlossenen Ausgaben mit schwerwiegendem Fehler
Schwächster Wert: 1,1 % · Median (9 Anbieter): 0,5 % · Bester Wert: 0,0 %
So setzt sich der ScribeIndex-Score zusammen
| Teilwert | Punkte | Gewicht | Beitrag |
|---|---|---|---|
| Inhaltsqualität | 90,7 | 60 % | 54,4 |
| Schwerwiegende Fehler | 96,4 | 20 % | 19,3 |
| Korrekturaufwand | 86,2 | 15 % | 12,9 |
| Abschlussquote | 100,0 | 5 % | 5,0 |
| ScribeIndex-Score | 100 % | 91,6 |
Ein Fakten-F1 von 97,21 % liegt 2,79 Prozentpunkte unter einem fehlerfreien Ergebnis. Bei 30 Prozentpunkten Abstand fällt die Inhaltsqualität auf null, hier liegt sie deshalb bei 90,7 von 100 Punkten.
Die Beiträge entstehen aus ungerundeten Teilwerten. Deshalb kann die Summe der angezeigten Werte um 0,1 vom Score abweichen. Bewertungsmodell 2.2. Formel und Skalierung
Testbedingungen
- Korpus: Medizinische Diktate
- Fälle: 62 Szenarien × 3 Durchläufe
- Abgeschlossen: 186 von 186 Läufen
- Testweg: Live-Diktat
- Bewertete Ausgabe: KI-überarbeiteter Diktattext
- Getestete Version: HealthJet Web-Dashboard, Smart-Diktat mit Browseraufnahme, Stand 2. Quartal 2026
- Protokoll und Zeitraum: Version 1.0, getestet im 2. Quartal 2026
Alle Kennzahlen
HealthJet erreicht im Test „Medizinische Spracherkennung“ 91,6 von 100 Punkten. Fakten-F1 97,2 % (95-%-Konfidenzintervall 96,7–97,7 %). Getestet wurden 62 Szenarien mit je 3 Durchläufen, 186 von 186 Läufen wurden abgeschlossen. Korpus de-diktat-v1, Protokoll 1.0, getestet im 2. Quartal 2026.
| Kennzahl | Wert | Zählung und Bedeutung | 95-%-Intervall |
|---|---|---|---|
| ScribeIndex-Score | 91,6 / 100 | Gewichteter Gesamtwert aus Inhaltsqualität, schwerwiegenden Fehlern, Nacharbeit und Abschlussquote, Bewertungsmodell 2.2. | 87,0–92,8 |
| Fakten-F1 | 97,2 % | Erläuterung weiter oben. | 96,7–97,7 |
| Nacharbeit je Diktat | 1,64 min | Erläuterung weiter oben. | 1,50–1,79 |
| Verarbeitungszeit (Median) | 19,9 s | Erläuterung weiter oben. | – |
| Erkennungsfehler | 2,58 % | 2.663 Wortfehler von 103.161 Referenzwörtern. Falsch erkannte, ausgelassene oder eingefügte Wörter pro Referenzwort, ohne zulässige Umformulierungen. Bei wortnaher Ausgabe entspricht der Wert der WER, dort zählt jede Abweichung vom Wortlaut. Bei KI-überarbeiteter Ausgabe zählen nur falsch erkannte oder inhaltlich veränderte Wörter. Für wortnahe Dienste ist die Zählung damit strenger. Gezählt wird, was im gelieferten Text falsch ist, fehlt oder hinzukommt, bezogen auf die Wörter der Referenz. | 2,34–2,84 |
| Zeichenfehlerrate · CER (Abweichung vom Wortlaut) | 4,5 % | 33.656 Zeichenabweichungen von 743.736 Referenzzeichen. Zeichenabweichungen pro Referenzzeichen nach NFC-Normalisierung, einheitlicher Groß- und Kleinschreibung, entfernten Satzzeichen und zu einem Leerzeichen zusammengefasstem Leerraum. Leerzeichen zählen als Zeichen. Diagnostischer Wert einer KI-überarbeiteten Ausgabe, nicht als Erkennungsleistung vergleichbar. | 4,3–4,8 |
| Dokumente mit schwerwiegendem Fehler | 0,5 % | 1 von 186 abgeschlossenen Ausgaben mit schwerwiegendem Fehler. | 0,1–4,9 (Wilson mit Designeffekt) |
| Falsche oder unbelegte Aussagen | 1,8 % | 122 falsche oder unbelegte Aussagen von 6.658 ausgegebenen Aussagen. | 1,4–2,4 (Wilson mit Designeffekt) |
| Fehler bei Fachbegriffen | 1,4 % | 155 fehlerhafte Fachkonzepte von 11.205 Referenzkonzepten. | 1,1–1,8 (Wilson mit Designeffekt) |
| Fehler bei Medikamenten und Dosierungen | 2,1 % | 16 fehlerhafte Medikationsangaben von 762 Referenzangaben zur Medikation. | 1,0–4,4 (Wilson mit Designeffekt) |
| Fehler bei Verneinungen | 0,4 % | 4 fehlerhafte Verneinungen von 1.107 Referenzaussagen zu Negation oder Bestätigung. | 0,1–1,5 (Wilson mit Designeffekt) |
| Fehler bei zeitlichen Angaben | 1,9 % | 28 fehlerhafte zeitliche Angaben von 1.455 zeitlichen Referenzangaben. | 1,1–3,5 (Wilson mit Designeffekt) |
| Fehler bei der Zuordnung | 1,2 % | 28 fehlerhafte Zuordnungen von 2.415 Referenzfakten mit Quellenzuordnung. | 0,7–2,1 (Wilson mit Designeffekt) |
| Umgesetzte Diktatbefehle | 77,2 % | 1.024 umgesetzte Diktatbefehle von 1.326 Diktatbefehlen. Richtig ausgeführte festgelegte Satzzeichen-, Absatz- und Korrekturbefehle pro ausgesprochenem Referenzbefehl. Der Befehl soll wirken und nicht als Befehlswort im Text stehen. | 72,7–81,2 (Wilson mit Designeffekt) |
| Umgesetzte Selbstkorrekturen | 79,0 % | 199 umgesetzte Selbstkorrekturen von 252 Selbstkorrekturen. Spontane Selbstkorrekturen, nach denen das Dokument nur die endgültige Angabe enthält, pro annotierter Selbstkorrektur der Referenz. Steht die verworfene Angabe noch im Text oder ersetzt sie die endgültige, ist die Selbstkorrektur nicht umgesetzt. Ob eine Regel oder ein Sprachmodell sie umsetzt, spielt keine Rolle. | 70,4–85,6 (Wilson mit Designeffekt) |
| Umgesetzte Bearbeitungsanweisungen | 25,6 % | 23 umgesetzte Bearbeitungsanweisungen von 90 Bearbeitungsanweisungen. Frei formulierte Anweisungen an das Dokument, deren Wirkung das gelieferte Dokument zeigt, pro annotierter Anweisung der Referenz. Eine solche Anweisung ändert eine früher genannte Angabe, ergänzt Inhalt an einer früheren Stelle oder verschiebt einen Abschnitt. Steht sie wörtlich im Text oder bleibt sie ohne Wirkung, ist sie nicht umgesetzt. Ob eine Regel oder ein Sprachmodell sie umsetzt, spielt keine Rolle. | 13,9–42,2 (Wilson mit Designeffekt) |
| Faktenpräzision | 97,6 % | 6.495 korrekte relevante Fakten von 6.658 ausgegebenen Fakten. | 96,8–98,2 |
| Fakten-Recall | 96,9 % | 6.495 korrekt erhaltene Fakten von 6.705 dokumentationsrelevanten Referenzfakten. | 96,3–97,5 |
| Verarbeitungszeit (95. Perzentil) | 41,6 s | Erläuterung weiter oben. | – |
| Abschlussquote | 100,0 % | 186 von 186 gestarteten Läufen abgeschlossen. | – |
Verarbeitungszeit
- Median (p50): 19,9 s
- 95. Perzentil (p95): 41,6 s
- Testweg: Live-Diktat
- Messstrecke: Von „Ende des letzten zugespielten Wortes“ bis „Stabile nutzbare Textausgabe“
Über alle abgeschlossenen Läufe, Audio in Echtzeit zugespielt. p95 zeigt die Dauer, die 95 % der Läufe nicht überschreiten. Median und p95 beschreiben die Verteilung der Messwerte und sind kein Konfidenzintervall.
Geschätzte Nacharbeit
- Je Diktat: 1,64 min (Ø 5,0 min Aufnahme)
- Je Stunde Aufnahme: 19,50 min
- 95-%-Intervall je Stunde: 17,81–21,27 min
- Geschätzte Nacharbeit gesamt: 304,56 min
- Audiodauer aller Ausgaben: 15 h 37 min (15,615 h)
- Ausgaben: 186, alle abgeschlossenen Läufe
Geschätzt aus den gezählten Fehlern aller abgeschlossenen Ausgaben, mit festen Zeiten je Korrekturschritt, die für alle Dienste gleich sind. Die Rate je Stunde ist die Nacharbeit gesamt ÷ Audiostunden und lässt sich aus den angezeigten Minuten und den Stunden in Klammern genau nachrechnen.
Wortvergleich
WER: Nicht im Score (Die WER zählt die bewussten Glättungen der Ausgabe mit und geht deshalb nicht in den Score ein)- Erkennungsfehler (Anteil der Referenzwörter, die falsch erkannt oder inhaltlich verändert sind, wobei zulässige Umformulierungen der KI-überarbeiteten Ausgabe nicht als Fehler zählen): 2,58 % · 95-%-Intervall 2,34–2,84 %
- Abweichung vom Wortlaut (WER) (Diese Kennzahl zählt die gewollten Korrekturen, Umstellungen und Glättungen des Dienstes als Fehler und ist deshalb nicht mit wortnahen Diensten vergleichbar): 7,79 % · 95-%-Intervall 7,26–8,32 %
- Ersetzungen (S): 3.297
- Auslassungen (D): 2.139
- Einfügungen (I): 2.603
- Referenzwörter (N): 103.161
- Zeichenfehlerrate (CER) (Diese Kennzahl zählt die gewollten Korrekturen, Umstellungen und Glättungen des Dienstes als Fehler und ist deshalb nicht mit wortnahen Diensten vergleichbar): 4,5 %
Der Dienst liefert eine KI-überarbeitete Ausgabe, keine wortnahe Abschrift. Die WER vergleicht sie Wort für Wort mit dem Diktat. Gewollte Korrekturen, Umstellungen und Glättungen zählen dabei mit. Der Wert zeigt deshalb vor allem, wie weit der Text vom Wortlaut abweicht, nicht wie viele Fehler er enthält. Ob die Inhalte stimmen, misst der Faktenabgleich. Die Erkennungsfehler zählen falsch erkannte oder inhaltlich veränderte Wörter, bezogen auf dieselben Referenzwörter. Bei wortnaher Ausgabe zählt jede Abweichung vom Wortlaut, bei KI-überarbeiteter Ausgabe bleiben zulässige Umformulierungen außen vor. Vergleiche stehen deshalb nur innerhalb derselben Ausgabeart. Die WER geht nicht in den ScribeIndex-Score ein. WER = (S + D + I) ÷ N × 100, gezählt über alle abgeschlossenen Läufe.
Fehler nach Typ
| Fehlertyp | Anzahl | Anteil am häufigsten Fehlertyp | Bedeutung |
|---|---|---|---|
| Nicht erfasste Referenzfakten | 210 (3,1 % der Referenzfakten) | 100 % | Eine erforderliche Angabe aus der Aufnahme fehlt oder ist verfälscht (FN), etwa eine nicht dokumentierte Allergie. Korrekte Umformulierungen zählen als Treffer. |
| Falsche oder unbelegte Aussagen | 122 (1,8 % der ausgegebenen Aussagen) | 58 % | Die Ausgabe enthält eine Angabe, die der Referenz widerspricht oder sich nicht auf die Aufnahme stützt (FP, inhaltlicher Fehler), etwa eine nie genannte Dosis. Eine verfälschte Referenzangabe zählt zugleich hier und als nicht erfasster Referenzfakt. |
| Zutreffende, aber nicht relevante Aussagen | 41 (0,6 % der ausgegebenen Aussagen) | 20 % | Die Angabe stimmt, gehört laut Rubrik aber nicht in das Dokument (FP, nicht relevant), etwa Smalltalk oder wiederholte Begrüßungen. Sie senkt die Präzision, ist aber kein inhaltlicher Fehler. |
Über alle abgeschlossenen Läufe ergab der Faktenabgleich 6.495 korrekt erhaltene Fakten (TP), 163 falsch positive Aussagen (FP), davon 122 falsch oder unbelegt und 41 zutreffend, aber nicht relevant, 210 nicht erfasste Referenzfakten (FN). Fakten-F1 = 2TP ÷ (2TP + FP + FN). Beide FP-Arten senken die Präzision, nur falsche oder unbelegte Aussagen gelten als inhaltlicher Fehler.
Abgeschlossene Läufe: 186 von 186 (100,0 %)
Alle 186 Läufe lieferten ein auswertbares Ergebnis.
Konfiguration im Test
- Produktversion: HealthJet Web-Dashboard, Smart-Diktat mit Browseraufnahme, Stand 2. Quartal 2026
- Modellversion: Vom Anbieter nicht ausgewiesen
- Sprache: Deutsch (de-DE)
- Vorlage: Keine Dokumentvorlage, nur der Arbeitsauftrag
- Arbeitsauftrag: Diktatausarbeitung, Version 1.0
- Eigener Wortschatz: Nicht hinterlegt
- Audioeingang: Aufnahme in der Anwendung über einen virtuellen Mikrofoneingang
- Ausgabesprache: Deutsch
- Modus: Smart-Diktat, Verarbeitung nach Ende der Aufnahme
- Ausgabestil: KI-überarbeiteter Diktattext ohne Dokumentvorlage
- Zusätzlicher Kontext: Nein
- Manuelle Nachkorrektur: Nein
- Auswertung: Version 1.0
- Textnormalisierung: de-med-wer, Version 1.0
- Bewertungsrubrik: clinical-facts-v1, Version 1.0
Korpus, Ausschlüsse und Prüfsummen
Nachgesprochene ärztliche Diktate aus sieben Fachrichtungen zu fiktiven Patientinnen und Patienten, mit Befunden, Medikation und Verneinungen. Dazu kommen gesprochene Anweisungen, also Diktatbefehle, spontane Selbstkorrekturen und gelegentliche Bearbeitungsanweisungen zu früheren Stellen des Diktats. Die Aufnahmen entstehen mit Headset oder Tischmikrofon, teils mit Hintergrundgeräuschen oder als komprimierte Diktiergerätedateien.
- Korpus: Medizinische Diktate (
de-diktat-v1, Version 1.0) - Szenarien: 64 aufgenommen, 62 ausgewertet, je 3 Läufe
- Audio gesamt: 5 h 12 min, je Fall 1 min bis 15 min (Median 5 min)
- Sprecher je Fall: 1
- Fachrichtung: Innere Medizin (13), Allgemeinmedizin (11), Orthopädie und Unfallchirurgie (10), Radiologie (9), Kardiologie (8), Neurologie (7), Gynäkologie (4)
- Aussprache: Standarddeutsch (27), Regional (Deutschland) (13), Österreichisch (9), Schweizerisch gefärbt (6), Nicht muttersprachlich (7)
- Aufnahmebedingung: Ruhiger Raum, Headset (22), Ruhiger Raum, Tischmikrofon (14), Hintergrundgeräusche (15), Komprimierte Aufnahme (11)
- Audioformate: PCM 24 Bit (WAV), 48 kHz, mono · MP3 128 kbit/s, 44,1 kHz, mono · AAC-LC (M4A), 44,1 kHz, mono
- Aufbereitung:
- Kontrollierte Wiedergabe der Referenzaufnahmen über einen virtuellen Mikrofoneingang mit −20 dBFS RMS in Echtzeit
- Dekodierung komprimierter Quelldateien zu PCM 48 kHz mono vor der Wiedergabe
- Referenz: Version 1.0: 34.387 Wörter, 247.912 Zeichen, 2.235 Referenzfakten
- Annotierte Einheiten: Annotierte medizinische Fachkonzepte 3.735 · Medikationsangaben (Wirkstoff, Dosis, Einheit, Einnahme) 254 · Verneinte oder ausdrücklich bestätigte Befunde 369 · Zeitliche Referenzangaben 485 · Fakten mit erforderlicher Quellenzuordnung 805 · Diktatbefehle 442 · Selbstkorrekturen mit geänderter Angabe 84 · Bearbeitungsanweisungen 30
- Referenzprüfung: Diktattext und Fakten entstehen als Sprechvorlage vor der Aufnahme. Nach der Aufnahme wird das Gesprochene automatisch mit der Vorlage abgeglichen, abweichende Stellen werden an der Aufnahme geprüft und die Referenz vor dem ersten Anbieterlauf eingefroren. Rubrik clinical-facts-v1, Version 1.0.
- Zeitraum der Testreihe: 2. und 3. Quartal 2026 für alle Dienste, Korpus vor dem ersten Lauf eingefroren
- Ausgeschlossen:
diktat-023: Die sprechende Person nannte versehentlich einen echten Namen. Die Aufnahme wurde vor der Referenzfreigabe zurückgezogen.diktat-057: Endgültige Angabe einer Selbstkorrektur auch nach Prüfung der Aufnahme nicht eindeutig hörbar.
- SHA-256 Manifest:
6768f28bb70c0457e31c2eaafd4f3c498c05b4aec26501537825bbaa22733060 - SHA-256 Referenz:
18772162e86230bce7cfb8a2f52f90244df2b1cdf52bdb6a646494dd3596dbb9
Unsicherheit und Berechnung
- Verfahren: Gepaarter Cluster-Bootstrap, Konfidenzniveau 95 %, Perzentilintervall. Anteile aus Zählern erhalten ein Wilson-Intervall mit Designeffekt. Für das Score-Intervall wird der Anteil schwerwiegender Fehler je Dienst aus einer Beta-Verteilung gezogen.
- Cluster: 62 Cluster, Einheit Szenario. Alle Läufe eines Szenarios bleiben im selben Cluster.
- Wiederholungen: 2.000 Bootstrap-Stichproben, Seed 4214870755
- Aggregation: Zähler aller abgeschlossenen Läufe werden gepoolt. Kennzahlen entstehen aus Summen, nicht aus Mittelwerten je Fall.
- Gepaarte Stichprobe: Alle Anbieter dieses Korpus nutzen dieselben Bootstrap-Stichproben. SHA-256 der Ziehungsliste:
1feb69fb1f1a9ee5134ab583a5bf6a80625f840f53d2d833da91149ac9f1550a - Fakten: Präzision = TP ÷ (TP + FP) = 97,6 %. Recall = TP ÷ (TP + FN) = 96,9 %. F1 = 2TP ÷ (2TP + FP + FN) = 97,2 % (95-%-Intervall 96,7–97,7 %).
- Wörter: WER = (3.297 + 2.139 + 2.603) ÷ 103.161 × 100 = 7,79 %
- ScribeIndex-Score: 95-%-Intervall 87,0–92,8 Punkte, je Bootstrap-Stichprobe aus dem vollständigen Score neu berechnet. Wie das Score-Intervall entsteht
Rangliste Medizinische Spracherkennung
Sortiert nach ScribeIndex-Score.
- Platz 1: Tippiti im Test 96,8
- Platz 2: Heidi im Test 93,4
- Platz 3: Idana Flow im Test 93,3
- Platz 4: HealthJet 91,6
- Platz 5: Dragon Medical One im Test 85,1
- Platz 6: Dragon Copilot im Test 84,1
- Platz 7: DictNow im Test 82,0
- Platz 8: MIRA medical im Test 81,6
- Platz 9: Fluency Direct im Test 79,9
Daten zu dieser Seite
Maschinenlesbar mit Zählern, Nennern und Intervallen. Frei nutzbar mit Quellenangabe. Zitierweise und Lizenz
So testet ScribeIndex
Jede Testreihe nutzt einen festen deutschsprachigen Korpus mit geprüften, vor dem ersten Lauf eingefrorenen Referenzen. Bewertet wird automatisch nach festen Regeln, unklare Zuordnungen werden anhand der Aufnahme fachlich geprüft. Jeder Fall läuft zwei- bis dreimal. Die Konfidenzintervalle von Score, Hauptkennzahl und weiteren Fehlerraten stammen aus einem gepaarten Bootstrap über die Szenarien, sodass alle Anbieter auf denselben Stichproben verglichen werden. Anteile aus Zählern erhalten ein Wilson-Intervall mit Designeffekt. Der ScribeIndex-Score ist ein gewichteter Gesamtwert aus Inhaltsqualität, schwerwiegenden Fehlern, Nacharbeit und Abschlussquote. Die Rangliste ordnet nach diesem Punktwert.
Für das Score-Intervall wird in jeder Bootstrap-Stichprobe der vollständige Score mit den Gewichten des Bewertungsmodells neu berechnet. Weil alle Dienste einer Testreihe dieselben Stichproben nutzen, lassen sich auch Scoredifferenzen gepaart auswerten. In Testreihen, deren Score schwerwiegende Fehler enthält, gilt das für den Teilwert „Schwerwiegende Fehler“ nicht. Der Anteil schwerwiegender Fehler wird je Dienst unabhängig aus einer Beta-Verteilung mit effektivem Stichprobenumfang gezogen, weil der Bootstrap bei null oder wenigen Ereignissen kaum streut. Der gemeinsame Einfluss schwieriger Aufnahmen hebt sich in den gepaarten Scoredifferenzen deshalb nicht auf, die Differenzintervalle werden breiter. Bei null oder wenigen schwerwiegenden Fehlern reicht das Score-Intervall vor allem nach unten, weil eine Stichprobe dieser Größe seltene Fehler übersehen haben kann.