GoSpeech Medical im Test
Ergebnisse aus 2 Testreihen auf deutschsprachigen Korpora. Alle Anbieter einer Aufgabe bearbeiten dieselben Fälle nach demselben Protokoll.
Ergebnisse im Überblick
Im 3. Quartal 2026 erreicht GoSpeech Medical im ScribeIndex-Test „Ärztliche Gesprächsdokumentation“ 84,9 von 100 Punkten (Platz 3 von 11, 48 Gespräche, je 3 Durchläufe) und im Test „Pflegedokumentation“ 73,7 Punkte (Platz 2 von 3, 40 Aufnahmen, je 3 Durchläufe).
| Aufgabe | ScribeIndex-Score | Platz | Hauptkennzahl | Nacharbeit | Getestet |
|---|---|---|---|---|---|
| Ärztliche Gesprächsdokumentation | Mittelfeld: 84,9 | 3 von 11 | Fakten-F1: 93,8 % | 2,17 min je Gespräch | 3. Quartal 2026 |
| Pflegedokumentation | Mittelfeld: 73,7 | 2 von 3 | Fakten-F1: 90,1 % | 2,24 min je Aufnahme | 3. Quartal 2026 |
GoSpeech Medical: Ärztliche Gesprächsdokumentation
In der Testreihe „Ärztliche Gesprächsdokumentation“ liegt GoSpeech Medical mit 84,9 Punkten auf Platz 3 von 11, 4,2 Punkte hinter Doctolib Assistent (89,1) und 1,9 Punkte vor Dragon Copilot (83,0). Hinter Doctolib Assistent bleibt GoSpeech Medical vor allem beim Fakten-F1 (93,8 % gegenüber 95,7 %) zurück. Vor Dragon Copilot liegt GoSpeech Medical vor allem bei den schwerwiegenden Fehlern (in keinem von 143 Dokumenten gegenüber 4 von 143). Das 95-%-Konfidenzintervall des Fakten-F1 reicht von 92,9 bis 94,8 %. Die Präzision liegt bei 95,9 %, der Recall bei 91,8 %. Zum einmaligen Durchlesen kommen nach Schätzung von ScribeIndex im Schnitt 2,17 Minuten Nacharbeit je Gespräch hinzu, bei einer durchschnittlichen Aufnahmedauer von 12,1 Minuten.
Einordnung: Mittelfeld · ScribeIndex-Score 84,9 / 100 · 95-%-Intervall 80,9–87,0 · Platz 3 von 11
Im obersten Fünftel der Punktespanne des Feldes, aber 4,2 Punkte hinter dem besten Dienst. Die Spitzengruppe erlaubt höchstens zwei Punkte Abstand.
Fakten-F1 (Platz 4 von 11): 93,8 % · 95-%-Intervall 92,9–94,8 %
Schwächster Wert: 87,7 % · Median (11 Anbieter): 93,1 % · Bester Wert: 95,7 %
Harmonisches Mittel aus Faktenpräzision und Fakten-Recall gegenüber der annotierten Referenz.
Nacharbeit je Gespräch (Geteilter Platz 4 von 11): 2,17 min · 95-%-Intervall 1,81–2,59 min
Schwächster Wert: 4,34 min · Median (11 Anbieter): 2,34 min · Bester Wert: 1,79 min
Geschätzte Nacharbeit bis zur Zielfassung je Gespräch, bei durchschnittlich 12,1 Minuten Aufnahme. Nicht enthalten ist das einmalige Durchlesen, das auch ein von Hand getipptes Dokument braucht. Auf eine Stunde Aufnahme gerechnet sind das 10,8 Minuten.
Verarbeitungszeit (Median) (Platz 8 von 8): 58,6 s · Niedriger ist besser
Schwächster Wert: 58,6 s · Median (8 Anbieter): 39,0 s · Bester Wert: 24,9 s
Gemessen von „Beenden der Aufnahme“ bis „Vollständiges Dokument verfügbar“. Platz und Vergleichswerte nur unter Diensten derselben Messstrecke.
Dokumente mit schwerwiegendem Fehler (Geteilter Platz 1 von 11): 0,0 % · 95-%-Intervall 0,0–5,0 % (Wilson mit Designeffekt) · 0 von 143 abgeschlossenen Ausgaben mit schwerwiegendem Fehler
Schwächster Wert: 2,8 % · Median (11 Anbieter): 2,1 % · Bester Wert: 0,0 %
Ausgaben mit mindestens einem potenziell schwerwiegenden medizinischen Fehler pro abgeschlossener Ausgabe. Bewertet wird jeder Fall nach einer festgelegten Fehlerrubrik. Fehler bei Medikation oder Verneinung zählen hier nur, wenn die Rubrik die betroffene Angabe als potenziell schwerwiegend einstuft. Die Zähler je Fehlerart enthalten auch folgenlose Abweichungen.
So setzt sich der ScribeIndex-Score zusammen
| Teilwert | Punkte | Gewicht | Beitrag |
|---|---|---|---|
| Inhaltsqualität | 79,4 | 60 % | 47,6 |
| Schwerwiegende Fehler | 100,0 | 20 % | 20,0 |
| Korrekturaufwand | 81,7 | 15 % | 12,3 |
| Abschlussquote | 99,3 | 5 % | 5,0 |
| ScribeIndex-Score | 100 % | 84,9 |
Ein Fakten-F1 von 93,83 % liegt 6,17 Prozentpunkte unter einem fehlerfreien Ergebnis. Bei 30 Prozentpunkten Abstand fällt die Inhaltsqualität auf null, hier liegt sie deshalb bei 79,4 von 100 Punkten.
Die Beiträge entstehen aus ungerundeten Teilwerten. Deshalb kann die Summe der angezeigten Werte um 0,1 vom Score abweichen. Bewertungsmodell 2.2. Formel und Skalierung
Testbedingungen
- Korpus: Ärztliche Behandlungsgespräche
- Fälle: 48 Szenarien × 3 Durchläufe
- Abgeschlossen: 143 von 144 Läufen
- Testweg: Live-Gespräch
- Bewertete Ausgabe: Ärztliche Gesprächsdokumentation
- Getestete Version: GoSpeech Medical im Browser, Stand 3. Quartal 2026
- Protokoll und Zeitraum: Version 1.0, getestet im 3. Quartal 2026
Alle Kennzahlen
GoSpeech Medical erreicht im Test „Ärztliche Gesprächsdokumentation“ 84,9 von 100 Punkten. Fakten-F1 93,8 % (95-%-Konfidenzintervall 92,9–94,8 %). Getestet wurden 48 Szenarien mit je 3 Durchläufen, 143 von 144 Läufen wurden abgeschlossen. Korpus de-klinik-v1, Protokoll 1.0, getestet im 3. Quartal 2026.
| Kennzahl | Wert | Zählung und Bedeutung | 95-%-Intervall |
|---|---|---|---|
| ScribeIndex-Score | 84,9 / 100 | Gewichteter Gesamtwert aus Inhaltsqualität, schwerwiegenden Fehlern, Nacharbeit und Abschlussquote, Bewertungsmodell 2.2. | 80,9–87,0 |
| Fakten-F1 | 93,8 % | Erläuterung weiter oben. | 92,9–94,8 |
| Nacharbeit je Gespräch | 2,17 min | Erläuterung weiter oben. | 1,81–2,59 |
| Verarbeitungszeit (Median) | 58,6 s | Erläuterung weiter oben. | – |
| Dokumente mit schwerwiegendem Fehler | 0,0 % | 0 von 143 abgeschlossenen Ausgaben mit schwerwiegendem Fehler. | 0,0–5,0 (Wilson mit Designeffekt) |
| Falsche oder unbelegte Aussagen | 2,2 % | 85 falsche oder unbelegte Aussagen von 3.922 ausgegebenen Aussagen. Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier. | 1,5–3,1 (Wilson mit Designeffekt) |
| Fehler bei Fachbegriffen | 3,2 % | 112 fehlerhafte Fachkonzepte von 3.466 Referenzkonzepten. Fachlich falsch wiedergegebene oder ausgelassene medizinische Konzepte pro annotiertem Fachkonzept der Referenz. Synonyme gelten bei gleicher Bedeutung als korrekt. | 2,4–4,3 (Wilson mit Designeffekt) |
| Fehler bei Medikamenten und Dosierungen | 2,9 % | 18 fehlerhafte Medikationsangaben von 620 Referenzangaben zur Medikation. Falsch wiedergegebene oder ausgelassene Angaben zu Wirkstoff, Dosis, Einheit und Einnahme pro annotierter Medikationsangabe. Jede Angabe zählt höchstens einmal. | 1,5–5,5 (Wilson mit Designeffekt) |
| Fehler bei Verneinungen | 1,8 % | 15 fehlerhafte Verneinungen von 815 Referenzaussagen zu Negation oder Bestätigung. Verlorene, hinzugefügte oder umgekehrte Negationen pro Referenzaussage mit verneintem oder ausdrücklich bestätigtem Befund. Eine Aussage zählt höchstens einmal. | 0,9–3,9 (Wilson mit Designeffekt) |
| Fehler bei zeitlichen Angaben | 3,8 % | 35 fehlerhafte zeitliche Angaben von 928 zeitlichen Referenzangaben. Falsch zugeordnete oder ausgelassene Zeitpunkte, Dauern und zeitliche Beziehungen pro annotierter zeitlicher Referenzangabe. | 2,3–6,3 (Wilson mit Designeffekt) |
| Fehler bei der Zuordnung | 2,6 % | 56 fehlerhafte Zuordnungen von 2.146 Referenzfakten mit Quellenzuordnung. Falsche oder ausgelassene Zuordnung von Aussagen zu Patient, behandelnder Person oder Drittperson pro Referenzfakt mit erforderlicher Quellenzuordnung. | 1,7–4,0 (Wilson mit Designeffekt) |
| Faktenpräzision | 95,9 % | 3.761 korrekte relevante Fakten von 3.922 ausgegebenen Fakten. Korrekte relevante Fakten im Verhältnis zu allen deduplizierten ausgegebenen Fakten. | 94,8–97,1 |
| Fakten-Recall | 91,8 % | 3.761 korrekt erhaltene Fakten von 4.095 dokumentationsrelevanten Referenzfakten. Korrekt erhaltene Fakten im Verhältnis zu allen dokumentationsrelevanten Referenzfakten. | 90,5–93,2 |
| Verarbeitungszeit (95. Perzentil) | 166 s | 95 % der erfolgreichen Läufe waren nach dieser Zeit fertig. | – |
| Abschlussquote | 99,3 % | 143 von 144 gestarteten Läufen abgeschlossen. Anteil der Läufe mit verwertbarem Ergebnis. | – |
Verarbeitungszeit
- Median (p50): 58,6 s
- 95. Perzentil (p95): 166 s
- Testweg: Live-Gespräch
- Messstrecke: Von „Beenden der Aufnahme“ bis „Vollständiges Dokument verfügbar“
Über alle abgeschlossenen Läufe, Audio in Echtzeit zugespielt. p95 zeigt die Dauer, die 95 % der Läufe nicht überschreiten. Median und p95 beschreiben die Verteilung der Messwerte und sind kein Konfidenzintervall.
Geschätzte Nacharbeit
- Je Gespräch: 2,17 min (Ø 12,1 min Aufnahme)
- Je Stunde Aufnahme: 10,77 min
- 95-%-Intervall je Stunde: 9,00–12,85 min
- Geschätzte Nacharbeit gesamt: 310,26 min
- Audiodauer aller Ausgaben: 28 h 48 min (28,802 h)
- Ausgaben: 143, alle abgeschlossenen Läufe
Geschätzt aus den gezählten Fehlern aller abgeschlossenen Ausgaben, mit festen Zeiten je Korrekturschritt, die für alle Dienste gleich sind. Die Rate je Stunde ist die Nacharbeit gesamt ÷ Audiostunden und lässt sich aus den angezeigten Minuten und den Stunden in Klammern genau nachrechnen.
Fehler nach Typ
| Fehlertyp | Anzahl | Anteil am häufigsten Fehlertyp | Bedeutung |
|---|---|---|---|
| Nicht erfasste Referenzfakten | 334 (8,2 % der Referenzfakten) | 100 % | Eine erforderliche Angabe aus der Aufnahme fehlt oder ist verfälscht (FN), etwa eine nicht dokumentierte Allergie. Korrekte Umformulierungen zählen als Treffer. |
| Falsche oder unbelegte Aussagen | 85 (2,2 % der ausgegebenen Aussagen) | 25 % | Die Ausgabe enthält eine Angabe, die der Referenz widerspricht oder sich nicht auf die Aufnahme stützt (FP, inhaltlicher Fehler), etwa eine nie genannte Dosis. Eine verfälschte Referenzangabe zählt zugleich hier und als nicht erfasster Referenzfakt. |
| Zutreffende, aber nicht relevante Aussagen | 76 (1,9 % der ausgegebenen Aussagen) | 23 % | Die Angabe stimmt, gehört laut Rubrik aber nicht in das Dokument (FP, nicht relevant), etwa Smalltalk oder wiederholte Begrüßungen. Sie senkt die Präzision, ist aber kein inhaltlicher Fehler. |
Über alle abgeschlossenen Läufe ergab der Faktenabgleich 3.761 korrekt erhaltene Fakten (TP), 161 falsch positive Aussagen (FP), davon 85 falsch oder unbelegt und 76 zutreffend, aber nicht relevant, 334 nicht erfasste Referenzfakten (FN). Fakten-F1 = 2TP ÷ (2TP + FP + FN). Beide FP-Arten senken die Präzision, nur falsche oder unbelegte Aussagen gelten als inhaltlicher Fehler.
Die gelieferte Ausgabe ist eine verdichtete Dokumentation, keine wortnahe Abschrift. Deshalb gibt es keine WER.
Abgeschlossene Läufe: 143 von 144 (99,3 %)
| Szenario | Lauf | Grund |
|---|---|---|
klinik-044 | 3 | Kein Dokument innerhalb des protokollierten Zeitlimits |
Abgebrochene Läufe zählen in keinem Nenner der Qualitätskennzahlen. Sie stehen nur im Nenner der Abschlussquote und senken so den ScribeIndex-Score. Abgebrochene Läufe wiederholt ScribeIndex nicht. Die Zeitlimits stehen in der Methodik unter Laufzeit, Ausfälle und Nacharbeit.
Konfiguration im Test
- Produktversion: GoSpeech Medical im Browser, Stand 3. Quartal 2026
- Modellversion: Vom Anbieter nicht ausgewiesen
- Sprache: Deutsch (de-DE)
- Vorlage: ScribeIndex-Vorlage „Sprechstundennotiz“, Version 1.0
- Arbeitsauftrag: Sprechstundendokumentation, Version 1.0
- Eigener Wortschatz: Nicht hinterlegt
- Audioeingang: Aufnahme in der Anwendung über einen virtuellen Mikrofoneingang
- Sprache der Kernaussagen: Deutsch
- Dokumentsprache: Deutsch
- Sprecher: Mehrsprecheroption
- Übernahme der Kernaussagen: Unkorrigierte Facts vollständig übernehmen
- Enthaltene Verarbeitungsschritte: Facts-Erstellung, unmittelbare Auswahl der eigenen Vorlage und Dokumentgenerierung
- Vorlage im Produkt: Eigene Vorlage für klinische Gesprächsdokumentation
- Patientenkontext: Ohne zusätzliche Angaben außerhalb des Gesprächs
- Auswertung: Version 1.0
- Textnormalisierung: Keine, da kein Wortvergleich
- Bewertungsrubrik: clinical-facts-v1, Version 1.0
Korpus, Ausschlüsse und Prüfsummen
Im Rollenspiel geführte Behandlungsgespräche mit zwei bis vier Personen, darunter Erstanamnese, Verlauf, Medikationsbesprechung, Befundbesprechung und kurzes psychiatrisches Erstgespräch. Die Gespräche liegen als unterschiedliche Raum- und Smartphoneaufnahmen vor.
- Korpus: Ärztliche Behandlungsgespräche (
de-klinik-v1, Version 1.0) - Szenarien: 50 aufgenommen, 48 ausgewertet, je 3 Läufe
- Audio gesamt: 9 h 41 min, je Fall 6 min bis 40 min (Median 9 min)
- Sprecher je Fall: 2 bis 4
- Gesprächsform: Erstanamnese (11), Verlaufsgespräch (12), Medikationsbesprechung (8), Befundbesprechung (10), Kurzes psychiatrisches Erstgespräch (7)
- Fachrichtung: Allgemeinmedizin (14), Innere Medizin (10), Pädiatrie (6), Orthopädie (6), Neurologie (5), Psychiatrie (7)
- Aufnahme: Raummikrofon, ruhig (20), Smartphone auf dem Tisch (17), Hintergrundgeräusche (11)
- Sprecherzahl: Zwei Personen (29), Drei Personen (13), Vier Personen (6)
- Audioformate: AAC-LC (M4A), 48 kHz, mono · PCM 24 Bit (WAV), 48 kHz, 2 Kanäle
- Aufbereitung:
- Einspielung der Gesprächsaufnahme in Echtzeit über einen virtuellen Mikrofoneingang mit −20 dBFS RMS
- Referenz: Version 1.0: 71.893 Wörter, 469.914 Zeichen, 1.379 Referenzfakten
- Annotierte Einheiten: Annotierte medizinische Fachkonzepte 1.169 · Medikationsangaben (Wirkstoff, Dosis, Einheit, Einnahme) 207 · Verneinte oder ausdrücklich bestätigte Befunde 274 · Zeitliche Referenzangaben 313 · Fakten mit erforderlicher Quellenzuordnung 722
- Referenzprüfung: Atomare Fakten und Relevanzmenge werden mit der Gesprächsvorlage festgelegt und nach der Aufnahme am Gesprochenen bestätigt. Unklare Stellen prüft eine Fachperson, danach wird die Referenz eingefroren. Rubrik clinical-facts-v1, Version 1.0.
- Zeitraum der Testreihe: 2. und 3. Quartal 2026 für alle Dienste, Korpus vor dem ersten Lauf eingefroren
- Ausgeschlossen:
klinik-016: Einwilligung zur Nutzung der Aufnahme vor Testbeginn widerrufen.klinik-033: Relevanzmenge auch nach fachlicher Durchsicht nicht eindeutig festlegbar.
- SHA-256 Manifest:
07e4ff2bb9cb21c1b350d732b5e593f4f1830354a230c75954136f03552f7ba5 - SHA-256 Referenz:
9ddba13742d943cd28b478c231a53d71ed064e1ba7681896e21faedfe2bb2207
Unsicherheit und Berechnung
- Verfahren: Gepaarter Cluster-Bootstrap, Konfidenzniveau 95 %, Perzentilintervall. Anteile aus Zählern erhalten ein Wilson-Intervall mit Designeffekt. Für das Score-Intervall wird der Anteil schwerwiegender Fehler je Dienst aus einer Beta-Verteilung gezogen.
- Cluster: 48 Cluster, Einheit Szenario. Alle Läufe eines Szenarios bleiben im selben Cluster.
- Wiederholungen: 2.000 Bootstrap-Stichproben, Seed 2234884632
- Aggregation: Zähler aller abgeschlossenen Läufe werden gepoolt. Kennzahlen entstehen aus Summen, nicht aus Mittelwerten je Fall.
- Gepaarte Stichprobe: Alle Anbieter dieses Korpus nutzen dieselben Bootstrap-Stichproben. SHA-256 der Ziehungsliste:
f630f8568c719864793b7aacf8e58f4627c6b7bdcdf5f3730abfda50ad6bfb37 - Fakten: Präzision = TP ÷ (TP + FP) = 95,9 %. Recall = TP ÷ (TP + FN) = 91,8 %. F1 = 2TP ÷ (2TP + FP + FN) = 93,8 % (95-%-Intervall 92,9–94,8 %).
- ScribeIndex-Score: 95-%-Intervall 80,9–87,0 Punkte, je Bootstrap-Stichprobe aus dem vollständigen Score neu berechnet. Wie das Score-Intervall entsteht
Rangliste Ärztliche Gesprächsdokumentation
Sortiert nach ScribeIndex-Score.
- Platz 1: Doctolib Assistent im Test 89,1
- Platz 2: Tippiti im Test 86,9
- Platz 3: GoSpeech Medical 84,9
- Platz 4: Dragon Copilot im Test 83,0
- Platz 5: Heidi im Test 81,9
- Platz 6: HealthJet im Test 81,4
- Platz 7: Idana Flow im Test 80,8
- Platz 8: SpeechLive Health im Test 80,0
- Platz 9: Tandem Health im Test 79,3
- Platz 10: Noa Notes im Test 75,2
- Platz 11: QUIXXS im Test 67,0
GoSpeech Medical: Pflegedokumentation
In der Testreihe „Pflegedokumentation“ liegt GoSpeech Medical mit 73,7 Punkten auf Platz 2 von 3, 9,5 Punkte hinter Tandem Health (83,2) und 0,5 Punkte vor Heidi (73,2). Hinter Tandem Health bleibt GoSpeech Medical vor allem beim Fakten-F1 (90,1 % gegenüber 93,9 %) und bei der Nacharbeit (2,24 gegenüber 1,03 Minuten je Aufnahme) zurück. Vor Heidi liegt GoSpeech Medical vor allem bei den schwerwiegenden Fehlern (in 2 von 119 Dokumenten gegenüber 4 von 120). Heidi liegt dafür beim Fakten-F1 (90,6 % gegenüber 90,1 %) vorn. Das 95-%-Konfidenzintervall des Fakten-F1 reicht von 88,5 bis 91,7 %. Die Präzision liegt bei 94,1 %, der Recall bei 86,4 %. Die Nacharbeit ist eine Schätzung von ScribeIndex und kommt zum einmaligen Durchlesen hinzu, bei einer durchschnittlichen Aufnahmedauer von 5,9 Minuten.
Einordnung: Mittelfeld · ScribeIndex-Score 73,7 / 100 · 95-%-Intervall 66,5–77,9 · Platz 2 von 3
Genau auf dem Median des Feldes und 0,5 Punkte vor dem schwächsten Dienst.
Fakten-F1 (Platz 3 von 3): 90,1 % · 95-%-Intervall 88,5–91,7 %
Schwächster Wert: 90,1 % · Median (3 Anbieter): 90,6 % · Bester Wert: 93,9 %
Nacharbeit je Aufnahme (Platz 3 von 3): 2,24 min · 95-%-Intervall 1,77–2,77 min
Schwächster Wert: 2,24 min · Median (3 Anbieter): 2,15 min · Bester Wert: 1,03 min
Geschätzte Nacharbeit bis zur Zielfassung je Aufnahme, bei durchschnittlich 5,9 Minuten Aufnahme. Auf eine Stunde Aufnahme gerechnet sind das 22,9 Minuten.
Verarbeitungszeit (Median) (Platz 3 von 3): 36,4 s · Niedriger ist besser
Schwächster Wert: 36,4 s · Median (3 Anbieter): 31,2 s · Bester Wert: 15,6 s
Dokumente mit schwerwiegendem Fehler (Platz 1 von 3): 1,7 % · 95-%-Intervall 0,3–8,8 % (Wilson mit Designeffekt) · 2 von 119 abgeschlossenen Ausgaben mit schwerwiegendem Fehler
Schwächster Wert: 3,3 % · Median (3 Anbieter): 2,5 % · Bester Wert: 1,7 %
So setzt sich der ScribeIndex-Score zusammen
| Teilwert | Punkte | Gewicht | Beitrag |
|---|---|---|---|
| Inhaltsqualität | 67,0 | 60 % | 40,2 |
| Schwerwiegende Fehler | 91,6 | 20 % | 18,3 |
| Korrekturaufwand | 68,2 | 15 % | 10,2 |
| Abschlussquote | 99,2 | 5 % | 5,0 |
| ScribeIndex-Score | 100 % | 73,7 |
Ein Fakten-F1 von 90,09 % liegt 9,91 Prozentpunkte unter einem fehlerfreien Ergebnis. Bei 30 Prozentpunkten Abstand fällt die Inhaltsqualität auf null, hier liegt sie deshalb bei 67,0 von 100 Punkten.
Die Beiträge entstehen aus ungerundeten Teilwerten. Deshalb kann die Summe der angezeigten Werte um 0,1 vom Score abweichen. Bewertungsmodell 2.2. Formel und Skalierung
Testbedingungen
- Korpus: Pflegedokumentation
- Fälle: 40 Szenarien × 3 Durchläufe
- Abgeschlossen: 119 von 120 Läufen
- Testweg: Live-Gespräch
- Bewertete Ausgabe: Pflegedokumentation
- Getestete Version: GoSpeech Medical im Browser, Stand 3. Quartal 2026
- Protokoll und Zeitraum: Version 1.0, getestet im 3. Quartal 2026
Alle Kennzahlen
GoSpeech Medical erreicht im Test „Pflegedokumentation“ 73,7 von 100 Punkten. Fakten-F1 90,1 % (95-%-Konfidenzintervall 88,5–91,7 %). Getestet wurden 40 Szenarien mit je 3 Durchläufen, 119 von 120 Läufen wurden abgeschlossen. Korpus de-pflege-v1, Protokoll 1.0, getestet im 3. Quartal 2026.
| Kennzahl | Wert | Zählung und Bedeutung | 95-%-Intervall |
|---|---|---|---|
| ScribeIndex-Score | 73,7 / 100 | Gewichteter Gesamtwert aus Inhaltsqualität, schwerwiegenden Fehlern, Nacharbeit und Abschlussquote, Bewertungsmodell 2.2. | 66,5–77,9 |
| Fakten-F1 | 90,1 % | Erläuterung weiter oben. | 88,5–91,7 |
| Nacharbeit je Aufnahme | 2,24 min | Erläuterung weiter oben. | 1,77–2,77 |
| Verarbeitungszeit (Median) | 36,4 s | Erläuterung weiter oben. | – |
| Dokumente mit schwerwiegendem Fehler | 1,7 % | 2 von 119 abgeschlossenen Ausgaben mit schwerwiegendem Fehler. | 0,3–8,8 (Wilson mit Designeffekt) |
| Falsche oder unbelegte Aussagen | 2,2 % | 73 falsche oder unbelegte Aussagen von 3.355 ausgegebenen Aussagen. | 1,5–3,1 (Wilson mit Designeffekt) |
| Fehler bei Fachbegriffen | 3,9 % | 48 fehlerhafte Fachkonzepte von 1.221 Referenzkonzepten. | 2,7–5,6 (Wilson mit Designeffekt) |
| Fehler bei Medikamenten und Dosierungen | 5,7 % | 17 fehlerhafte Medikationsangaben von 299 Referenzangaben zur Medikation. | 2,9–11,0 (Wilson mit Designeffekt) |
| Fehler bei Verneinungen | 4,2 % | 24 fehlerhafte Verneinungen von 567 Referenzaussagen zu Negation oder Bestätigung. | 2,2–7,9 (Wilson mit Designeffekt) |
| Fehler bei zeitlichen Angaben | 6,1 % | 56 fehlerhafte zeitliche Angaben von 918 zeitlichen Referenzangaben. | 4,1–9,0 (Wilson mit Designeffekt) |
| Fehler bei der Zuordnung | 3,8 % | 65 fehlerhafte Zuordnungen von 1.730 Referenzfakten mit Quellenzuordnung. | 2,4–5,8 (Wilson mit Designeffekt) |
| Fehler bei Vitalwerten | 2,6 % | 11 fehlerhafte Vitalwerte von 423 Referenz-Vitalwerten. Falsch übernommene oder ausgelassene Vitalwerte pro annotiertem Vitalwert der Referenz. Wert, Einheit, Messzeitpunkt und versorgte Person müssen zusammen stimmen. | 1,1–6,3 (Wilson mit Designeffekt) |
| Umgesetzte Diktatbefehle | 84,4 % | 76 umgesetzte Diktatbefehle von 90 Diktatbefehlen. Richtig ausgeführte festgelegte Satzzeichen-, Absatz- und Korrekturbefehle pro ausgesprochenem Referenzbefehl. Der Befehl soll wirken und nicht als Befehlswort im Text stehen. | 70,6–92,5 (Wilson mit Designeffekt) |
| Umgesetzte Selbstkorrekturen | 82,8 % | 24 umgesetzte Selbstkorrekturen von 29 Selbstkorrekturen. Spontane Selbstkorrekturen, nach denen das Dokument nur die endgültige Angabe enthält, pro annotierter Selbstkorrektur der Referenz. Steht die verworfene Angabe noch im Text oder ersetzt sie die endgültige, ist die Selbstkorrektur nicht umgesetzt. Ob eine Regel oder ein Sprachmodell sie umsetzt, spielt keine Rolle. | 50,1–95,8 (Wilson mit Designeffekt) |
| Umgesetzte Bearbeitungsanweisungen | 63,6 % | 7 umgesetzte Bearbeitungsanweisungen von 11 Bearbeitungsanweisungen. Frei formulierte Anweisungen an das Dokument, deren Wirkung das gelieferte Dokument zeigt, pro annotierter Anweisung der Referenz. Eine solche Anweisung ändert eine früher genannte Angabe, ergänzt Inhalt an einer früheren Stelle oder verschiebt einen Abschnitt. Steht sie wörtlich im Text oder bleibt sie ohne Wirkung, ist sie nicht umgesetzt. Ob eine Regel oder ein Sprachmodell sie umsetzt, spielt keine Rolle. | 26,3–89,6 (Wilson mit Designeffekt) |
| Faktenpräzision | 94,1 % | 3.156 korrekte relevante Fakten von 3.355 ausgegebenen Fakten. | 92,6–95,4 |
| Fakten-Recall | 86,4 % | 3.156 korrekt erhaltene Fakten von 3.651 dokumentationsrelevanten Referenzfakten. | 84,2–88,7 |
| Verarbeitungszeit (95. Perzentil) | 78,0 s | Erläuterung weiter oben. | – |
| Abschlussquote | 99,2 % | 119 von 120 gestarteten Läufen abgeschlossen. | – |
Verarbeitungszeit
- Median (p50): 36,4 s
- 95. Perzentil (p95): 78,0 s
- Testweg: Live-Gespräch
- Messstrecke: Von „Beenden der Aufnahme“ bis „Vollständiges Dokument verfügbar“
Über alle abgeschlossenen Läufe, Audio in Echtzeit zugespielt. p95 zeigt die Dauer, die 95 % der Läufe nicht überschreiten. Median und p95 beschreiben die Verteilung der Messwerte und sind kein Konfidenzintervall.
Geschätzte Nacharbeit
- Je Aufnahme: 2,24 min (Ø 5,9 min Aufnahme)
- Je Stunde Aufnahme: 22,88 min
- 95-%-Intervall je Stunde: 18,03–28,25 min
- Geschätzte Nacharbeit gesamt: 267,06 min
- Audiodauer aller Ausgaben: 11 h 40 min (11,671 h)
- Ausgaben: 119, alle abgeschlossenen Läufe
Geschätzt aus den gezählten Fehlern aller abgeschlossenen Ausgaben, mit festen Zeiten je Korrekturschritt, die für alle Dienste gleich sind. Die Rate je Stunde ist die Nacharbeit gesamt ÷ Audiostunden und lässt sich aus den angezeigten Minuten und den Stunden in Klammern genau nachrechnen.
Fehler nach Typ
| Fehlertyp | Anzahl | Anteil am häufigsten Fehlertyp | Bedeutung |
|---|---|---|---|
| Nicht erfasste Referenzfakten | 495 (13,6 % der Referenzfakten) | 100 % | Eine erforderliche Angabe aus der Aufnahme fehlt oder ist verfälscht (FN), etwa ein fehlender Vitalwert. Korrekte Umformulierungen zählen als Treffer. |
| Falsche oder unbelegte Aussagen | 73 (2,2 % der ausgegebenen Aussagen) | 15 % | Die Ausgabe enthält eine Angabe, die der Referenz widerspricht oder sich nicht auf die Aufnahme stützt (FP, inhaltlicher Fehler), etwa eine nie durchgeführte Maßnahme. Eine verfälschte Referenzangabe zählt zugleich hier und als nicht erfasster Referenzfakt. |
| Zutreffende, aber nicht relevante Aussagen | 126 (3,8 % der ausgegebenen Aussagen) | 25 % | Die Angabe stimmt, gehört laut Rubrik aber nicht in das Dokument (FP, nicht relevant), etwa Smalltalk oder wiederholte Begrüßungen. Sie senkt die Präzision, ist aber kein inhaltlicher Fehler. |
Über alle abgeschlossenen Läufe ergab der Faktenabgleich 3.156 korrekt erhaltene Fakten (TP), 199 falsch positive Aussagen (FP), davon 73 falsch oder unbelegt und 126 zutreffend, aber nicht relevant, 495 nicht erfasste Referenzfakten (FN). Fakten-F1 = 2TP ÷ (2TP + FP + FN). Beide FP-Arten senken die Präzision, nur falsche oder unbelegte Aussagen gelten als inhaltlicher Fehler.
Bewertet werden die gelieferten Einträge der Pflegedokumentation. Strukturierte Felder und umformulierte Berichte werden über die Faktenrubrik abgeglichen, nicht gegen die Wortfolge der Aufnahme.
Abgeschlossene Läufe: 119 von 120 (99,2 %)
| Szenario | Lauf | Grund |
|---|---|---|
pflege-005 | 1 | Kein Dokument innerhalb des protokollierten Zeitlimits |
Abgebrochene Läufe zählen in keinem Nenner der Qualitätskennzahlen. Sie stehen nur im Nenner der Abschlussquote und senken so den ScribeIndex-Score. Abgebrochene Läufe wiederholt ScribeIndex nicht. Die Zeitlimits stehen in der Methodik unter Laufzeit, Ausfälle und Nacharbeit.
Konfiguration im Test
- Produktversion: GoSpeech Medical im Browser, Stand 3. Quartal 2026
- Modellversion: Vom Anbieter nicht ausgewiesen
- Sprache: Deutsch (de-DE)
- Vorlage: ScribeIndex-Vorlage „Pflegebericht“, Version 1.0
- Arbeitsauftrag: Pflegedokumentation, Version 1.0
- Eigener Wortschatz: Nicht hinterlegt
- Audioeingang: Aufnahme in der Anwendung über einen virtuellen Mikrofoneingang
- Sprache der Kernaussagen: Deutsch
- Dokumentsprache: Deutsch
- Sprecher: Mehrsprecheroption
- Übernahme der Kernaussagen: Unkorrigierte Facts vollständig übernehmen
- Enthaltene Verarbeitungsschritte: Facts-Erstellung, unmittelbare Auswahl der eigenen Vorlage und Dokumentgenerierung
- Vorlage im Produkt: Eigene Vorlage für Pflegeberichte mit getrennten Personen, Vitalwerten, Maßnahmen und Verlauf
- Patientenkontext: Ohne zusätzliche Angaben außerhalb der Aufnahme
- Auswertung: Version 1.0
- Textnormalisierung: Keine, da kein Wortvergleich
- Bewertungsrubrik: nursing-facts-v1, Version 1.0
Korpus, Ausschlüsse und Prüfsummen
Nachgesprochene Pflegeberichte, Vitalwerte mit Maßnahmen, Schichtübergaben zu mehreren versorgten Personen und im Rollenspiel geführte pflegerische Aufnahmegespräche aus stationärer Altenpflege, ambulanter Pflege und Krankenhausstationen. Alle versorgten Personen sind fiktiv.
- Korpus: Pflegedokumentation (
de-pflege-v1, Version 1.0) - Szenarien: 41 aufgenommen, 40 ausgewertet, je 3 Läufe
- Audio gesamt: 3 h 54 min, je Fall 1 min bis 28 min (Median 2 min)
- Sprecher je Fall: 1 bis 3
- Dokumentationsanlass: Pflegebericht nach der Versorgung (14), Vitalwerte und Maßnahmen (12), Schichtübergabe (8), Pflegerisches Aufnahmegespräch (6)
- Einsatzbereich: Stationäre Altenpflege (16), Ambulante Pflege (12), Krankenhausstation (12)
- Aufnahme: Smartphone in der Hand, Umgebungsgeräusche (34), Smartphone auf dem Tisch (6)
- Audioformate: PCM 24 Bit (WAV), 48 kHz, mono
- Aufbereitung:
- Einspielung der Gesprächsaufnahme in Echtzeit über einen virtuellen Mikrofoneingang mit −20 dBFS RMS
- Referenz: Version 1.0: 27.264 Wörter, 181.159 Zeichen, 1.224 Referenzfakten
- Annotierte Einheiten: Annotierte medizinische Fachkonzepte 410 · Medikationsangaben (Wirkstoff, Dosis, Einheit, Einnahme) 100 · Verneinte oder ausdrücklich bestätigte Befunde 190 · Zeitliche Referenzangaben 307 · Fakten mit erforderlicher Quellenzuordnung 578 · Vitalwerte mit Einheit und Messzeitpunkt 143 · Diktatbefehle 30 · Selbstkorrekturen mit geänderter Angabe 10 · Bearbeitungsanweisungen 4
- Referenzprüfung: Fakten, Vitalwerte und Personenzuordnung werden mit der Gesprächsvorlage festgelegt. Abweichende Stellen werden vor dem ersten Anbieterlauf an der Aufnahme geprüft. Rubrik nursing-facts-v1, Version 1.0.
- Zeitraum der Testreihe: 2. und 3. Quartal 2026 für alle Dienste, Korpus vor dem ersten Lauf eingefroren
- Ausgeschlossen:
pflege-028: Eine mitwirkende Person nannte in der Übergabe versehentlich echte Namen. Die Aufnahme wurde vor der Referenzfreigabe zurückgezogen.
- SHA-256 Manifest:
7502ed0b4f30247995e97f03b1a7a0cd3f54907c6b780831019a233cbd092a84 - SHA-256 Referenz:
81561a613839ad570ef1ff39ee99889d0210625a97c37e39de452ea787a783ad
Unsicherheit und Berechnung
- Verfahren: Gepaarter Cluster-Bootstrap, Konfidenzniveau 95 %, Perzentilintervall. Anteile aus Zählern erhalten ein Wilson-Intervall mit Designeffekt. Für das Score-Intervall wird der Anteil schwerwiegender Fehler je Dienst aus einer Beta-Verteilung gezogen.
- Cluster: 40 Cluster, Einheit Szenario. Alle Läufe eines Szenarios bleiben im selben Cluster.
- Wiederholungen: 2.000 Bootstrap-Stichproben, Seed 1588450526
- Aggregation: Zähler aller abgeschlossenen Läufe werden gepoolt. Kennzahlen entstehen aus Summen, nicht aus Mittelwerten je Fall.
- Gepaarte Stichprobe: Alle Anbieter dieses Korpus nutzen dieselben Bootstrap-Stichproben. SHA-256 der Ziehungsliste:
d4572266c17fe472c4e040fee447b07920271bd3b5b3838b241e77b8839549a9 - Fakten: Präzision = TP ÷ (TP + FP) = 94,1 %. Recall = TP ÷ (TP + FN) = 86,4 %. F1 = 2TP ÷ (2TP + FP + FN) = 90,1 % (95-%-Intervall 88,5–91,7 %).
- ScribeIndex-Score: 95-%-Intervall 66,5–77,9 Punkte, je Bootstrap-Stichprobe aus dem vollständigen Score neu berechnet. Wie das Score-Intervall entsteht
Rangliste Pflegedokumentation
Sortiert nach ScribeIndex-Score.
- Platz 1: Tandem Health im Test 83,2
- Platz 2: GoSpeech Medical 73,7
- Platz 3: Heidi im Test 73,2
Daten zu dieser Seite
Maschinenlesbar mit Zählern, Nennern und Intervallen. Frei nutzbar mit Quellenangabe. Zitierweise und Lizenz
So testet ScribeIndex
Jede Testreihe nutzt einen festen deutschsprachigen Korpus mit geprüften, vor dem ersten Lauf eingefrorenen Referenzen. Bewertet wird automatisch nach festen Regeln, unklare Zuordnungen werden anhand der Aufnahme fachlich geprüft. Jeder Fall läuft zwei- bis dreimal. Die Konfidenzintervalle von Score, Hauptkennzahl und weiteren Fehlerraten stammen aus einem gepaarten Bootstrap über die Szenarien, sodass alle Anbieter auf denselben Stichproben verglichen werden. Anteile aus Zählern erhalten ein Wilson-Intervall mit Designeffekt. Der ScribeIndex-Score ist ein gewichteter Gesamtwert aus Inhaltsqualität, schwerwiegenden Fehlern, Nacharbeit und Abschlussquote. Die Rangliste ordnet nach diesem Punktwert.
Für das Score-Intervall wird in jeder Bootstrap-Stichprobe der vollständige Score mit den Gewichten des Bewertungsmodells neu berechnet. Weil alle Dienste einer Testreihe dieselben Stichproben nutzen, lassen sich auch Scoredifferenzen gepaart auswerten. In Testreihen, deren Score schwerwiegende Fehler enthält, gilt das für den Teilwert „Schwerwiegende Fehler“ nicht. Der Anteil schwerwiegender Fehler wird je Dienst unabhängig aus einer Beta-Verteilung mit effektivem Stichprobenumfang gezogen, weil der Bootstrap bei null oder wenigen Ereignissen kaum streut. Der gemeinsame Einfluss schwieriger Aufnahmen hebt sich in den gepaarten Scoredifferenzen deshalb nicht auf, die Differenzintervalle werden breiter. Bei null oder wenigen schwerwiegenden Fehlern reicht das Score-Intervall vor allem nach unten, weil eine Stichprobe dieser Größe seltene Fehler übersehen haben kann.