PlaynVoice im Test
Ergebnisse aus einer Testreihe auf einem deutschsprachigen Korpus. Alle Anbieter einer Aufgabe bearbeiten dieselben Fälle nach demselben Protokoll.
Ergebnisse im Überblick
Im ScribeIndex-Test „Psychotherapeutische Sitzungsdokumentation“ (3. Quartal 2026, 36 Sitzungen, je 3 Durchläufe) erreicht PlaynVoice 71,7 von 100 Punkten und liegt auf Platz 6 von 12.
| Aufgabe | ScribeIndex-Score | Platz | Hauptkennzahl | Nacharbeit | Getestet |
|---|---|---|---|---|---|
| Psychotherapeutische Sitzungsdokumentation | Mittelfeld: 71,7 | 6 von 12 | Fakten-F1: 89,2 % | 7,0 min je Sitzung | 3. Quartal 2026 |
| Ärztliche Gesprächsdokumentation | Nicht getestet, Ergebnis steht noch aus | – | – | – | – |
PlaynVoice: Psychotherapeutische Sitzungsdokumentation
In der Testreihe „Psychotherapeutische Sitzungsdokumentation“ liegt PlaynVoice mit 71,7 Punkten auf Platz 6 von 12, 6,4 Punkte hinter VIA HealthTech (78,1) und 0,8 Punkte vor Clara Health (70,9). Hinter VIA HealthTech bleibt PlaynVoice vor allem beim Fakten-F1 (89,2 % gegenüber 92,6 %) und bei der Nacharbeit (7,0 gegenüber 4,6 Minuten je Sitzung) zurück. PlaynVoice liegt dafür bei den schwerwiegenden Fehlern (in keinem von 107 Dokumenten gegenüber 3 von 108) vorn. Vor Clara Health liegt PlaynVoice vor allem bei den schwerwiegenden Fehlern (in keinem von 107 Dokumenten gegenüber 1 von 107) und bei der Nacharbeit (7,0 gegenüber 7,5 Minuten je Sitzung). Clara Health liegt dafür beim Fakten-F1 (89,4 % gegenüber 89,2 %) vorn. Das 95-%-Konfidenzintervall des Fakten-F1 reicht von 88,0 bis 90,5 %. Die Präzision liegt bei 91,5 %, der Recall bei 86,9 %. Die Nacharbeit ist eine Schätzung von ScribeIndex und kommt zum einmaligen Durchlesen hinzu, bei einer durchschnittlichen Aufnahmedauer von 48,0 Minuten.
Einordnung: Mittelfeld · ScribeIndex-Score 71,7 / 100 · 95-%-Intervall 66,1–74,7 · Platz 6 von 12
6,4 Punkte hinter dem besten Dienst und 0,4 Punkte über dem Median des Feldes.
Fakten-F1 (Platz 7 von 12): 89,2 % · 95-%-Intervall 88,0–90,5 %
Schwächster Wert: 84,7 % · Median (12 Anbieter): 89,3 % · Bester Wert: 92,6 %
Harmonisches Mittel aus Faktenpräzision und Fakten-Recall gegenüber der annotierten Referenz.
Nacharbeit je Sitzung (Platz 6 von 12): 7,0 min · 95-%-Intervall 6,0–8,0 min
Schwächster Wert: 9,7 min · Median (12 Anbieter): 7,2 min · Bester Wert: 4,6 min
Geschätzte Nacharbeit bis zur Zielfassung je Sitzung, bei durchschnittlich 48,0 Minuten Aufnahme. Nicht enthalten ist das einmalige Durchlesen, das auch ein von Hand getipptes Dokument braucht. Auf eine Stunde Aufnahme gerechnet sind das 8,8 Minuten.
Verarbeitungszeit (Median) (Platz 4 von 7): 58,3 s · Niedriger ist besser
Schwächster Wert: 79,2 s · Median (7 Anbieter): 58,3 s · Bester Wert: 39,6 s
Gemessen von „Beenden der Aufnahme“ bis „Vollständiges Dokument verfügbar“. Platz und Vergleichswerte nur unter Diensten derselben Messstrecke.
Dokumente mit schwerwiegendem Fehler (Geteilter Platz 1 von 12): 0,0 % · 95-%-Intervall 0,0–6,6 % (Wilson mit Designeffekt) · 0 von 107 abgeschlossenen Ausgaben mit schwerwiegendem Fehler
Schwächster Wert: 6,5 % · Median (12 Anbieter): 2,8 % · Bester Wert: 0,0 %
Ausgaben mit mindestens einem potenziell schwerwiegenden medizinischen Fehler pro abgeschlossener Ausgabe. Bewertet wird jeder Fall nach einer festgelegten Fehlerrubrik. Fehler bei Medikation oder Verneinung zählen hier nur, wenn die Rubrik die betroffene Angabe als potenziell schwerwiegend einstuft. Die Zähler je Fehlerart enthalten auch folgenlose Abweichungen.
So setzt sich der ScribeIndex-Score zusammen
| Teilwert | Punkte | Gewicht | Beitrag |
|---|---|---|---|
| Inhaltsqualität | 63,9 | 60 % | 38,3 |
| Schwerwiegende Fehler | 100,0 | 20 % | 20,0 |
| Korrekturaufwand | 55,9 | 15 % | 8,4 |
| Abschlussquote | 99,1 | 5 % | 5,0 |
| ScribeIndex-Score | 100 % | 71,7 |
Ein Fakten-F1 von 89,16 % liegt 10,84 Prozentpunkte unter einem fehlerfreien Ergebnis. Bei 30 Prozentpunkten Abstand fällt die Inhaltsqualität auf null, hier liegt sie deshalb bei 63,9 von 100 Punkten.
Die Beiträge entstehen aus ungerundeten Teilwerten. Deshalb kann die Summe der angezeigten Werte um 0,1 vom Score abweichen. Bewertungsmodell 2.2. Formel und Skalierung
Testbedingungen
- Korpus: Psychotherapeutische Sitzungen
- Fälle: 36 Szenarien × 3 Durchläufe
- Abgeschlossen: 107 von 108 Läufen
- Testweg: Live-Gespräch
- Bewertete Ausgabe: Psychotherapeutische Sitzungsdokumentation
- Getestete Version: PlaynVoice Web-App, Stand 3. Quartal 2026
- Protokoll und Zeitraum: Version 1.0, getestet im 3. Quartal 2026
Alle Kennzahlen
PlaynVoice erreicht im Test „Psychotherapeutische Sitzungsdokumentation“ 71,7 von 100 Punkten. Fakten-F1 89,2 % (95-%-Konfidenzintervall 88,0–90,5 %). Getestet wurden 36 Szenarien mit je 3 Durchläufen, 107 von 108 Läufen wurden abgeschlossen. Korpus de-therapie-v1, Protokoll 1.0, getestet im 3. Quartal 2026.
| Kennzahl | Wert | Zählung und Bedeutung | 95-%-Intervall |
|---|---|---|---|
| ScribeIndex-Score | 71,7 / 100 | Gewichteter Gesamtwert aus Inhaltsqualität, schwerwiegenden Fehlern, Nacharbeit und Abschlussquote, Bewertungsmodell 2.2. | 66,1–74,7 |
| Fakten-F1 | 89,2 % | Erläuterung weiter oben. | 88,0–90,5 |
| Nacharbeit je Sitzung | 7,0 min | Erläuterung weiter oben. | 6,0–8,0 |
| Verarbeitungszeit (Median) | 58,3 s | Erläuterung weiter oben. | – |
| Dokumente mit schwerwiegendem Fehler | 0,0 % | 0 von 107 abgeschlossenen Ausgaben mit schwerwiegendem Fehler. | 0,0–6,6 (Wilson mit Designeffekt) |
| Falsche oder unbelegte Aussagen | 3,0 % | 95 falsche oder unbelegte Aussagen von 3.120 ausgegebenen Aussagen. Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier. | 2,2–4,1 (Wilson mit Designeffekt) |
| Fehler bei Fachbegriffen | 4,8 % | 56 fehlerhafte Fachkonzepte von 1.169 Referenzkonzepten. Fachlich falsch wiedergegebene oder ausgelassene medizinische Konzepte pro annotiertem Fachkonzept der Referenz. Synonyme gelten bei gleicher Bedeutung als korrekt. | 3,2–7,1 (Wilson mit Designeffekt) |
| Fehler bei Medikamenten und Dosierungen | 1,4 % | 1 fehlerhafte Medikationsangabe von 74 Referenzangaben zur Medikation. Falsch wiedergegebene oder ausgelassene Angaben zu Wirkstoff, Dosis, Einheit und Einnahme pro annotierter Medikationsangabe. Jede Angabe zählt höchstens einmal. | 0,1–12,5 (Wilson mit Designeffekt) |
| Fehler bei Verneinungen | 4,9 % | 21 fehlerhafte Verneinungen von 432 Referenzaussagen zu Negation oder Bestätigung. Verlorene, hinzugefügte oder umgekehrte Negationen pro Referenzaussage mit verneintem oder ausdrücklich bestätigtem Befund. Eine Aussage zählt höchstens einmal. | 2,5–9,4 (Wilson mit Designeffekt) |
| Fehler bei zeitlichen Angaben | 4,1 % | 39 fehlerhafte zeitliche Angaben von 961 zeitlichen Referenzangaben. Falsch zugeordnete oder ausgelassene Zeitpunkte, Dauern und zeitliche Beziehungen pro annotierter zeitlicher Referenzangabe. | 2,5–6,5 (Wilson mit Designeffekt) |
| Fehler bei der Zuordnung | 4,1 % | 78 fehlerhafte Zuordnungen von 1.889 Referenzfakten mit Quellenzuordnung. Falsche oder ausgelassene Zuordnung von Aussagen zu Patient, behandelnder Person oder Drittperson pro Referenzfakt mit erforderlicher Quellenzuordnung. | 2,9–5,9 (Wilson mit Designeffekt) |
| Fehler bei Risikohinweisen | 3,6 % | 6 fehlerhafte Risikohinweise von 165 risikorelevanten Referenzaussagen. Ausgelassene, hinzugefügte oder falsch eingeordnete Aussagen zu Selbstgefährdung und Schutzfaktoren pro annotierter risikorelevanter Referenzaussage. Bewertet wird anhand des Gesprächs nach einer festgelegten Rubrik. | 1,1–11,0 (Wilson mit Designeffekt) |
| Faktenpräzision | 91,5 % | 2.855 korrekte relevante Fakten von 3.120 ausgegebenen Fakten. Korrekte relevante Fakten im Verhältnis zu allen deduplizierten ausgegebenen Fakten. | 90,1–92,9 |
| Fakten-Recall | 86,9 % | 2.855 korrekt erhaltene Fakten von 3.284 dokumentationsrelevanten Referenzfakten. Korrekt erhaltene Fakten im Verhältnis zu allen dokumentationsrelevanten Referenzfakten. | 85,0–89,0 |
| Verarbeitungszeit (95. Perzentil) | 147 s | 95 % der erfolgreichen Läufe waren nach dieser Zeit fertig. | – |
| Abschlussquote | 99,1 % | 107 von 108 gestarteten Läufen abgeschlossen. Anteil der Läufe mit verwertbarem Ergebnis. | – |
Verarbeitungszeit
- Median (p50): 58,3 s
- 95. Perzentil (p95): 147 s
- Testweg: Live-Gespräch
- Messstrecke: Von „Beenden der Aufnahme“ bis „Vollständiges Dokument verfügbar“
Über alle abgeschlossenen Läufe, Audio in Echtzeit zugespielt. p95 zeigt die Dauer, die 95 % der Läufe nicht überschreiten. Median und p95 beschreiben die Verteilung der Messwerte und sind kein Konfidenzintervall.
Geschätzte Nacharbeit
- Je Sitzung: 7,0 min (Ø 48,0 min Aufnahme)
- Je Stunde Aufnahme: 8,82 min
- 95-%-Intervall je Stunde: 7,53–10,02 min
- Geschätzte Nacharbeit gesamt: 754,30 min
- Audiodauer aller Ausgaben: 85 h 33 min (85,542 h)
- Ausgaben: 107, alle abgeschlossenen Läufe
Geschätzt aus den gezählten Fehlern aller abgeschlossenen Ausgaben, mit festen Zeiten je Korrekturschritt, die für alle Dienste gleich sind. Die Rate je Stunde ist die Nacharbeit gesamt ÷ Audiostunden und lässt sich aus den angezeigten Minuten und den Stunden in Klammern genau nachrechnen.
Fehler nach Typ
| Fehlertyp | Anzahl | Anteil am häufigsten Fehlertyp | Bedeutung |
|---|---|---|---|
| Nicht erfasste Referenzfakten | 429 (13,1 % der Referenzfakten) | 100 % | Eine erforderliche Angabe aus der Aufnahme fehlt oder ist verfälscht (FN), etwa eine nicht dokumentierte Vereinbarung für die nächste Sitzung. Korrekte Umformulierungen zählen als Treffer. |
| Falsche oder unbelegte Aussagen | 95 (3,0 % der ausgegebenen Aussagen) | 22 % | Die Ausgabe enthält eine Angabe, die der Referenz widerspricht oder sich nicht auf die Aufnahme stützt (FP, inhaltlicher Fehler), etwa eine nie angewandte Intervention. Eine verfälschte Referenzangabe zählt zugleich hier und als nicht erfasster Referenzfakt. |
| Zutreffende, aber nicht relevante Aussagen | 170 (5,4 % der ausgegebenen Aussagen) | 40 % | Die Angabe stimmt, gehört laut Rubrik aber nicht in das Dokument (FP, nicht relevant), etwa Smalltalk oder wiederholte Begrüßungen. Sie senkt die Präzision, ist aber kein inhaltlicher Fehler. |
Über alle abgeschlossenen Läufe ergab der Faktenabgleich 2.855 korrekt erhaltene Fakten (TP), 265 falsch positive Aussagen (FP), davon 95 falsch oder unbelegt und 170 zutreffend, aber nicht relevant, 429 nicht erfasste Referenzfakten (FN). Fakten-F1 = 2TP ÷ (2TP + FP + FN). Beide FP-Arten senken die Präzision, nur falsche oder unbelegte Aussagen gelten als inhaltlicher Fehler.
Die gelieferte Ausgabe ist eine therapeutische Sitzungsnotiz. Bewertet werden dokumentationsrelevante Fakten und ihre Zuordnung, nicht die Wortfolge des Gesprächs.
Abgeschlossene Läufe: 107 von 108 (99,1 %)
| Szenario | Lauf | Grund |
|---|---|---|
therapie-026 | 2 | Kein Dokument innerhalb des protokollierten Zeitlimits |
Abgebrochene Läufe zählen in keinem Nenner der Qualitätskennzahlen. Sie stehen nur im Nenner der Abschlussquote und senken so den ScribeIndex-Score. Abgebrochene Läufe wiederholt ScribeIndex nicht. Die Zeitlimits stehen in der Methodik unter Laufzeit, Ausfälle und Nacharbeit.
Konfiguration im Test
- Produktversion: PlaynVoice Web-App, Stand 3. Quartal 2026
- Modellversion: Vom Anbieter nicht ausgewiesen
- Sprache: Deutsch (de-DE)
- Vorlage: ScribeIndex-Vorlage „Therapieverlauf“, Version 1.0
- Arbeitsauftrag: Therapiedokumentation, Version 1.0
- Eigener Wortschatz: Nicht hinterlegt
- Audioeingang: Aufnahme in der Anwendung über einen virtuellen Mikrofoneingang
- Ausgabesprache: Deutsch
- Ausgabe: Psychotherapeutische Verlaufsnotiz
- Manuelle Nachkorrektur: Nein
- Auswertung: Version 1.0
- Textnormalisierung: Keine, da kein Wortvergleich
- Bewertungsrubrik: clinical-facts-v1, Version 1.0
Korpus, Ausschlüsse und Prüfsummen
Im Rollenspiel geführte Therapiesitzungen aus Verhaltenstherapie, tiefenpsychologisch fundierter Therapie und systemischen Paar- oder Familiengesprächen. 17 der 36 Sitzungen enthalten Aussagen zu Selbstgefährdung oder Schutzfaktoren.
- Korpus: Psychotherapeutische Sitzungen (
de-therapie-v1, Version 1.0) - Szenarien: 36 aufgenommen, 36 ausgewertet, je 3 Läufe
- Audio gesamt: 28 h 47 min, je Fall 37 min bis 59 min (Median 47 min)
- Sprecher je Fall: 2 bis 4
- Verfahren: Verhaltenstherapie (15), Tiefenpsychologisch fundiert (12), Systemisch (Paar oder Familie) (5), Erstgespräch und Probatorik (4)
- Risikoinhalt: Mit Risikoaussagen (17), Ohne Risikoaussagen (19)
- Audioformate: PCM 24 Bit (WAV), 48 kHz, mono
- Aufbereitung:
- Einspielung der Gesprächsaufnahme in Echtzeit über einen virtuellen Mikrofoneingang mit −20 dBFS RMS
- Referenz: Version 1.0: 185.226 Wörter, 1.162.943 Zeichen, 1.108 Referenzfakten
- Annotierte Einheiten: Annotierte medizinische Fachkonzepte 395 · Medikationsangaben (Wirkstoff, Dosis, Einheit, Einnahme) 25 · Verneinte oder ausdrücklich bestätigte Befunde 145 · Zeitliche Referenzangaben 323 · Fakten mit erforderlicher Quellenzuordnung 636 · Risikorelevante Referenzaussagen 57
- Referenzprüfung: Dokumentationsrelevante Fakten und Risikoaussagen werden mit der Gesprächsvorlage festgelegt und nach der Aufnahme am Gesprochenen bestätigt. Risikoaussagen prüft immer eine Fachperson. Rubrik clinical-facts-v1, Version 1.0.
- Zeitraum der Testreihe: 2. und 3. Quartal 2026 für alle Dienste, Korpus vor dem ersten Lauf eingefroren
- SHA-256 Manifest:
62780a1c05eb9562aa4bdbee3b73aedcf448ce0e8e6ba5fd85d7e17baa3b4bd8 - SHA-256 Referenz:
62c50ae99e53e02e016470714f0a6524d90a92407fe393d48adae95f19a8ee2a
Unsicherheit und Berechnung
- Verfahren: Gepaarter Cluster-Bootstrap, Konfidenzniveau 95 %, Perzentilintervall. Anteile aus Zählern erhalten ein Wilson-Intervall mit Designeffekt. Für das Score-Intervall wird der Anteil schwerwiegender Fehler je Dienst aus einer Beta-Verteilung gezogen.
- Cluster: 36 Cluster, Einheit Szenario. Alle Läufe eines Szenarios bleiben im selben Cluster.
- Wiederholungen: 2.000 Bootstrap-Stichproben, Seed 3733937332
- Aggregation: Zähler aller abgeschlossenen Läufe werden gepoolt. Kennzahlen entstehen aus Summen, nicht aus Mittelwerten je Fall.
- Gepaarte Stichprobe: Alle Anbieter dieses Korpus nutzen dieselben Bootstrap-Stichproben. SHA-256 der Ziehungsliste:
0c35a46bc36056c43d2f55385441679c130a0d1ef5bcb7bd6cb2f19411cef23a - Fakten: Präzision = TP ÷ (TP + FP) = 91,5 %. Recall = TP ÷ (TP + FN) = 86,9 %. F1 = 2TP ÷ (2TP + FP + FN) = 89,2 % (95-%-Intervall 88,0–90,5 %).
- ScribeIndex-Score: 95-%-Intervall 66,1–74,7 Punkte, je Bootstrap-Stichprobe aus dem vollständigen Score neu berechnet. Wie das Score-Intervall entsteht
Rangliste Psychotherapeutische Sitzungsdokumentation
Sortiert nach ScribeIndex-Score.
- Platz 1: VIA HealthTech im Test 78,1
- Platz 2: Psynex im Test 77,2
- Platz 3: DokuDachs im Test 75,9
- Platz 4: iptas im Test 74,9
- Platz 5: LumaNote im Test 72,8
- Platz 6: PlaynVoice 71,7
- Platz 7: Clara Health im Test 70,9
- Platz 8: Tandem Health im Test 65,1
- Platz 9: HealthJet im Test 63,8
- Platz 10: Noa Notes im Test 60,7
- Platz 11: Heidi im Test 59,5
- Platz 12: Upheal im Test 55,5
Ohne Testergebnis
Ärztliche Gesprächsdokumentation
PlaynVoice ist für psychotherapeutische Sitzungen gebaut und wurde dort getestet. Das Ergebnis mit ärztlichen Gesprächen steht noch aus.
Daten zu dieser Seite
Maschinenlesbar mit Zählern, Nennern und Intervallen. Frei nutzbar mit Quellenangabe. Zitierweise und Lizenz
So testet ScribeIndex
Jede Testreihe nutzt einen festen deutschsprachigen Korpus mit geprüften, vor dem ersten Lauf eingefrorenen Referenzen. Bewertet wird automatisch nach festen Regeln, unklare Zuordnungen werden anhand der Aufnahme fachlich geprüft. Jeder Fall läuft zwei- bis dreimal. Die Konfidenzintervalle von Score, Hauptkennzahl und weiteren Fehlerraten stammen aus einem gepaarten Bootstrap über die Szenarien, sodass alle Anbieter auf denselben Stichproben verglichen werden. Anteile aus Zählern erhalten ein Wilson-Intervall mit Designeffekt. Der ScribeIndex-Score ist ein gewichteter Gesamtwert aus Inhaltsqualität, schwerwiegenden Fehlern, Nacharbeit und Abschlussquote. Die Rangliste ordnet nach diesem Punktwert.
Für das Score-Intervall wird in jeder Bootstrap-Stichprobe der vollständige Score mit den Gewichten des Bewertungsmodells neu berechnet. Weil alle Dienste einer Testreihe dieselben Stichproben nutzen, lassen sich auch Scoredifferenzen gepaart auswerten. In Testreihen, deren Score schwerwiegende Fehler enthält, gilt das für den Teilwert „Schwerwiegende Fehler“ nicht. Der Anteil schwerwiegender Fehler wird je Dienst unabhängig aus einer Beta-Verteilung mit effektivem Stichprobenumfang gezogen, weil der Bootstrap bei null oder wenigen Ereignissen kaum streut. Der gemeinsame Einfluss schwieriger Aufnahmen hebt sich in den gepaarten Scoredifferenzen deshalb nicht auf, die Differenzintervalle werden breiter. Bei null oder wenigen schwerwiegenden Fehlern reicht das Score-Intervall vor allem nach unten, weil eine Stichprobe dieser Größe seltene Fehler übersehen haben kann.