MIRA medical im Test
Ergebnisse aus einer Testreihe auf einem deutschsprachigen Korpus. Alle Anbieter einer Aufgabe bearbeiten dieselben Fälle nach demselben Protokoll.
Ergebnisse im Überblick
Im ScribeIndex-Test „Medizinische Spracherkennung“ (2. Quartal 2026, 62 Diktate, je 3 Durchläufe) erreicht MIRA medical 81,6 von 100 Punkten und liegt auf Platz 8 von 9.
| Aufgabe | ScribeIndex-Score | Platz | Hauptkennzahl | Nacharbeit | Getestet |
|---|---|---|---|---|---|
| Medizinische Spracherkennung | Schlussgruppe: 81,6 | 8 von 9 | Fakten-F1: 94,2 % | 4,10 min je Diktat | 2. Quartal 2026 |
MIRA medical: Medizinische Spracherkennung
In der Testreihe „Medizinische Spracherkennung“ liegt MIRA medical mit 81,6 Punkten auf Platz 8 von 9, 15,2 Punkte hinter Tippiti (96,8) und 1,7 Punkte vor Fluency Direct (79,9). Hinter Tippiti bleibt MIRA medical vor allem beim Fakten-F1 (94,2 % gegenüber 98,9 %) und bei der Nacharbeit (4,10 gegenüber 0,75 Minuten je Diktat) zurück. Vor Fluency Direct liegt MIRA medical vor allem beim Fakten-F1 (94,2 % gegenüber 92,9 %). Fluency Direct liegt dafür bei den schwerwiegenden Fehlern (in keinem von 186 Dokumenten gegenüber 2 von 185) vorn. Das 95-%-Konfidenzintervall des Fakten-F1 reicht von 93,5 bis 94,9 %. Die Präzision liegt bei 94,0 %, der Recall bei 94,4 %. Die Wortfehlerrate liegt bei 8,05 % (95-%-Konfidenzintervall 7,32–8,90 %). Die Nacharbeit ist eine Schätzung von ScribeIndex und kommt zum einmaligen Durchlesen hinzu, bei einer durchschnittlichen Aufnahmedauer von 5,0 Minuten.
Einordnung: Schlussgruppe · ScribeIndex-Score 81,6 / 100 · 95-%-Intervall 76,4–83,8 · Platz 8 von 9 · Wortnah (Der Text folgt dem gesprochenen Wortlaut. Die WER ist mit anderen wortnahen Diensten vergleichbar)
3,5 Punkte unter dem Median des Feldes und im untersten Fünftel der Punktespanne. Hinter DictNow bleibt MIRA medical vor allem bei der Nacharbeit (4,10 gegenüber 3,59 Minuten je Diktat) zurück. MIRA medical liegt dafür beim Fakten-F1 (94,2 % gegenüber 94,0 %) vorn.
Fakten-F1 (Platz 7 von 9): 94,2 % · 95-%-Intervall 93,5–94,9 %
Schwächster Wert: 92,9 % · Median (9 Anbieter): 95,1 % · Bester Wert: 98,9 %
Harmonisches Mittel aus Faktenpräzision und Fakten-Recall gegenüber der annotierten Referenz.
Wortfehlerrate (WER) (Platz 4 von 5): 8,05 % · 95-%-Intervall 7,32–8,90 % · 8.223 Wortfehler von 102.101 Referenzwörtern
Schwächster Wert: 8,80 % · Median (5 Anbieter): 6,73 % · Bester Wert: 6,44 %
Ersetzungen, Auslassungen und Einfügungen je Referenzwort nach Normalisierung.
Nacharbeit je Diktat (Platz 8 von 9): 4,10 min · 95-%-Intervall 3,74–4,46 min
Schwächster Wert: 4,58 min · Median (9 Anbieter): 3,53 min · Bester Wert: 0,75 min
Geschätzte Nacharbeit bis zur Zielfassung je Diktat, bei durchschnittlich 5,0 Minuten Aufnahme. Nicht enthalten ist das einmalige Durchlesen, das auch ein von Hand getipptes Dokument braucht. Auf eine Stunde Aufnahme gerechnet sind das 49,1 Minuten.
Verarbeitungszeit (Median) (Platz 3 von 7): 1,4 s · Niedriger ist besser
Schwächster Wert: 21,4 s · Median (7 Anbieter): 1,5 s · Bester Wert: 0,7 s
Gemessen von „Ende des letzten zugespielten Wortes“ bis „Stabile nutzbare Textausgabe“. Platz und Vergleichswerte nur unter Diensten derselben Messstrecke.
Dokumente mit schwerwiegendem Fehler (Geteilter Platz 8 von 9, schwächster Wert): 1,1 % · 95-%-Intervall 0,2–5,8 % (Wilson mit Designeffekt) · 2 von 185 abgeschlossenen Ausgaben mit schwerwiegendem Fehler
Schwächster Wert: 1,1 % · Median (9 Anbieter): 0,5 % · Bester Wert: 0,0 %
Ausgaben mit mindestens einem potenziell schwerwiegenden medizinischen Fehler pro abgeschlossener Ausgabe. Bewertet wird jeder Fall nach einer festgelegten Fehlerrubrik. Fehler bei Medikation oder Verneinung zählen hier nur, wenn die Rubrik die betroffene Angabe als potenziell schwerwiegend einstuft. Die Zähler je Fehlerart enthalten auch folgenlose Abweichungen.
So setzt sich der ScribeIndex-Score zusammen
| Teilwert | Punkte | Gewicht | Beitrag |
|---|---|---|---|
| Inhaltsqualität | 80,6 | 60 % | 48,3 |
| Schwerwiegende Fehler | 92,8 | 20 % | 18,5 |
| Korrekturaufwand | 65,2 | 15 % | 9,8 |
| Abschlussquote | 99,5 | 5 % | 5,0 |
| ScribeIndex-Score | 100 % | 81,6 |
Ein Fakten-F1 von 94,17 % liegt 5,83 Prozentpunkte unter einem fehlerfreien Ergebnis. Bei 30 Prozentpunkten Abstand fällt die Inhaltsqualität auf null, hier liegt sie deshalb bei 80,6 von 100 Punkten.
Die Beiträge entstehen aus ungerundeten Teilwerten. Deshalb kann die Summe der angezeigten Werte um 0,1 vom Score abweichen. Bewertungsmodell 2.2. Formel und Skalierung
Testbedingungen
- Korpus: Medizinische Diktate
- Fälle: 62 Szenarien × 3 Durchläufe
- Abgeschlossen: 185 von 186 Läufen
- Testweg: Live-Diktat
- Bewertete Ausgabe: Wortnahes Transkript
- Getestete Version: Windows-Anwendung mit Cloud-Erkennung, Stand 2. Quartal 2026
- Protokoll und Zeitraum: Version 1.0, getestet im 2. Quartal 2026
Alle Kennzahlen
MIRA medical erreicht im Test „Medizinische Spracherkennung“ 81,6 von 100 Punkten. Fakten-F1 94,2 % (95-%-Konfidenzintervall 93,5–94,9 %). Getestet wurden 62 Szenarien mit je 3 Durchläufen, 185 von 186 Läufen wurden abgeschlossen. Korpus de-diktat-v1, Protokoll 1.0, getestet im 2. Quartal 2026.
| Kennzahl | Wert | Zählung und Bedeutung | 95-%-Intervall |
|---|---|---|---|
| ScribeIndex-Score | 81,6 / 100 | Gewichteter Gesamtwert aus Inhaltsqualität, schwerwiegenden Fehlern, Nacharbeit und Abschlussquote, Bewertungsmodell 2.2. | 76,4–83,8 |
| Fakten-F1 | 94,2 % | Erläuterung weiter oben. | 93,5–94,9 |
| Wortfehlerrate (WER) | 8,05 % | 8.223 Wortfehler von 102.101 Referenzwörtern. | 7,32–8,90 |
| Nacharbeit je Diktat | 4,10 min | Erläuterung weiter oben. | 3,74–4,46 |
| Verarbeitungszeit (Median) | 1,4 s | Erläuterung weiter oben. | – |
| Erkennungsfehler | 8,05 % | 8.223 Wortfehler von 102.101 Referenzwörtern. Falsch erkannte, ausgelassene oder eingefügte Wörter pro Referenzwort, ohne zulässige Umformulierungen. Bei wortnaher Ausgabe entspricht der Wert der WER, dort zählt jede Abweichung vom Wortlaut. Bei KI-überarbeiteter Ausgabe zählen nur falsch erkannte oder inhaltlich veränderte Wörter. Für wortnahe Dienste ist die Zählung damit strenger. Gezählt wird, was im gelieferten Text falsch ist, fehlt oder hinzukommt, bezogen auf die Wörter der Referenz. | 7,32–8,90 |
| Zeichenfehlerrate · CER | 3,2 % | 23.695 Zeichenabweichungen von 736.070 Referenzzeichen. Zeichenabweichungen pro Referenzzeichen nach NFC-Normalisierung, einheitlicher Groß- und Kleinschreibung, entfernten Satzzeichen und zu einem Leerzeichen zusammengefasstem Leerraum. Leerzeichen zählen als Zeichen. | 3,0–3,5 |
| Dokumente mit schwerwiegendem Fehler | 1,1 % | 2 von 185 abgeschlossenen Ausgaben mit schwerwiegendem Fehler. | 0,2–5,8 (Wilson mit Designeffekt) |
| Falsche oder unbelegte Aussagen | 5,6 % | 374 falsche oder unbelegte Aussagen von 6.657 ausgegebenen Aussagen. Ausgegebene Aussagen, die der Referenz widersprechen oder sich weder auf das Gespräch noch auf bereitgestellten Kontext stützen, pro ausgegebener deduplizierter Aussage. Zutreffende, aber nicht dokumentationsrelevante Aussagen zählen getrennt und nicht hier. | 4,8–6,6 (Wilson mit Designeffekt) |
| Fehler bei Fachbegriffen | 2,1 % | 229 fehlerhafte Fachkonzepte von 11.106 Referenzkonzepten. Fachlich falsch wiedergegebene oder ausgelassene medizinische Konzepte pro annotiertem Fachkonzept der Referenz. Synonyme gelten bei gleicher Bedeutung als korrekt. | 1,7–2,6 (Wilson mit Designeffekt) |
| Fehler bei Medikamenten und Dosierungen | 2,1 % | 16 fehlerhafte Medikationsangaben von 752 Referenzangaben zur Medikation. Falsch wiedergegebene oder ausgelassene Angaben zu Wirkstoff, Dosis, Einheit und Einnahme pro annotierter Medikationsangabe. Jede Angabe zählt höchstens einmal. | 1,0–4,5 (Wilson mit Designeffekt) |
| Fehler bei Verneinungen | 1,7 % | 19 fehlerhafte Verneinungen von 1.100 Referenzaussagen zu Negation oder Bestätigung. Verlorene, hinzugefügte oder umgekehrte Negationen pro Referenzaussage mit verneintem oder ausdrücklich bestätigtem Befund. Eine Aussage zählt höchstens einmal. | 0,9–3,5 (Wilson mit Designeffekt) |
| Fehler bei zeitlichen Angaben | 2,8 % | 40 fehlerhafte zeitliche Angaben von 1.446 zeitlichen Referenzangaben. Falsch zugeordnete oder ausgelassene Zeitpunkte, Dauern und zeitliche Beziehungen pro annotierter zeitlicher Referenzangabe. | 1,7–4,5 (Wilson mit Designeffekt) |
| Fehler bei der Zuordnung | 2,4 % | 57 fehlerhafte Zuordnungen von 2.389 Referenzfakten mit Quellenzuordnung. Falsche oder ausgelassene Zuordnung von Aussagen zu Patient, behandelnder Person oder Drittperson pro Referenzfakt mit erforderlicher Quellenzuordnung. | 1,6–3,6 (Wilson mit Designeffekt) |
| Umgesetzte Diktatbefehle | 88,9 % | 1.165 umgesetzte Diktatbefehle von 1.310 Diktatbefehlen. Richtig ausgeführte festgelegte Satzzeichen-, Absatz- und Korrekturbefehle pro ausgesprochenem Referenzbefehl. Der Befehl soll wirken und nicht als Befehlswort im Text stehen. | 85,3–91,7 (Wilson mit Designeffekt) |
| Umgesetzte Selbstkorrekturen | 1,2 % | 3 umgesetzte Selbstkorrekturen von 247 Selbstkorrekturen. Spontane Selbstkorrekturen, nach denen das Dokument nur die endgültige Angabe enthält, pro annotierter Selbstkorrektur der Referenz. Steht die verworfene Angabe noch im Text oder ersetzt sie die endgültige, ist die Selbstkorrektur nicht umgesetzt. Ob eine Regel oder ein Sprachmodell sie umsetzt, spielt keine Rolle. | 0,3–5,5 (Wilson mit Designeffekt) |
| Umgesetzte Bearbeitungsanweisungen | 0,0 % | 0 umgesetzte Bearbeitungsanweisungen von 89 Bearbeitungsanweisungen. Frei formulierte Anweisungen an das Dokument, deren Wirkung das gelieferte Dokument zeigt, pro annotierter Anweisung der Referenz. Eine solche Anweisung ändert eine früher genannte Angabe, ergänzt Inhalt an einer früheren Stelle oder verschiebt einen Abschnitt. Steht sie wörtlich im Text oder bleibt sie ohne Wirkung, ist sie nicht umgesetzt. Ob eine Regel oder ein Sprachmodell sie umsetzt, spielt keine Rolle. | 0,0–10,3 (Wilson mit Designeffekt) |
| Faktenpräzision | 94,0 % | 6.256 korrekte relevante Fakten von 6.657 ausgegebenen Fakten. Korrekte relevante Fakten im Verhältnis zu allen deduplizierten ausgegebenen Fakten. | 93,0–95,0 |
| Fakten-Recall | 94,4 % | 6.256 korrekt erhaltene Fakten von 6.630 dokumentationsrelevanten Referenzfakten. Korrekt erhaltene Fakten im Verhältnis zu allen dokumentationsrelevanten Referenzfakten. | 93,4–95,3 |
| Verarbeitungszeit (95. Perzentil) | 2,4 s | 95 % der erfolgreichen Läufe waren nach dieser Zeit fertig. | – |
| Abschlussquote | 99,5 % | 185 von 186 gestarteten Läufen abgeschlossen. Anteil der Läufe mit verwertbarem Ergebnis. | – |
Verarbeitungszeit
- Median (p50): 1,4 s
- 95. Perzentil (p95): 2,4 s
- Testweg: Live-Diktat
- Messstrecke: Von „Ende des letzten zugespielten Wortes“ bis „Stabile nutzbare Textausgabe“
Über alle abgeschlossenen Läufe, Audio in Echtzeit zugespielt. p95 zeigt die Dauer, die 95 % der Läufe nicht überschreiten. Median und p95 beschreiben die Verteilung der Messwerte und sind kein Konfidenzintervall.
Geschätzte Nacharbeit
- Je Diktat: 4,10 min (Ø 5,0 min Aufnahme)
- Je Stunde Aufnahme: 49,09 min
- 95-%-Intervall je Stunde: 44,83–53,47 min
- Geschätzte Nacharbeit gesamt: 758,07 min
- Audiodauer aller Ausgaben: 15 h 27 min (15,442 h)
- Ausgaben: 185, alle abgeschlossenen Läufe
Geschätzt aus den gezählten Fehlern aller abgeschlossenen Ausgaben, mit festen Zeiten je Korrekturschritt, die für alle Dienste gleich sind. Die Rate je Stunde ist die Nacharbeit gesamt ÷ Audiostunden und lässt sich aus den angezeigten Minuten und den Stunden in Klammern genau nachrechnen.
Wortvergleich
WER: Vergleichbar- Wortfehlerrate (WER): 8,05 % · 95-%-Intervall 7,32–8,90 %
- Ersetzungen (S): 4.289
- Auslassungen (D): 1.954
- Einfügungen (I): 1.980
- Referenzwörter (N): 102.101
- Zeichenfehlerrate (CER): 3,2 %
WER wird aus der gelieferten wortnahen Transkriptausgabe gegen die normalisierte Referenz berechnet. WER = (S + D + I) ÷ N × 100, gezählt über alle abgeschlossenen Läufe.
Fehler nach Typ
| Fehlertyp | Anzahl | Anteil am häufigsten Fehlertyp | Bedeutung |
|---|---|---|---|
| Nicht erfasste Referenzfakten | 374 (5,6 % der Referenzfakten) | 9 % | Eine erforderliche Angabe aus der Aufnahme fehlt oder ist verfälscht (FN), etwa eine nicht dokumentierte Allergie. Korrekte Umformulierungen zählen als Treffer. |
| Falsche oder unbelegte Aussagen | 374 (5,6 % der ausgegebenen Aussagen) | 9 % | Die Ausgabe enthält eine Angabe, die der Referenz widerspricht oder sich nicht auf die Aufnahme stützt (FP, inhaltlicher Fehler), etwa eine nie genannte Dosis. Eine verfälschte Referenzangabe zählt zugleich hier und als nicht erfasster Referenzfakt. |
| Zutreffende, aber nicht relevante Aussagen | 27 (0,4 % der ausgegebenen Aussagen) | 1 % | Die Angabe stimmt, gehört laut Rubrik aber nicht in das Dokument (FP, nicht relevant), etwa Smalltalk oder wiederholte Begrüßungen. Sie senkt die Präzision, ist aber kein inhaltlicher Fehler. |
| Ersetzungen | 4.289 (4,2 % der Referenzwörter) | 100 % | Ein Referenzwort wird durch ein anderes Wort ersetzt (S), etwa „heute“ statt „morgen“. |
| Auslassungen | 1.954 (1,9 % der Referenzwörter) | 46 % | Ein Referenzwort fehlt in der Ausgabe (D), etwa „seit“ statt „seit gestern“. Gezählt werden Wörter, nicht fehlende Inhalte. |
| Einfügungen | 1.980 (1,9 % der Referenzwörter) | 46 % | Die Ausgabe enthält ein Wort, das in der Referenz nicht vorkommt (I). |
Über alle abgeschlossenen Läufe ergab der Faktenabgleich 6.256 korrekt erhaltene Fakten (TP), 401 falsch positive Aussagen (FP), davon 374 falsch oder unbelegt und 27 zutreffend, aber nicht relevant, 374 nicht erfasste Referenzfakten (FN). Fakten-F1 = 2TP ÷ (2TP + FP + FN). Beide FP-Arten senken die Präzision, nur falsche oder unbelegte Aussagen gelten als inhaltlicher Fehler.
Abgeschlossene Läufe: 185 von 186 (99,5 %)
| Szenario | Lauf | Grund |
|---|---|---|
diktat-059 | 2 | Verbindung zur Cloud-Erkennung während der Einspielung getrennt, Text unvollständig |
Abgebrochene Läufe zählen in keinem Nenner der Qualitätskennzahlen. Sie stehen nur im Nenner der Abschlussquote und senken so den ScribeIndex-Score. Abgebrochene Läufe wiederholt ScribeIndex nicht. Die Zeitlimits stehen in der Methodik unter Laufzeit, Ausfälle und Nacharbeit.
Konfiguration im Test
- Produktversion: Windows-Anwendung mit Cloud-Erkennung, Stand 2. Quartal 2026
- Modellversion: Vom Anbieter nicht ausgewiesen
- Sprache: Deutsch (de-DE)
- Vorlage: Keine Dokumentvorlage, nur der Arbeitsauftrag
- Arbeitsauftrag: Wortnahes Diktat, Version 1.0
- Eigener Wortschatz: Nicht hinterlegt
- Audioeingang: Live-Diktat in ein leeres Windows-Zieltextfeld
- Wörterbuch: Medizinischer Grundwortschatz
- Einträge im eigenen Wortschatz: 0
- Textbausteine: Nein
- Sprecherprofil: Neues Profil ohne Training
- Auswertung: Version 1.0
- Textnormalisierung: de-med-wer, Version 1.0
- Bewertungsrubrik: clinical-facts-v1, Version 1.0
Korpus, Ausschlüsse und Prüfsummen
Nachgesprochene ärztliche Diktate aus sieben Fachrichtungen zu fiktiven Patientinnen und Patienten, mit Befunden, Medikation und Verneinungen. Dazu kommen gesprochene Anweisungen, also Diktatbefehle, spontane Selbstkorrekturen und gelegentliche Bearbeitungsanweisungen zu früheren Stellen des Diktats. Die Aufnahmen entstehen mit Headset oder Tischmikrofon, teils mit Hintergrundgeräuschen oder als komprimierte Diktiergerätedateien.
- Korpus: Medizinische Diktate (
de-diktat-v1, Version 1.0) - Szenarien: 64 aufgenommen, 62 ausgewertet, je 3 Läufe
- Audio gesamt: 5 h 12 min, je Fall 1 min bis 15 min (Median 5 min)
- Sprecher je Fall: 1
- Fachrichtung: Innere Medizin (13), Allgemeinmedizin (11), Orthopädie und Unfallchirurgie (10), Radiologie (9), Kardiologie (8), Neurologie (7), Gynäkologie (4)
- Aussprache: Standarddeutsch (27), Regional (Deutschland) (13), Österreichisch (9), Schweizerisch gefärbt (6), Nicht muttersprachlich (7)
- Aufnahmebedingung: Ruhiger Raum, Headset (22), Ruhiger Raum, Tischmikrofon (14), Hintergrundgeräusche (15), Komprimierte Aufnahme (11)
- Audioformate: PCM 24 Bit (WAV), 48 kHz, mono · MP3 128 kbit/s, 44,1 kHz, mono · AAC-LC (M4A), 44,1 kHz, mono
- Aufbereitung:
- Kontrollierte Wiedergabe der Referenzaufnahmen über einen virtuellen Mikrofoneingang mit −20 dBFS RMS in Echtzeit
- Dekodierung komprimierter Quelldateien zu PCM 48 kHz mono vor der Wiedergabe
- Referenz: Version 1.0: 34.387 Wörter, 247.912 Zeichen, 2.235 Referenzfakten
- Annotierte Einheiten: Annotierte medizinische Fachkonzepte 3.735 · Medikationsangaben (Wirkstoff, Dosis, Einheit, Einnahme) 254 · Verneinte oder ausdrücklich bestätigte Befunde 369 · Zeitliche Referenzangaben 485 · Fakten mit erforderlicher Quellenzuordnung 805 · Diktatbefehle 442 · Selbstkorrekturen mit geänderter Angabe 84 · Bearbeitungsanweisungen 30
- Referenzprüfung: Diktattext und Fakten entstehen als Sprechvorlage vor der Aufnahme. Nach der Aufnahme wird das Gesprochene automatisch mit der Vorlage abgeglichen, abweichende Stellen werden an der Aufnahme geprüft und die Referenz vor dem ersten Anbieterlauf eingefroren. Rubrik clinical-facts-v1, Version 1.0.
- Zeitraum der Testreihe: 2. und 3. Quartal 2026 für alle Dienste, Korpus vor dem ersten Lauf eingefroren
- Ausgeschlossen:
diktat-023: Die sprechende Person nannte versehentlich einen echten Namen. Die Aufnahme wurde vor der Referenzfreigabe zurückgezogen.diktat-057: Endgültige Angabe einer Selbstkorrektur auch nach Prüfung der Aufnahme nicht eindeutig hörbar.
- SHA-256 Manifest:
6768f28bb70c0457e31c2eaafd4f3c498c05b4aec26501537825bbaa22733060 - SHA-256 Referenz:
18772162e86230bce7cfb8a2f52f90244df2b1cdf52bdb6a646494dd3596dbb9
Unsicherheit und Berechnung
- Verfahren: Gepaarter Cluster-Bootstrap, Konfidenzniveau 95 %, Perzentilintervall. Anteile aus Zählern erhalten ein Wilson-Intervall mit Designeffekt. Für das Score-Intervall wird der Anteil schwerwiegender Fehler je Dienst aus einer Beta-Verteilung gezogen.
- Cluster: 62 Cluster, Einheit Szenario. Alle Läufe eines Szenarios bleiben im selben Cluster.
- Wiederholungen: 2.000 Bootstrap-Stichproben, Seed 4214870755
- Aggregation: Zähler aller abgeschlossenen Läufe werden gepoolt. Kennzahlen entstehen aus Summen, nicht aus Mittelwerten je Fall.
- Gepaarte Stichprobe: Alle Anbieter dieses Korpus nutzen dieselben Bootstrap-Stichproben. SHA-256 der Ziehungsliste:
1feb69fb1f1a9ee5134ab583a5bf6a80625f840f53d2d833da91149ac9f1550a - Fakten: Präzision = TP ÷ (TP + FP) = 94,0 %. Recall = TP ÷ (TP + FN) = 94,4 %. F1 = 2TP ÷ (2TP + FP + FN) = 94,2 % (95-%-Intervall 93,5–94,9 %).
- Wörter: WER = (4.289 + 1.954 + 1.980) ÷ 102.101 × 100 = 8,05 %
- ScribeIndex-Score: 95-%-Intervall 76,4–83,8 Punkte, je Bootstrap-Stichprobe aus dem vollständigen Score neu berechnet. Wie das Score-Intervall entsteht
Rangliste Medizinische Spracherkennung
Sortiert nach ScribeIndex-Score.
- Platz 1: Tippiti im Test 96,8
- Platz 2: Heidi im Test 93,4
- Platz 3: Idana Flow im Test 93,3
- Platz 4: HealthJet im Test 91,6
- Platz 5: Dragon Medical One im Test 85,1
- Platz 6: Dragon Copilot im Test 84,1
- Platz 7: DictNow im Test 82,0
- Platz 8: MIRA medical 81,6
- Platz 9: Fluency Direct im Test 79,9
Daten zu dieser Seite
Maschinenlesbar mit Zählern, Nennern und Intervallen. Frei nutzbar mit Quellenangabe. Zitierweise und Lizenz
So testet ScribeIndex
Jede Testreihe nutzt einen festen deutschsprachigen Korpus mit geprüften, vor dem ersten Lauf eingefrorenen Referenzen. Bewertet wird automatisch nach festen Regeln, unklare Zuordnungen werden anhand der Aufnahme fachlich geprüft. Jeder Fall läuft zwei- bis dreimal. Die Konfidenzintervalle von Score, Hauptkennzahl und weiteren Fehlerraten stammen aus einem gepaarten Bootstrap über die Szenarien, sodass alle Anbieter auf denselben Stichproben verglichen werden. Anteile aus Zählern erhalten ein Wilson-Intervall mit Designeffekt. Der ScribeIndex-Score ist ein gewichteter Gesamtwert aus Inhaltsqualität, schwerwiegenden Fehlern, Nacharbeit und Abschlussquote. Die Rangliste ordnet nach diesem Punktwert.
Für das Score-Intervall wird in jeder Bootstrap-Stichprobe der vollständige Score mit den Gewichten des Bewertungsmodells neu berechnet. Weil alle Dienste einer Testreihe dieselben Stichproben nutzen, lassen sich auch Scoredifferenzen gepaart auswerten. In Testreihen, deren Score schwerwiegende Fehler enthält, gilt das für den Teilwert „Schwerwiegende Fehler“ nicht. Der Anteil schwerwiegender Fehler wird je Dienst unabhängig aus einer Beta-Verteilung mit effektivem Stichprobenumfang gezogen, weil der Bootstrap bei null oder wenigen Ereignissen kaum streut. Der gemeinsame Einfluss schwieriger Aufnahmen hebt sich in den gepaarten Scoredifferenzen deshalb nicht auf, die Differenzintervalle werden breiter. Bei null oder wenigen schwerwiegenden Fehlern reicht das Score-Intervall vor allem nach unten, weil eine Stichprobe dieser Größe seltene Fehler übersehen haben kann.