So testet ScribeIndex

Gemeinsame Grundlagen

Die Korpora umfassen 24 bis 62 ausgewertete Szenarien je Testreihe. Das reicht, um Anbieter auf identischen Fällen zu vergleichen. Alle Fachrichtungen, Dialekte, Aufnahmesituationen und Arbeitsabläufe kann ein Korpus dieser Größe nicht abbilden. Deshalb stehen bei jedem Korpus Strata und Fallzahlen, damit Sie sehen, wie nah die Testfälle an Ihrem eigenen Alltag liegen.

Identische Eingaben und geprüfte Referenz

Alle Anbieter einer Testreihe erhalten dieselbe Korpusdatei als digitales Signal. Im medizinischen Diktat und in der ärztlichen Gesprächsdokumentation bekommt jeder Dienst, der die Aufgabe per Dateiupload anbietet, genau diese Datei als Upload. In den übrigen Testreihen wird der Weg getestet, den der Hersteller als Hauptweg beschreibt. Bieten Hersteller Aufnahme und Upload gleichrangig an, wird der Upload getestet. Dienste, deren Hauptweg der Datei-Upload ist, bekommen dort ebenfalls die Datei. Alle übrigen nehmen sie in Echtzeit über einen virtuellen Mikrofoneingang auf. Browser- und Desktop-Anwendungen erhalten diesen Eingang direkt, mobile Apps laufen dafür in einer emulierten Geräteumgebung. Die Aufnahmesituation mit Tischmikrofon, Sprechabstand und Störgeräuschen steckt in den Korpusaufnahmen selbst. So verarbeiten alle Dienste exakt dasselbe Signal. Live-Lauf und Dateiupload sind getrennte Messstrecken für die Verarbeitungszeit, Zeiten werden nur innerhalb derselben Messstrecke verglichen. Die Qualität wird gemeinsam verglichen, weil alle Dienste dieselbe Korpusdatei erhalten.

Bei Aufgaben mit erstelltem Dokument, also Gesprächsnotizen, Berichten und Protokollen, erhält jeder Dienst die vorab festgelegte ScribeIndex-Vorlage, wenn der getestete Zugang frei bearbeitbare Vorlagen erlaubt. Sonst läuft er mit der Standardvorlage des Herstellers. Diktate und Textausarbeitungen laufen ohne Dokumentvorlage, nur mit dem Arbeitsauftrag. Erzeugt ein Produkt den Text nur über eine Vorlage, gilt dafür dieselbe Regel. Die verwendete Vorlage steht in der Testkonfiguration. Audioformat, Abtastrate, Kanäle, Dauer und Konvertierungen sind dokumentiert. Produktversion, Sprache, Vorlage und Zusatzangaben werden für jeden Lauf festgehalten. Nicht unterstützte Fälle und abweichende Testwege werden ausgewiesen.

Sprechvorlage und vorgesehene Inhalte entstehen vor der Aufnahme. Jeder Testfall hat eine Vorlage mit Wortlaut, Sprecherwechseln und den dokumentationsrelevanten Angaben. Versprecher, Selbstkorrekturen und Füllwörter sind darin bereits vorgesehen. Nach der Aufnahme wird das Gesprochene automatisch mit der Vorlage abgeglichen. Weicht eine Stelle ab, wird sie an der Aufnahme geprüft und die Referenz an das tatsächlich Gesagte angepasst oder die Stelle neu aufgenommen. Die endgültige Referenz wird so anhand der Aufnahme geprüft und vor dem ersten Anbieterlauf eingefroren. Alle Läufe verwenden diese eine Fassung. Maßstab ist immer die hörbare Aufnahme.

Bewertet wird automatisch nach festen Regeln, ohne Sprachmodell. Wortnahe Ausgaben werden Wort für Wort mit der Referenz abgeglichen. Bei Dokumenten mit freiem Wortlaut richtet ein regelbasierter Textabgleich Ausgabe und Referenz Absatz für Absatz und Satz für Satz aneinander aus. Verglichen werden Wortstämme statt Wortformen. Zahlwörter, Ziffern und Abkürzungen werden vereinheitlicht, inhaltstragende Begriffe wiegen stärker als allgemeine Wörter. Damit lassen sich Angaben auch zuordnen, wenn sie anders formuliert, an eine andere Stelle verschoben, auf mehrere Sätze verteilt oder in einem Satz zusammengefasst sind. Werte, Einheiten, Verneinungen samt ihrer Reichweite, Seitenangaben, Zeitbezüge und Personen werden anschließend einzeln geprüft. Aussagen ohne Grundlage in der Aufnahme zählen als unbelegt. Grenzfälle, etwa ob eine Umformulierung zulässig ist, entscheidet eine fachliche Prüfung an der Aufnahme. Diese Entscheidungen werden festgehalten und bei jeder erneuten Auswertung gleich angewendet. Dieselbe Ausgabe ergibt deshalb immer dasselbe Ergebnis.

Unklare Zuordnungen werden anhand der Aufnahme und der festgelegten Rubrik fachlich geprüft. Die Entscheidung gilt für alle Anbieter gleich. Unverständliche Stellen erhalten eine Markierung und zählen nicht als Fehler. Schweregrade werden nur in Testreihen mit eigener Schweregrad-Rubrik bewertet, also bei medizinischen und juristischen Aufgaben. Die Schwereklasse jeder Referenzangabe wird zusammen mit der Referenz festgelegt.

Normalisierungs- und Abgleichregeln werden vor dem ersten Anbieterlauf eingefroren und an Varianten mit bekannter Bewertung geprüft, darunter zulässige Umformulierungen und gezielt verfälschte Angaben. So kann keine Regel nachträglich zugunsten eines Anbieters ausfallen, dessen Ergebnis schon bekannt ist. Rohtexte bleiben erhalten. Zulässige Schreibvarianten werden vereinheitlicht, Bedeutungsfehler bleiben Fehler. Kein Anbieter erhält eine Optimierung für einzelne Testfälle. Eine neue Produktversion erfordert einen neuen, gekennzeichneten Lauf.

Testzeiträume und Testfälle

ScribeIndex testet über reguläre Kundenkonten. Jede Messung erfasst die Leistung unter den Bedingungen des getesteten Zugangs. Verwendete Produktversion, Einstellungen und Verarbeitungszeiten sind je Lauf dokumentiert.

Für aussagekräftige Vergleiche über mehrere Testzeiträume bleiben Aufnahmen, Sprechvorlagen und Referenzen intern. Lägen sie offen, ließe sich ein System gezielt auf genau diese Fälle abstimmen, und spätere Läufe ließen sich an Stimmen, Fallgruppen und Wortschatz wiedererkennen und bevorzugt bedienen, etwa mit stärkeren Modellen oder mehr Rechenleistung. Testzeiträume erscheinen als Quartal, um die Zuordnung einzelner Läufe zu bestimmten Kundenkonten zu erschweren. Bei laufenden Quartalen grenzt das Veröffentlichungsdatum den Zeitraum zusätzlich ein.

Aus den veröffentlichten Zählern, Nennern und Formeln lassen sich Quoten und Scores nachrechnen. Korpusbeschreibungen mit Strata und Fallzahlen, Testkonfigurationen und Prüfsummen dokumentieren die Grundlage der Messungen.

Wissenschaftliche Einrichtungen, akkreditierte Prüfstellen und öffentlich bestellte Sachverständige erhalten Aufnahmen, Referenzen und Auswertungsprotokolle auf Anfrage unter Vertraulichkeitsvereinbarung und können jede Auswertung unabhängig nachprüfen.

Zu jedem Korpus veröffentlicht ScribeIndex drei SHA-256-Prüfsummen. Die erste gilt dem Manifest, also der Liste aller Aufnahmen mit ihren Metadaten. Die zweite gilt der Referenz, die dritte der Ziehungsliste des Bootstraps. Eine Prüfsumme wirkt wie ein digitaler Fingerabdruck. Sie verrät nichts über den Inhalt, identifiziert die Daten aber eindeutig. Ändert sich auch nur ein einziges Zeichen in einer Datei, entsteht eine völlig andere Prüfsumme.

Jede veröffentlichte Messung ist so fest an einen dokumentierten Stand der Aufnahmen, Referenzen und Stichproben gebunden. Wer die Testdaten einsieht, etwa eine akkreditierte Prüfstelle, kann mit den Prüfsummen feststellen, ob sie seit der Veröffentlichung unverändert sind. Ein ausgetauschter Fall oder eine geänderte Referenz fiele dabei auf.

Zugang zu eingebundenen Systemen

Die Redaktion kauft Tarife und Lizenzen selbst oder nutzt Zugänge, die Praxen, Kliniken und Pflegeeinrichtungen aus dem Umfeld von ScribeIndex bereitstellen. Dienste innerhalb einer Praxis-, Pflege- oder Kliniksoftware, individuell eingerichtete Systeme und langfristige Lizenzverträge testet ScribeIndex über eine Einrichtung, die das Produkt bereits nutzt. Sobald ein solcher Zugang besteht, läuft die Testreihe, und der Modellabgleich folgt mit der ersten Messung. Bis dahin bietet das Anbieterprofil die recherchierten Produkt-, Datenschutz- und Technikangaben, und die Testseite nennt die Voraussetzung für eine Messung. Testzugang unter regulären Nutzungsbedingungen

Wiederholung und Unsicherheit

Jeder Fall läuft dreimal je System, bei Meetings, Anamnesegesprächen und Live-Untertiteln zweimal. Veröffentlicht wird das gepoolte Ergebnis aller abgeschlossenen Läufe, nicht der beste Lauf. Ausgewertet wird automatisch anhand der eingefrorenen Referenz und der festgehaltenen Entscheidungen zu Grenzfällen, für alle Dienste nach denselben Regeln.

Ein gepaarter Cluster-Bootstrap liefert die Konfidenzintervalle für den Score, die Hauptkennzahl der Inhaltsqualität (Wortfehlerrate oder Fakten-F1), die übrigen Fehlerraten je Wort, Zeichen oder Sprechzeit einschließlich DER, Zeit- und Mengenwerte und die Nacharbeit. Gezogen werden ganze Szenarien mit allen Läufen, damit Wörter und Wiederholungen eines Gesprächs nicht als unabhängige Beobachtungen zählen. Alle Anbieter einer Testreihe verwenden dieselben Ziehungen. Je Korpus sind Clustereinheit, Zahl der Ziehungen, Intervallverfahren, Zufallsseed und die Prüfsumme der Ziehungsliste festgehalten (siehe Korpusangaben oben). Zähler werden je Ziehung gepoolt, die Quote wird danach berechnet. Das Verfahren folgt Bisani und Ney (2004), Dror et al. (2018) und Peyrard et al. (2021). Bei der Nacharbeit zeigt das Intervall die Auswahl der Testfälle, nicht die Zeitannahmen der Schätzung.

Anteile aus Zählern, von Fehlerarten über Trefferquoten bis zu schwerwiegenden Fehlern, erhalten bei allen Diensten ein Wilson-Intervall. Je Kennzahl und Testreihe gilt so ein einziges Verfahren. Der Bootstrap liefert bei seltenen Ereignissen entartete Intervalle, zum Beispiel 0,0–0,0 % bei null schwerwiegenden Fehlern. Seine Grenzen hängen außerdem davon ab, auf welchen Aufnahmen die Ereignisse liegen.

Läufe und Einheiten derselben Aufnahme sind nicht unabhängig. Das Intervall nutzt deshalb den effektiven Stichprobenumfang n / DEFF mit dem Designeffekt DEFF = 1 + (m − 1) · ICC (Korn und Graubard 1998). m ist die mittlere Clustergröße des Dienstes, also die Einheiten einer Aufnahme mal seine abgeschlossenen Läufe. Bei schwerwiegenden Fehlern ist die Einheit das Dokument je Lauf, m ist dort die Zahl der Läufe je Aufnahme.

Die Intraklassenkorrelation ICC gibt an, wie stark Fehler innerhalb einer Aufnahme zusammenhängen. Aus den wenigen Ereignissen eines Dienstes lässt sie sich nicht stabil schätzen (Adams et al. 2004). Deshalb gilt je Testreihe und Kennzahl eine gemeinsame ICC aller Dienste (Donner und Klar 1994). Für schwerwiegende Fehler sind die Ereignisse auch in einer ganzen Testreihe zu selten. Ihre ICC gilt gemeinsam für alle Testreihen mit derselben Schweregrad-Rubrik, also für alle medizinischen Testreihen zusammen und für das juristische Diktat allein. Der ANOVA-Schätzer für binäre Daten wird innerhalb jedes Dienstes einer Testreihe angesetzt, über alle zusammengefasst und auf 0 bis 1 begrenzt (Ridout, Demétrio und Firth 1999). Unterschiede zwischen Diensten zählen so nicht als Streuung zwischen Aufnahmen. Der Punktwert eines Dienstes hängt nicht von den übrigen Diensten ab. Bei gleichem Nenner aus denselben Aufnahmen liegen beide Wilson-Grenzen eines Dienstes mit weniger Ereignissen nie über denen eines Dienstes mit mehr.

Stammen die Ereignisse oder Nicht-Ereignisse aller Dienste zusammen aus weniger als fünf Dienst-Aufnahme-Paaren, bei schwerwiegenden Fehlern über alle Testreihen der Rubrik aus weniger als zehn, gilt ICC = 1, und jede Aufnahme zählt einmal (Killip, Mahfoud und Pearce 2004). Auf den Testseiten steht das Verfahren am Intervall.

Für den ScribeIndex-Score wird in jeder Bootstrap-Ziehung der vollständige Score mit den Gewichten des Bewertungsmodells neu berechnet. Daraus entsteht sein 95-%-Intervall. Alle Dienste einer Testreihe nutzen dieselben Ziehungen über die Aufnahmen. Die Differenz der Scores je Ziehung ergibt deshalb auch ein Intervall für den Abstand zweier Dienste (Gillick und Cox 1989). Bei seltenen schwerwiegenden Fehlern, also weniger als fünf Ereignissen oder solchen aus weniger als fünf Aufnahmen, liefert der Bootstrap für ihren Anteil kaum Streuung. In jeder Ziehung stammt dieser Anteil dann je Dienst aus einer Beta-Verteilung (Jeffreys) mit n / DEFF und demselben Designeffekt wie an der Kennzahl. Differenzen in diesem Teilwert sind nicht gepaart. Bei null oder wenigen schwerwiegenden Fehlern reicht das Score-Intervall vor allem nach unten, weil eine Stichprobe dieser Größe seltene Fehler übersehen haben kann. Liegt der Anteil nahe an der Bezugsgröße, bei der dieser Teilwert null erreicht, reicht es vor allem nach oben. Das Score-Intervall und das Intervall des Abstands gelten für den jeweiligen Korpus und das veröffentlichte Bewertungsmodell. Sie stehen auf den Testseiten und in den Direktvergleichen neben dem Score.

Ranglisten und Direktvergleiche ordnen nach dem ScribeIndex-Score. In Tabellen ist je Kennzahl der beste angezeigte Wert hervorgehoben, im Direktvergleich der bessere der beiden. Zeigen mehrere Dienste denselben besten Wert, sind alle hervorgehoben, beim ScribeIndex-Score keiner. Im Direktvergleich gelten Verarbeitungszeit und Zeitversatz erst ab einem Drittel Abstand als besser, die Abschlussquote wird nicht hervorgehoben. Wo eine Kennzahl ein 95-%-Intervall hat, steht es unter dem Wert. Getrennte Intervalle zweier Dienste belegen einen Unterschied, überlappende schließen ihn nicht aus (Schenker und Gentleman 2001). Für den ScribeIndex-Score steht das Intervall der gepaarten Differenz in den Direktvergleichen und in den Datensätzen.

Laufzeit, Ausfälle und Nacharbeit

Verarbeitungszeiten werden mit Start- und Endpunkt veröffentlicht. Bei Live-Diktat beginnt die Messung mit dem Ende des letzten Wortes, bei der Textausarbeitung mit dem Ende des gesprochenen Auftrags, bei Medical Scribes mit dem Beenden der Aufnahme, bei Meetings mit dem Ende der Gesprächserfassung und bei Datei-Uploads mit dem Uploadstart. Bei lokal verarbeiteten Dateien beginnt die Messung mit dem Start der Verarbeitung auf dem Testrechner. Median (p50) und 95. Perzentil (p95) beziehen sich auf erfolgreiche Läufe. Bei Live-Untertiteln beschreiben sie den absoluten Zeitversatz zwischen dem Ende eines Wortes im Ton beim Publikum und der ersten korrekten Anzeige dieses Wortes. Zu frühe und verspätete Anzeigen zählen gleichermaßen. Die Übertragungsverzögerung des Tons wird separat ausgewiesen und fließt nicht in den Score ein.

Alle gestarteten Läufe bilden den Nenner der Abschlussquote. Ein Lauf gilt als abgebrochen, wenn nach der doppelten Aufnahmedauer, mindestens aber 60 Minuten nach dem Startpunkt der Zeitmessung, kein vollständiges Ergebnis vorliegt. Bei Live-Untertiteln gilt er als abgebrochen, wenn 60 Sekunden nach dem ersten für das Publikum hörbaren Wort keine Untertitel erscheinen. Fehlgeschlagene Uploads, Timeouts und leere Ausgaben werden mit Grund protokolliert. Ein abgebrochener Lauf wird nicht wiederholt, auch nicht nach einem Serverfehler, und zählt als Ausfall. So zeigt die Abschlussquote die Zuverlässigkeit, die Nutzer im Alltag erleben. Im Score wiegt sie 5 %. Ausgefallene Läufe gehen nicht in Inhaltsqualität, schwerwiegende Fehler und Nacharbeit ein. Deshalb steht die Abschlussquote auf jeder Testseite zusätzlich als eigene Kennzahl. Nicht messbare Eigenschaften bleiben ohne Wert.

Nacharbeit ist eine Schätzung und keine gestoppte Zeit. ScribeIndex fasst die automatisch gezählten Fehler jeder abgeschlossenen Ausgabe zu Korrekturstellen zusammen und rechnet für jede Stelle die Arbeitsschritte bis zur Zielfassung mit festen Zeiten, die für alle Dienste gleich sind. Nicht enthalten ist die einmalige, vollständige Durchsicht, die auch ein von Hand oder von einem Schreibdienst erstelltes Ergebnis braucht, also bei Dokumenten und Diktaten das Durchlesen, bei wortgetreuen Transkripten das Abhören der Aufnahme und bei Untertiteln das Abspielen mit den Untertiteln. Diese Durchsicht fällt mit und ohne KI gleich an, deshalb zeigt die Nacharbeit nur die Zeit, die die Fehler eines Dienstes zusätzlich kosten. Ein fehlerfreies Ergebnis hat keine Nacharbeit, bei Live-Untertiteln bleibt nur das einmalige Verschieben der Datei. Warte- und Verarbeitungszeit zählen nicht dazu.

Studien, die diese Durchsicht messen oder herausrechnen, zeigen ihre Größe. Für die Nachbearbeitung automatischer Redetranskripte im isländischen Parlament sagt eine Regression der Bearbeitungszeit auf die Editierdistanz selbst bei fehlerfreier Erkennung das 2,56-Fache der Audiodauer voraus. Bei 12,6 % Editierdistanz wäre die Nachbearbeitung je Wort so schnell gewesen wie die der bisher von Hand erstellten Transkripte, erst darunter schneller (Fong et al. 2018). In einer Vergleichsstudie mit deutschen Interviews brauchte auch das von einer erfahrenen Schreibkraft getippte Transkript eine Durchsicht von 3:10 Minuten je 3 Minuten Audio, also etwa die Länge der Aufnahme (Wollin-Giering et al. 2024). Zählte die Nacharbeit diese Durchsicht mit, sähen Dienste mit wenigen und mit vielen Fehlern fast gleich aus, obwohl sie sich gerade darin unterscheiden.

Die Zielfassung ist je Aufgabe vorab festgelegt und für alle Dienste gleich. Ein Dokument gibt die dokumentationsrelevanten Inhalte korrekt wieder, ein wortnahes Transkript den gesprochenen Wortlaut und ein Diktat den gemeinten Text, in dem alle gesprochenen Anweisungen umgesetzt sind. Bei KI-überarbeiteter Ausgabe bleiben zulässige Umformulierungen stehen, korrigiert werden falsch erkannte und inhaltlich veränderte Wörter. Untertitel halten zusätzlich die Timing- und Lesbarkeitsvorgaben ein. Stil wird nicht nachbearbeitet. Die Qualitätswerte wie Fakten-F1, Wortfehler und schwerwiegende Fehler beziehen sich immer auf die ursprüngliche Ausgabe des Dienstes, nicht auf das korrigierte Ergebnis. Die Nacharbeit eines Dienstes in einer Testreihe ist die Summe der geschätzten Minuten aller abgeschlossenen Ausgaben, geteilt durch die Summe ihrer Audiostunden. Angezeigt wird sie je Testfall, also je Diktat, Sitzung oder Video, zusammen mit der durchschnittlichen Aufnahmedauer der Testreihe. Für den Score gilt der Wert je 60 Minuten Aufnahme, damit kurze und lange Aufnahmen vergleichbar bleiben.

Fehler, zwischen denen höchstens zwei richtige Wörter liegen, bilden eine Korrekturstelle, denn sie werden in einem Zug geprüft und korrigiert. Ein falsch erkanntes Medikament zählt in den Kennzahlen als Wortfehler, fehlender Fakt und Medikationsfehler, korrigiert wird es einmal. Bei Untertiteln ist jeder Untertitel mit Wortfehlern eine Stelle. Liegen zwischen Fehlern über eine Untertitelgrenze hinweg höchstens zwei richtige Wörter, bilden sie zusammen eine Stelle. In erstellten Dokumenten bilden aufeinanderfolgende fehlende Angaben eine Lücke. Eine unbelegte Aussage, die eine Referenzangabe verfälscht, ist mit dieser Angabe eine Stelle. Hinzugefügte und nicht relevante Aussagen werden gelöscht. Fehlerarten wie Medikation, Verneinung oder Zuordnung, Detailangaben und schwerwiegende Fehler erzeugen keine eigene Nacharbeit. Diese Fehler stehen in eigenen Kennzahlen und werden an der Stelle des betroffenen Worts oder der betroffenen Angabe korrigiert.

Wortgetreue Transkripte und Untertitel werden beim Abhören korrigiert. Für jede Stelle rechnet die Schätzung mit Anhalten, Zurückspringen, Nachhören mit kurzem Vorlauf, Entscheiden, Setzen des Cursors, Ändern und Weiterspielen. Liegen weitere Stellen dicht daneben, dauert das Nachhören länger, weil gehäufte Fehler auf eine schwer verständliche Passage zeigen. Ist eine Passage so fehlerhaft, dass Neuschreiben schneller geht, wird sie im Tempo des Abtippens neu geschrieben. Falsch zugeordnete Sprechzeit wird abschnittsweise richtiggestellt. Jeder Abschnitt kostet das Erkennen der Stimme und das Umbenennen der Kennung, eine falsche Grenze zusätzlich das Teilen des Absatzes. Liegt der Abschnitt an einer Wortstelle, kostet er keine eigene Unterbrechung der Wiedergabe. Fehlen die Sprecherkennungen ganz, gilt das für jeden Sprecherwechsel. Verpasste und fälschlich erkannte Sprache zählt schon über die Wortfehler.

Bei Untertiteln für Videodateien kommen Timing und Lesbarkeit hinzu. Falsch getimte Untertitel werden einzeln korrigiert. Wird das teurer als die Neuanlage aller Zeiten, rechnet die Schätzung mit der Neuanlage, und die bis dahin verlorene Zeit zählt wie beim Neuanfang mit. Ein Untertitel mit zu vielen oder zu langen Zeilen oder zu hoher Lesegeschwindigkeit lässt sich mit einem anderen Zeilenumbruch allein nicht beheben. Er wird geteilt und bekommt eine neue Grenze. Hat er weder einen Wort- noch einen Timingfehler, kostet das eine eigene Unterbrechung der Wiedergabe. Bei Live-Untertiteln wird die exportierte Untertiteldatei bis zum Zielprofil der Videodateien korrigiert. Dafür wird die ganze Datei einmal um den Median der Verzögerung verschoben, danach folgt das Timing je Untertitel wie bei Videodateien. Eine gleichmäßige Verzögerung ändert die Nacharbeit deshalb nicht. Je stärker die Verzögerung um den Median schwankt, desto mehr Untertitel brauchen danach eine eigene Timingkorrektur. Rechtzeitigkeit und Stabilität der Anzeige gehen in die Inhaltsqualität ein, nicht in die Nacharbeit. Ein falsches Wort zählt einmal, als Stelle seines Untertitels in der Datei.

Diktate und erstellte Dokumente werden gelesen, nachgehört wird nur, wo das Gedächtnis nicht reicht. Wer selbst gesprochen hat, braucht nach der Schätzung die Aufnahme an jeder fünften Stelle. Das gilt für Diktate, Textausarbeitung und selbst gesprochene Pflegeeinträge. Wer beim Gespräch dabei war, braucht sie an jeder zweiten Stelle. Das gilt für Arztgespräche, Psychotherapie, Anamnese, das pflegerische Aufnahmegespräch und Meetings. In Diktaten verdoppelt sich dieser Anteil an Stellen, die eine Angabe verfälschen, im medizinischen Diktat also an jedem betroffenen Referenzfakt, im allgemeinen an Namen und Zahlen und im juristischen an Parteien, Beträgen, Fristen und Normzitaten. In erstellten Dokumenten verdoppelt er sich an verfälschten Angaben, in Meetings auch an falschen Zuständigkeiten und Fristen. Bei Gesprächen werden verfälschte Angaben damit immer nachgeprüft, bei Meetings zuerst im Transkript.

Die Stelle in der Aufnahme wird gefunden, indem sich der Suchbereich nach jeder Hörprobe halbiert. Bei Diktaten folgt der Text der Reihenfolge der Aufnahme, die Suche beginnt deshalb an der anteiligen Stelle. In erstellten Dokumenten ohne Zeitmarken umfasst die Suche die ganze Aufnahme. Verlinkt ein Produkt jede Aussage mit ihrer Stelle in der Aufnahme, führt ein Klick zur Belegstelle, eine fehlende Angabe wird zwischen den verlinkten Nachbaraussagen gesucht. Mit Kapitelmarken beginnt die Suche im Kapitel. Danach folgen das Hören der Belegstelle und das Schreiben der fehlenden Wörter im Tempo der Bezugsgröße. Ein fehlender Fakt kostet deshalb ein Vielfaches der Zeit eines einzelnen falsch erkannten Wortes. Ein fehlender Pflichtabschnitt kostet das Einfügen der Überschrift, ein nicht aufgelöster Widerspruch die Prüfung beider Angaben in der Aufnahme und eine kurze Klarstellung.

Bei Meetings werden fehlende Angaben, Beschlüsse und Aufgaben zuerst im eigenen Transkript gesucht. Stehen die Suchwörter dort richtig, genügt das Lesen der Stelle im Transkript statt des Hörens. Sonst folgt die Suche in der Aufnahme, und die erfolglose Suche im Transkript zählt mit. Für eine Zuständigkeit muss im Transkript zusätzlich die Sprecherkennung stimmen. Jede gefundene Aufgabe mit falscher oder erfundener Zuständigkeit oder Frist ist eine Korrekturstelle. Transkript-WER und DER erzeugen keine eigene Nacharbeit, korrigiert wird das Protokoll.

Bei Diktaten kostet ein verschluckter Diktatbefehl, also ein fehlendes Satzzeichen oder ein fehlender Absatz, eine Entscheidung und einen Tastendruck. Stehen gebliebene Befehlswörter sind Einfügungen. Im allgemeinen Diktat werden sie wie Wortfehler korrigiert. Im medizinischen und juristischen Diktat und in selbst gesprochenen Pflegeeinträgen werden sie gelöscht, und die Gliederung wird gesetzt. Wie Selbstkorrekturen und Bearbeitungsanweisungen zählen, beschreiben die Methodik des medizinischen Diktats und die Methodik der Diktiersoftware. In der Nacharbeit kostet jede nicht umgesetzte Anweisung einen eigenen Posten und keine zusätzliche Wortstelle. Bei KI-überarbeiteten Diktaten kosten zulässige Umformulierungen nichts, korrigiert werden verbliebene Erkennungsfehler und inhaltlich veränderte Angaben. Bei der Textausarbeitung kostet eine nicht umgesetzte Anweisung das Neufassen einer Angabe von im Mittel rund 20 Wörtern, wie eine Lücke ohne Blick in die Aufnahme.

Die Nacharbeit hat keine Obergrenze. Kostet die Korrektur mehr als das Selbstschreiben, rechnet die Schätzung mit einem Neuanfang nach einem Zehntel der Arbeit aus Korrektur und Durchsicht, und die bis dahin verlorene Zeit zählt mit. Nahe dieser Grenze ist die Entscheidung unscharf, die Schätzung gewichtet dann beide Wege. Die Nacharbeit kann deshalb über der Bezugsgröße liegen, der Teilwert Korrekturaufwand ist dann 0. Je dichter Fehler liegen, desto mehr Fehler teilen sich eine Korrekturstelle. Die Zeit je Fehler sinkt dann, die Nacharbeit insgesamt steigt weiter.

Die Zeiten der Bedienschritte stammen aus dem Keystroke-Level-Modell (Card, Moran und Newell 1980), das Tipptempo aus Dhakal et al. (2018) und das Abtipptempo fremder Aufnahmen aus Wollin-Giering et al. (2024). Die Abfolge der Schritte, die Hördauern und das Suchverfahren hat ScribeIndex festgelegt. Für ein wortgetreues Transkript mit 17,4 % WER ergibt die Schätzung ohne die Durchsicht das 2,6-Fache der Aufnahmedauer. Sponholz et al. (2025) messen in ihrem Arbeitsablauf bei derselben WER das 2,31-Fache mit einmaligem Abhören, abzüglich dieses Abhörens rund das 1,3-Fache. Die Schätzung rechnet für jede Stelle Anhalten, Zurückspringen und Korrigieren bis zur Zielfassung. Die Studie misst einen eigenen Arbeitsablauf mit anderen Schritten.

Preise stehen mit Tarifbedingungen, Abrechnungseinheit und Prüfdatum beim Anbieter.

Vergleichsskalen

Neben jeder Kennzahl zeigt ein Punktstreifen alle Anbieter derselben Testreihe. Besser liegt immer rechts, auch wenn die Zahl dabei kleiner wird, etwa bei Fehlerquoten oder Nacharbeit. Der große, umrandete Punkt ist der betrachtete Anbieter, graue Punkte sind die übrigen Anbieter, der senkrechte Strich markiert den Median. Die Punkte tragen keine Wertungsfarbe.

Wer auf einer Skala steht

Eine Skala enthält nur Ergebnisse mit gleicher Kategorie und Aufgabe, gleichem Protokoll, gleichem Korpus mit identischer Manifest- und Referenzprüfsumme, gleicher Bewertungsrubrik, gleicher Auswertungs- und Normalisierungsversion und derselben Bootstrap-Ziehungsliste. Die WER eines sprachlich überarbeiteten Diktats steht nicht auf einer Skala mit der WER eines wortnahen Transkripts. Gibt es nur einen Messwert, entsteht keine Skala.

Verarbeitungszeiten hängen vom Testweg ab. Ein Live-Diktat und ein Datei-Upload starten die Uhr an verschiedenen Punkten. Start- und Endpunkt stehen deshalb an jedem Zeitwert. Die Verarbeitungszeit geht nicht in den Score und nicht in die Rangfolge ein. Bei Live-Untertiteln zählt dagegen der Anteil rechtzeitig angezeigter Wörter zur Inhaltsqualität.

Position, Median und gleiche Werte

Die Position folgt linear aus der Spannweite der Testreihe. In den Formeln steht x für den Messwert des Anbieters.

Der Median ist der mittlere der sortierten Anbieterwerte, bei gerader Anzahl das Mittel der beiden mittleren. Er ist nicht nach Audiodauer gewichtet. Bei identischen Werten aller Anbieter liegen alle Punkte in der Mitte.

Die Position ordnet einen Wert in diesem Teilnehmerfeld ein. Sie ist kein Perzentilrang und keine absolute Qualitätsgrenze. Bei enger Spannweite kann ein großer Abstand zwischen zwei Punkten einem kleinen Zahlenunterschied entsprechen. Neue Ergebnisse verschieben die Endpunkte und damit alle Positionen. Wie genau ein Wert gemessen ist, zeigt sein 95-%-Intervall.

Alternativen je Anbieter

Die Alternativen zu einem Anbieter stehen auf einer eigenen Seite je Profil. Sie umfassen alle Dienste derselben Kategorie, geordnet nach Punkten. Dieselbe Aufgabe bringt 1 Punkt, dieselbe Haupttestreihe 0,5 Punkte und gemeinsame Fachbereiche 0,5 Punkte. Die Arbeitsweise zählt ebenfalls. Bietet die Alternative eine Arbeitsweise des Anbieters ebenfalls an, also Direktaufnahme oder Datei-Upload, bringt das 0,4 Punkte, und bis zu 0,1 Punkte mehr, wenn sie alle seine Arbeitsweisen abdeckt. Ein Live-Diktat erhält so bevorzugt Alternativen mit Direktaufnahme, ein Upload-Dienst solche mit Datei-Upload. Danach ordnen Funktionsnähe (bis 0,45 Punkte), gemeinsame Aufnahmewege wie Diktat oder Meeting-Bot (bis 0,15 Punkte) und die Stellung im Teilnehmerfeld gemeinsamer Testreihen (bis 0,6 Punkte, außerhalb der Haupttestreihe zur Hälfte).

Technikrecherche

Für jede Verarbeitungsstufe, von der Spracherkennung über Sprecherzuordnung, Dokumenterstellung und Zusatzfunktionen bis zur Infrastruktur, erfasst ScribeIndex alle bekannten Modelle. Ein Dienst kann je Stufe mehrere Modelle einsetzen, etwa nach Sprache, Region, Tarif oder Funktion. ScribeIndex geht dafür Dokumentation, Trust Center, Verträge und Unterauftragsverarbeiterlisten durch und liest nicht mehr hinein, als dort steht. Neben Herstellerangaben und Tests prüft ScribeIndex, soweit möglich, die Technik des Anbieters, etwa öffentliche Repositories, den ausgelieferten Code der Weboberfläche, DNS-Einträge und die Infrastruktur. Steht etwa OpenAI in der Unterauftragsverarbeiterliste, ist damit noch nicht belegt, welches Modell Ihre Notiz schreibt. Eine optionale Chatfunktion sagt nichts über die Standarddokumentation, und eine Modellfamilie wie GPT ist noch keine Version.

• Belegt heißt, der Hersteller oder ein offizieller Partner nennt Modell oder Familie samt Verwendungszweck, etwa in Dokumentation, Trust Center, Verträgen oder Unterauftragsverarbeiterlisten.
• Technisch ermittelt heißt, ScribeIndex hat das Modell bei dieser Prüfung der Technik bestimmt. Der Anbieter nennt es nicht, die Begründung steht am Modell. In der Bewertung zählt ein technisch ermitteltes Modell wie ein belegtes, es bleibt aber eigens gekennzeichnet.
• Eine Einschätzung leitet ScribeIndex aus Unterauftragsverarbeitern, Stellenanzeigen, technischen Vorträgen, Sprachabdeckung, Latenzverhalten oder Partnerschaften ab. Jede Einschätzung nennt Begründung, Quellen und Beweislage. Die Beweislage reicht von starken Indizien (mehrere unabhängige, eindeutige Hinweise) über mehrere Indizien bis zu einem einzelnen Indiz.
• Nicht offengelegt bedeutet, dass es keine belastbaren Hinweise gibt. Dann zählt allein der Modellabgleich. „Nicht offengelegt“ und das Abgleichergebnis „Keine eindeutige Zuordnung“ sind verschiedene Befunde.

Modellabgleich

Viele Anbieter nennen die eingesetzten Modelle nicht. Der Modellabgleich prüft, welchem bekannten Modell die Ausgaben eines Dienstes am stärksten ähneln. Dafür laufen eigene Prüfeingaben durch den Dienst und durch Referenzmodelle, und ScribeIndex vergleicht die Ausgaben mit den typischen Mustern jedes Modells. Der Abgleich ergänzt die Technikrecherche und ersetzt keine Herstellerangabe. Je Dienst und Stufe umfasst er 58 bis 126 Prüfeingaben.

Spracherkennung. Kurze Aufnahmen mit seltenen Fachbegriffen, Zahlenfolgen, Pausen, Rauschen und Sprachwechseln laufen durch den Dienst und durch 11 Referenzmodelle. Das sind AssemblyAI Universal, Deepgram Nova, ElevenLabs Scribe, Speechmatics, Soniox, Google Chirp, Gemini (Audio), Azure AI Speech, Whisper, OpenAI Transcribe und NVIDIA Parakeet. Eine Referenz steht für die Produktlinie eines Anbieters, nicht für eine Version, weil der Abgleich Fehler- und Formatierungsprofile erkennt, keine Versionsnummern. Verglichen werden Fehlermuster, Zahlen- und Zeichensetzung, das Verhalten bei Stille und typische Fehlerkennungen.

Sprachmodelle. Standardisierte, patientenfreie Prüfgespräche enthalten Merkmale, auf die Modellfamilien unterschiedlich reagieren. Sie betreffen Formatierung, widersprüchliche Angaben, Wissensgrenzen und Längenverhalten. Paraphrasierte Varianten prüfen, ob ein Muster an einer Formulierung hängt. Selbstauskünfte wie „Ich bin Modell X“ zählen nicht. Referenzen sind die GPT-Familie, Claude-Familie, Gemini-Familie, Llama-Familie, Mistral-Familie und Nemotron-Familie.

Zuordnung. Entfallen mindestens 60 % der Prüfeingaben auf eine Referenz, lautet das Ergebnis „Modell zugeordnet“. Die Referenz wird dann mit den Modelleinträgen des Dienstes verglichen. Sie passt zur Herstellerangabe oder zum technisch ermittelten Modell, passt zu einer Einschätzung aus Angaben des Anbieters oder Dritter oder weicht davon ab. Bei 40 bis unter 60 % lautet das Ergebnis „Kandidaten eingegrenzt“. Das Profil nennt die ähnlichsten Referenzen mit ihren Anteilen und gibt an, ob sie zu einem genannten oder vermuteten Modell gehören. Das ist ein Hinweis, keine Zuordnung. Erreicht keine Referenz 40 %, ergibt der Abgleich „Keine eindeutige Zuordnung“. Das ist bei Eigenentwicklungen, bei Modellen ohne eigene Referenz im Abgleich und bei stark angepassten Modellen zu erwarten.

Validierung. Merkmale und Schwelle werden auf einem Entwicklungssatz festgelegt und auf einem getrennten Prüfsatz mit bekannten Modellen und fremden Kontrollmodellen geprüft. Bewertet werden Konfusionsmatrix, Präzision und Recall je Kandidat, Macro-F1 und die Falschzuordnungsrate für Modelle außerhalb des Referenzraums. Ein Anteil von 70 % heißt dabei nicht, dass der Dienst mit 70 % Wahrscheinlichkeit dieses Modell nutzt. Er zeigt, welcher Anteil der Prüfeingaben dieser Referenz am stärksten ähnelt.

Das Ergebnis ist ein begründeter Hinweis auf die Herkunft, kein Beweis. Systemanweisungen, Vorlagen, Nachbearbeitung, Fine-Tuning, Quantisierung und Modellrouting verändern die Ausgabe. Die Übersicht SoK: Large Language Model Copyright Auditing via Fingerprinting untersucht, wie robust solche Fingerprints sind. Ihre Ergebnisse lassen sich nicht ungeprüft auf geschlossene Scribe-Produkte übertragen.

Datenschutzprüfung

Viele Anbieter werben mit DSGVO-Konformität. Daraus geht aber noch nicht hervor, wo Aufnahmen gespeichert und verarbeitet werden, welche Unterauftragsverarbeiter beteiligt sind und ob Inhalte in das Training von Modellen fließen. Diese Angaben stehen häufig im Auftragsverarbeitungsvertrag oder in der Liste der Unterauftragsverarbeiter. ScribeIndex wertet deshalb für jeden Dienst die öffentlich verfügbaren Unterlagen aus, von der Datenschutzerklärung über den Auftragsverarbeitungsvertrag samt Anlagen und die Liste der Unterauftragsverarbeiter bis zu Trust Center und Compliance-Seiten.

Speicherort und Verarbeitungsort stehen getrennt, denn ein Dienst kann Daten in der EU speichern und die Spracherkennung trotzdem in den USA laufen lassen. Ebenso getrennt erfasst sind Modelltraining mit Kundendaten, lokale Verarbeitung und Zertifikate. Zusatzfunktionen, die Daten an weitere Dienstleister geben, werden eigens ausgewiesen. Fehlt eine Angabe, steht im Profil „Keine Angabe“. ScribeIndex füllt die Lücke nicht wohlwollend auf. Jede Angabe trägt Quelle und Prüfdatum.

Die Profile geben wieder, was Anbieter dokumentieren, und die Datenschutzseite jedes Anbieters nennt die Schritte, die vor dem Einsatz noch offen sind. Ob der Einsatz in Ihrer Einrichtung zulässig ist, entscheidet Ihre eigene datenschutzrechtliche Prüfung. Die Profile nehmen Ihnen dafür die Recherche ab, nicht das Urteil. Den rechtlichen Rahmen erklärt der Artikel Rechtsrahmen für KI-Dokumentation.

Literatur

• Bisani, M., Ney, H. (2004): Bootstrap estimates for confidence intervals in ASR performance evaluation. ICASSP 2004. Grundlage des Cluster-Bootstraps über Szenarien.
• Gillick, L., Cox, S. J. (1989): Some statistical issues in the comparison of speech recognition algorithms. ICASSP 1989. Gepaarter Vergleich zweier Systeme auf denselben Daten, Grundlage der Scoredifferenz.
• Schenker, N., Gentleman, J. F. (2001): On judging the significance of differences by examining the overlap between confidence intervals. The American Statistician 55(3). Getrennte Intervalle als konservatives Kriterium.
• Morris, A. C., Maier, V., Green, P. (2004): From WER and RIL to MER and WIL. Interspeech 2004. Alternativen zur WER für Transkriptvergleiche.
• Watanabe, S. et al. (2020): CHiME-6 Challenge: Tackling Multispeaker Speech Recognition for Unsegmented Recordings. Definition der cpWER.
• Ryant, N. et al. (2019): The Second DIHARD Diarization Challenge. DER ohne Toleranz und Jaccard Error Rate (JER) für die Sprecherzuordnung.
• Yim, W. et al. (2023): ACI-Bench. Scientific Data 10. Benchmark für Visit Notes aus Arzt-Patienten-Gesprächen, Englisch.
• Ben Abacha, A. et al. (2023): An Empirical Study of Clinical Note Generation from Doctor-Patient Encounters. EACL 2023, MTS-Dialog-Datensatz.
• Dror, R. et al. (2018): The Hitchhiker’s Guide to Testing Statistical Significance in NLP. ACL 2018.
• Koenecke, A. et al. (2024): Careless Whisper: Speech-to-Text Hallucination Harms. ACM FAccT 2024. Erfundene Textpassagen in Whisper-Transkripten, Grundlage des Modellabzugs.
• Barański, M. et al. (2025): Investigation of Whisper ASR Hallucinations Induced by Non-Speech Audio. ICASSP 2025. Erfundene Ausgaben von Whisper large-v3 bei Eingaben ohne Sprache.
• Korn, E. L., Graubard, B. I. (1998): Confidence intervals for proportions with small expected number of positive counts estimated from survey data. Survey Methodology 24(2). Effektiver Stichprobenumfang bei seltenen Ereignissen in Clustern.
• Ridout, M. S., Demétrio, C. G. B., Firth, D. (1999): Estimating intraclass correlation for binary data. Biometrics 55(1), 137–148. Schätzer der Intraklassenkorrelation für binäre Daten, darunter der ANOVA-Schätzer.
• Adams, G., Gulliford, M. C., Ukoumunne, O. C., Eldridge, S., Chinn, S., Campbell, M. J. (2004): Patterns of intra-cluster correlation from primary care research to inform study design and analysis. Journal of Clinical Epidemiology 57(8), 785–794. ICC-Schätzungen derselben Größe streuen zwischen Datensätzen stark, Grundlage der gemeinsamen ICC je Testreihe.
• Donner, A., Klar, N. (1994): Methods for comparing event rates in intervention studies when the unit of allocation is a cluster. American Journal of Epidemiology 140(3), 279–289. Vergleich von Ereignisraten geclusterter Gruppen mit gemeinsamer Intraklassenkorrelation. Ausführlich in Donner, A., Klar, N. (2000): Design and Analysis of Cluster Randomization Trials in Health Research. Arnold, London, ISBN 978-0-340-69153-3.
• Killip, S., Mahfoud, Z., Pearce, K. (2004): What Is an Intracluster Correlation Coefficient? Crucial Concepts for Primary Care Researchers. Annals of Family Medicine 2(3), 204–208. Designeffekt und effektiver Stichprobenumfang bei geclusterten Daten.
• Fong, J. Y., Borsky, M., Helgadóttir, I. R., Gudnason, J. (2018): Manual Post-editing of Automatically Transcribed Speeches from the Icelandic Parliament – Althingi. Eingereicht bei IEEE SLT 2018. Nachbearbeitungszeit in Abhängigkeit von der Editierdistanz, mit einem Regressionswert in Höhe des 2,56-Fachen der Audiodauer bei null Editierdistanz. Grundlage dafür, die einmalige Durchsicht nicht zur Nacharbeit zu zählen.
• Wollin-Giering, S., Hoffmann, M., Höfting, J., Ventzke, C. (2024): Automatic Transcription of English and German Qualitative Interviews. Forum Qualitative Sozialforschung 25(1), Art. 8. Manuelle und werkzeuggestützte Transkription mit getrennt gemessener Durchsicht.
• Sponholz, J., Weilinghoff, A., Schopf, J. (2025): Halving transcription time: A fast, user-friendly and GDPR-compliant workflow to create AI-assisted transcripts for content analysis. arXiv:2503.13031. Gemessene Korrekturzeit KI-gestützter Transkripte von zwölf deutschen Interviews, Plausibilitätsvergleich für die geschätzte Nacharbeit wortgetreuer Transkripte.
• Hodgson, T., Coiera, E. (2016): Risks and benefits of speech recognition for clinical documentation: a systematic review. JAMIA 23(e1). Editier- und Durchlaufzeiten von Spracherkennung gegenüber Diktat mit Schreibdienst.
• Card, S. K., Moran, T. P., Newell, A. (1980): The Keystroke-Level Model for User Performance Time with Interactive Systems. Communications of the ACM 23(7), 396–410. Bedienzeiten für Zeigen, Klicken, Handwechsel und Entscheiden, Grundlage der Zeiten je Arbeitsschritt in der geschätzten Nacharbeit.
• Dhakal, V., Feit, A. M., Kristensson, P. O., Oulasvirta, A. (2018): Observations on Typing from 136 Million Keystrokes. CHI 2018. Mittlere Tippgeschwindigkeit von 51,6 Wörtern je Minute bei 168.000 Personen, Grundlage der Bezugsgrößen für Diktate, Pflegeeinträge und Textausarbeitung und der Tippzeit je Wort in der geschätzten Nacharbeit.
• Vogel, M., Kaisers, W., Wassmuth, R., Mayatepek, E. (2015): Analysis of Documentation Speed Using Web-Based Medical Speech Recognition Technology: Randomized Controlled Trial. Journal of Medical Internet Research 17(11), e247. 173 Zeichen je Minute mit der Tastatur, einschließlich Eingabe, Korrektur und Abschluss. Grundlage der Bezugsgrößen für Arztgespräche, Psychotherapie, Anamnese, Meetings und das pflegerische Aufnahmegespräch.
• Lukac, P. J. et al. (2025): Ambient AI Scribes in Clinical Practice: A Randomized Trial. NEJM AI 2(12). Zeit in der Notiz je Termin vor und nach Einführung zweier KI-Scribes, Vergleichswert zur Bezugsgröße für Arztgespräche.
• Brysbaert, M. (2019): How many words do we read per minute? A review and meta-analysis of reading rate. Journal of Memory and Language 109, 104047. Stilles Lesen von Sachtexten im Mittel mit 238 Wörtern je Minute. Grundlage der Lesezeit bei 230 Wörtern je Minute, die ScribeIndex von den Bezugsgrößen für Arztgespräche, Psychotherapie, Anamnese, Meetings und das pflegerische Aufnahmegespräch abzieht.
• Peyrard, M. et al. (2021): Better than Average: Paired Evaluation of NLP Systems. ACL 2021. Gepaarte Auswertung mehrerer Systeme auf denselben Testfällen.

ACI-Bench und MTS-Dialog bewerten englische Notizen überwiegend mit ROUGE, BERTScore und ähnlichen Textähnlichkeitsmaßen. ScribeIndex misst stattdessen erhaltene und falsche Fakten gegen eine annotierte Referenz, weil Textähnlichkeit eine fehlende Verneinung kaum bestraft.

Aktualisierung und Korrekturen

Produktdaten, Preise und Datenschutzangaben werden fortlaufend geprüft, mindestens einmal pro Quartal. Testreihen werden neu gemessen, wenn ein Korpus erweitert wird oder ein Anbieter eine neue Produkt- oder Modellversion veröffentlicht, Letzteres solange ein regulärer Zugang zum Dienst besteht. Bis zur neuen Messung gilt ein Ergebnis für die Version aus dem angegebenen Testquartal. Jede Ergebniszeile in den Datensätzen nennt Korpus, Testzeitraum und Bewertungsmodell, mit denen sie entstanden ist.

Testquartal und Quellenabruf sind getrennte Angaben. „Abgerufen am“ nennt den Abruf der jeweiligen Quelle. Der Stand einer Seite nennt ihre jüngste inhaltliche Änderung und liegt nie vor dem jüngsten Abruf der Quellen, die sie nennt. Seiten mit Testergebnissen tragen mindestens das Datum der jüngsten Änderung dieser Ergebnisse.

Alle veröffentlichten Scores verwenden Bewertungsmodell 2.2.

Hinweise auf veraltete oder falsche Angaben können Sie über die Kontaktadresse im Impressum senden, auch als Anbieter. ScribeIndex prüft jeden Hinweis und vermerkt jede Korrektur mit Datum. Auf Testablauf und Bewertung haben Anbieter keinen Einfluss.