So prüft ScribeIndex Meetingnotizen und Gesprächsprotokolle

Ein Meetingassistent erzeugt aus einer Besprechung ein Transkript, eine Zusammenfassung oder ein Aufgabenprotokoll. Geprüft wird vor allem, ob Aussagen, Beschlüsse und Zuständigkeiten korrekt und durch die Aufnahme belegt sind.

Testprotokoll 1.0. Das Protokoll gilt für Gesprächsaufzeichnungen und daraus erzeugte Protokolle.

Drei Produkte in einer Anwendung

ScribeIndex prüft Transkription, Sprecherzuordnung und generiertes Protokoll als getrennte Ausgabearten. Ein Dienst kann gute Zusammenfassungen und schwache Worterkennung liefern oder umgekehrt. Die WER eines Transkripts ist deshalb keine Genauigkeitsangabe für die gesamte Meeting-Anwendung.

Bei Zusammenfassungen richtet sich der Versuchsaufbau danach, welche Information gebraucht wird. QMSum untersucht beispielsweise die Auswahl relevanter Gesprächspassagen für konkrete Zusammenfassungsfragen. Der Originalbenchmark dient als methodische Anregung, getestet wird auf dem eigenen deutschsprachigen Korpus.

Sitzungen mit kontrollierten Herausforderungen

Der Meetingkorpus umfasst Projektgespräche, Interviews, Kundentermine, Teamabstimmungen und fachliche Diskussionen. Korpusgröße und Versionierung folgen den gemeinsamen Grundlagen.

Die Aufnahmebedingungen werden nach Sprecherzahl, Dauer, Standardsprache und regionaler Aussprache, Mikrofontyp, Geräuschpegel und Überlappung dokumentiert. Einige Szenarien enthalten bewusst ähnlich klingende Namen, kurzfristige Planänderungen, Zahlen, Termine und vorläufige Zusagen. Kurzantworten wie „ja“ oder „mache ich“ erhalten ihren Kontext aus der Aufnahme.

Mikrofontyp, Abstand und Störgeräusche stecken in den Korpusaufnahmen selbst. Alle kompatiblen Systeme erhalten dieselbe Korpusdatei digital. Getestet wird der Weg, den der Hersteller als Hauptweg beschreibt. Dienste, deren Hauptweg der Datei-Upload ist oder die Aufnahme und Upload gleichrangig anbieten, bekommen genau diese Datei. Bei Live-Mitschnitten läuft die Aufnahme als Videokonferenz, in der virtuelle Teilnehmende sie in Echtzeit einspielen. Meeting-Bots treten dieser Konferenz bei. Desktop-Dienste ohne Bot schneiden dieselbe Konferenz auf einem Testrechner mit. Dort kommen die übrigen Teilnehmenden als Systemaudio an, der Mikrofonkanal trägt den Sprechanteil der Person am Testrechner. Diese Person ist je Besprechung vorab festgelegt und nicht nach ihrem Sprechanteil gewählt. Live-Teilnahme und Dateiupload sind getrennte Messstrecken für die Verarbeitungszeit. Zeiten werden nur innerhalb derselben Messstrecke verglichen. Die Qualität vergleicht ScribeIndex dagegen gemeinsam, weil alle Dienste dieselbe Korpusdatei erhalten.

Jeder Dienst erhält die vorab festgelegte ScribeIndex-Vorlage, wenn der getestete Zugang frei bearbeitbare Vorlagen erlaubt. Sonst läuft er mit der Standardvorlage des Herstellers. Die verwendete Vorlage steht in der Testkonfiguration. Zugelassene Zusatzinformationen wie Teilnehmerlisten bleiben identisch.

Referenztranskript und Sprecherzeiten

Das nach dem gemeinsamen Referenzstandard geprüfte Transkript enthält zusätzlich Zeitintervalle und anonyme Sprecherkennungen. Namen werden nur zugeordnet, soweit Teilnehmerinformationen oder das Gespräch eine belastbare Zuordnung erlauben. Unklare Sprechersegmente erhalten eigene Markierungen.

Liegt ein Transkript vor, weist ScribeIndex die Transkript-WER aus. Für die Sprecherzuordnung wird die DER ausgewertet. Sie erfasst fehlende Sprache, fälschlich erkannte Sprache und falsch zugeordnete Sprecherzeit, bezogen auf die ausgewertete Referenzsprecherzeit. Die NIST Rich-Transcription-Reihe unterscheidet solche Aufgaben ausdrücklich von bloßer Worterkennung.

Sprechersegmente mit Zeitmarken gehen direkt in die DER ein. Liefert ein Dienst Sprecherkennungen ohne eigene Zeitmarken, bestimmt ScribeIndex die Zeitmarken durch erzwungene Ausrichtung (Forced Alignment) des gelieferten Texts an der Aufnahme. Die DER berechnet ScribeIndex daraus wie bei allen anderen Diensten, mit verpasster und fälschlich erkannter Sprache und Fehlern an Segmentgrenzen. Namen aus der Konferenz-App, Kanalkennungen wie Mikrofon und Systemaudio und anonyme Kennungen werden vor der Auswertung den Referenzsprechern bestmöglich zugeordnet. Teilen sich mehrere Personen eine Kennung, zählt die Sprechzeit aller außer der zugeordneten Person als Verwechslung.

Das DER-Profil verwendet eine dokumentierte Toleranz von 250 Millisekunden um Referenzgrenzen sowie eine zusätzliche Auswertung ohne diese Toleranz. 250 Millisekunden entsprechen der Konvention der NIST-Auswertung (md-eval). Die DIHARD-Challenge wertet ohne Toleranz, deshalb steht die strenge Variante zusätzlich da. Überlappende Sprache wird eingeschlossen. Scorer-Version, bewertete Zeitbereiche und Einstellungen werden mitveröffentlicht. Der offizielle md-eval-Code macht relevante Optionen überprüfbar.

Entscheidungen und Aufgaben als überprüfbare Einheiten

Einheit	Referenzfelder	Häufige Fehlerquelle
Fakt	Aussage, Quelle, Zeitpunkt	Vorbehalt wird zur Gewissheit
Entscheidung	Beschluss, Geltungsbereich, Status	Vorschlag wird zum Beschluss
Aufgabe	Tätigkeit, verantwortliche Person, Frist	Zuständigkeit wird geraten
Offene Frage	Thema, offener Status	Unsicherheit verschwindet
Korrektur	Ersetzte und endgültige Angabe	Veraltete Zusage bleibt erhalten

Korrigiert sich jemand in der Besprechung, enthält die Referenz nur die endgültige Angabe. Übernimmt ein Dienst die verworfene Angabe, zählt sie als falsche Aussage und die endgültige als fehlend. Hinweise an das Protokoll werden an ihrer Wirkung im Protokoll gemessen.

Eine Aufgabe wird als Tupel aus Tätigkeit, Verantwortlichem und Termin geprüft. Eine nicht genannte Person oder Frist bleibt „nicht genannt“. Sie darf nicht aus einer wahrscheinlichen Arbeitsverteilung ergänzt werden. Aufgabenexistenz, Zuständigkeit und Termin erhalten eigene Trefferquoten. Zusätzlich zählt ScribeIndex vollständig korrekte Tupel. So wird sichtbar, ob ein Anbieter zwar die Aufgabe findet, aber der falschen Person zuweist.

Fakten werden nach den gemeinsamen Matching- und Zählregeln mit Präzision, Recall und F1 ausgewertet. Für Beschlüsse steht zusätzlich der Anteil korrekt erfasster Referenzbeschlüsse daneben. Ein korrekt zusammengefasster Sachstand gleicht keine falsche Aufgabenverteilung aus.

Der erlaubte Zusammenfassungsumfang wird vorab festgelegt, damit Kürze nicht automatisch als Auslassung zählt. Falsche Aussagen, relevante Auslassungen und irrelevante Ergänzungen bleiben getrennt. Eine 2025 veröffentlichte Fehleranalyse zu Meeting-Zusammenfassungen unterstreicht, weshalb reine Lesbarkeit kein ausreichender Prüfpunkt ist.

Statistik und Nacharbeit

Die gemeinsame gepaarte Auswertung gilt auf Ebene der vollständigen Besprechung.

Die Nacharbeit wird für jede abgeschlossene Ausgabe aus den automatisch gezählten Fehlern geschätzt, mit denselben Zeiten für alle Dienste. Zielfassung ist ein Protokoll, das Entscheidungen von Vorschlägen trennt und Aufgaben samt ausdrücklich genannten Zuständigkeiten und Fristen richtig wiedergibt. Die Schätzung rechnet mit einer Person, die an der Besprechung teilgenommen hat. Die Person schlägt an jeder zweiten Korrekturstelle nach, bei verfälschten Angaben, falschen Zuständigkeiten und Fristen immer. Fehlende Angaben, Beschlüsse und Aufgaben sucht sie zuerst im Transkript. Stehen die Suchwörter dort richtig, liest sie die Stelle im Transkript, sonst sucht sie die Stelle in der Aufnahme.

Verlinkt das Produkt jede Aussage mit ihrer Stelle in der Aufnahme, führt ein Klick dorthin, mit Kapitelmarken beginnt die Suche im passenden Kapitel. Für eine Zuständigkeit muss im Transkript auch die Sprecherkennung stimmen. Jede Aufgabe mit falscher oder erfundener Zuständigkeit oder Frist ist eine Korrekturstelle. Transkript-WER und DER erzeugen keine eigene Nacharbeit, korrigiert wird das Protokoll. Das einmalige Durchlesen des Protokolls zählt nicht dazu, weil auch ein von Hand geschriebenes Protokoll es vor dem Versand braucht.

Im Bewertungsmodell 2.2 besteht die Inhaltsqualität im ScribeIndex-Score zu 70 % aus dem Fakten-F1 des Protokolls und zu 30 % aus der Sprecherzuordnung im Transkript, gemessen als 100 minus DER mit 250 ms Toleranz. Die Sprecherzuordnung zählt, weil sich nur mit ihr nachprüfen lässt, wer eine Zusage, einen Einwand oder eine Aufgabe ausgesprochen hat (Sprechererkennung). Enthält eine Ausgabe keine Sprecherkennungen, wertet ScribeIndex sie wie eine Ausgabe mit einem einzigen Sprecher. Die DER ist dann der Anteil der Sprechzeit aller Personen außer der am längsten sprechenden, dazu verpasste und fälschlich erkannte Sprache. Neben dem Wert steht „ohne Sprecherkennungen“. Die Transkript-WER und die DER ohne Toleranz bleiben Zusatzkennzahlen. Der Korrekturteilwert erreicht null Punkte, wenn die geschätzte Korrektur so lange dauert wie das Schreiben des Protokolls von Hand. Den Wert je Audiostunde nennt die Tabelle der Bezugsgrößen.

Die gemeinsamen Regeln zu Laufzeit und Ausfällen umfassen im Meeting-Profil auch fehlgeschlagene Bot-Beitritte und leere Zusammenfassungen.

Bei aufgezeichneten Meetings beginnt die Ergebnislatenz mit dem Ende der Gesprächserfassung und endet beim vollständig verfügbaren Protokoll. Für importierte Dateien beginnt die Messung mit dem Uploadstart. Zeiten werden nur innerhalb derselben Messstrecke verglichen.

Für die Einspielung als Konferenzaudio stammen getrennte Sprecherkanäle aus den ursprünglichen Einzelaufnahmen. Jede entfernt teilnehmende Person ist ein eigener Konferenzteilnehmer mit Anzeigenamen. Bei hybriden Fällen bleibt der gemeinsame Raumanteil als gemeinsame Spur eines Raumteilnehmers erhalten. Meeting-Bots und Desktop-Dienste erhalten damit dieselbe Konferenz. Aus einer Monoaufnahme werden keine Sprecher mit Hilfe der Referenz getrennt. Der Anbieter erhält dieselben gesprochenen Inhalte und dieselben Überlappungen wie in der Korpusmischung.