{
 "schemaVersion": "1.0",
 "name": "ScribeIndex Testergebnisse: SyncWords",
 "license": {
  "name": "CC BY 4.0",
  "url": "https://creativecommons.org/licenses/by/4.0/deed.de"
 },
 "citation": "ScribeIndex (2026): Testergebnisse SyncWords. https://scribeindex.com/anbieter/syncwords/test/",
 "corpora": [
  {
   "id": "de-live-untertitel-v1",
   "version": "1.0",
   "title": "Deutsche Live-Untertitel",
   "category": "untertitel",
   "task": "live-subtitles",
   "protocol": "1.0",
   "description": "Dreißig deutschsprachige Aufnahmen aus Vortrag, Webinar, Podiumsdiskussion und Pressekonferenz, in Echtzeit eingespielt. Bewertet werden der endgültige Untertiteltext, nachträgliche Änderungen der Anzeige und der Zeitversatz je Wort zum Ton beim Publikum. Die Übertragungsverzögerung wird separat erfasst und zählt nicht. Übersetzung gehört nicht dazu.",
   "sourceScenarioCount": 30,
   "scenarioCount": 30,
   "runs": 2,
   "exclusions": [],
   "strata": [
    {
     "dimension": "Format",
     "groups": [
      {
       "label": "Vortrag",
       "count": 10
      },
      {
       "label": "Webinar",
       "count": 8
      },
      {
       "label": "Podiumsdiskussion",
       "count": 7
      },
      {
       "label": "Pressekonferenz",
       "count": 5
      }
     ]
    },
    {
     "dimension": "Aussprache",
     "groups": [
      {
       "label": "Standarddeutsch",
       "count": 16
      },
      {
       "label": "Regional (Deutschland)",
       "count": 6
      },
      {
       "label": "Österreichisch",
       "count": 4
      },
      {
       "label": "Schweizerisch gefärbt",
       "count": 4
      }
     ]
    },
    {
     "dimension": "Einspielung",
     "groups": [
      {
       "label": "Echtzeit über virtuellen Audioeingang",
       "count": 30
      }
     ]
    }
   ],
   "speakers": {
    "min": 1,
    "max": 5
   },
   "durationSeconds": {
    "min": 480,
    "max": 5340,
    "median": 1740,
    "total": 63840
   },
   "audioFormats": [
    {
     "codec": "PCM 24 Bit (WAV)",
     "sampleRateHertz": 48000,
     "channels": 1
    }
   ],
   "reference": {
    "version": "1.0",
    "words": 149654,
    "characters": 969307,
    "charactersPerWord": 6.477,
    "facts": null,
    "units": [
     {
      "key": "liveWords",
      "label": "Referenzwörter mit Zeitgrenze",
      "count": 149654
     }
    ]
   },
   "annotation": {
    "independentAnnotations": 1,
    "adjudication": "Der Wortlaut entsteht als Sprechvorlage vor der Aufnahme, die Zeitgrenzen erst an der Aufnahme. Nach der Aufnahme wird die Vorlage automatisch mit dem Gesprochenen abgeglichen, abweichende Stellen werden an der Aufnahme geprüft und die Referenz vor den Anbieterdurchläufen eingefroren.",
    "rubric": null
   },
   "scorer": {
    "name": "scribeindex-live-subtitles",
    "version": "1.0"
   },
   "normalization": {
    "id": "de-subtitle-wer",
    "version": "1.0"
   },
   "manifestSha256": "82acc1a0ff5f8f62ab47815747ab1a96383fb705780eb9597c1d3c51a6b044aa",
   "referenceSha256": "12f7090789671983e962a05c01cb6abb03849e6536dc9afde6de15f11454f43b",
   "uncertainty": {
    "method": "paired-cluster-bootstrap",
    "clusterUnit": "scenario",
    "resamples": 2000,
    "seed": 3355895643,
    "intervalMethod": "percentile",
    "aggregation": "pooled-counts",
    "pairedSampleManifestSha256": "0f26e97bd0626cfdf95f5dee7a05315be56e31165714a518399326f79379755a"
   },
   "frozen": "2026-Q2",
   "testPeriod": "2026-Q2/2026-Q3",
   "methodUrl": "https://scribeindex.com/methodik/untertitel/"
  }
 ],
 "results": [
  {
   "id": "syncwords/untertitel:live-subtitles",
   "provider": "syncwords",
   "providerName": "SyncWords",
   "test": "untertitel:live-subtitles",
   "label": "Live-Untertitel",
   "category": "untertitel",
   "task": "live-subtitles",
   "url": "https://scribeindex.com/anbieter/syncwords/test/#live",
   "rankingUrl": "https://scribeindex.com/vergleich/untertitel/live/",
   "testPeriod": "2026-Q2",
   "protocol": "1.0",
   "corpus": "de-live-untertitel-v1",
   "scenarios": 30,
   "runs": 2,
   "completed": 60,
   "total": 60,
   "completionRatePercent": 100,
   "evaluation": {
    "output": "live-subtitles",
    "semanticRubric": null,
    "wordErrorRate": {
     "applicability": "word-aligned",
     "basis": "delivered-output",
     "explanation": "WER wird aus dem endgültigen Stand der angezeigten Untertitel gegen die normalisierte Referenz berechnet. Zwischenstände der Anzeige gehen in die Stabilität ein, nicht in die WER."
    }
   },
   "score": {
    "version": "2.2",
    "value": 62.4766,
    "ci95": [
     60.9,
     64.2
    ],
    "ci95Method": "paired-cluster-bootstrap",
    "pairedDifferences": [
     {
      "provider": "ai-media",
      "ci95": [
       -10.11,
       -7.02
      ]
     },
     {
      "provider": "wordly",
      "ci95": [
       7.02,
       11.33
      ]
     },
     {
      "provider": "interprefy",
      "ci95": [
       -0.32,
       3.32
      ]
     },
     {
      "provider": "clevercast",
      "ci95": [
       -3.95,
       0.88
      ]
     },
     {
      "provider": "maestra",
      "ci95": [
       12.8,
       16.12
      ]
     }
    ],
    "rank": 3,
    "cohortSize": 6,
    "criticalRatePercent": null,
    "contentQuality": 89.666,
    "references": {
     "key": "live-subtitles",
     "qualityErrorPoints": 30,
     "correctionMinutes": 276,
     "criticalPercent": null
    },
    "components": [
     {
      "key": "quality",
      "label": "Inhaltsqualität",
      "value": 65.553,
      "weight": 0.75,
      "contribution": 49.164
     },
     {
      "key": "effort",
      "label": "Korrekturaufwand",
      "value": 41.561,
      "weight": 0.2,
      "contribution": 8.312
     },
     {
      "key": "reliability",
      "label": "Abschlussquote",
      "value": 100,
      "weight": 0.05,
      "contribution": 5
     }
    ]
   },
   "mainMetric": {
    "label": "Wortfehlerrate",
    "abbreviation": "WER",
    "value": 8.239,
    "direction": "lower",
    "ci95": [
     7.56,
     8.91
    ]
   },
   "transcription": {
    "referenceWords": 299308,
    "substitutions": 12542,
    "deletions": 6698,
    "insertions": 5420,
    "errors": 24660,
    "werPercent": 8.239,
    "ci95": [
     7.56,
     8.91
    ],
    "comparable": true
   },
   "facts": null,
   "latency": {
    "p50Seconds": 1.1,
    "p95Seconds": 2.2,
    "mode": "live-stream",
    "start": "Wortende im Ton beim Publikum",
    "end": "Erste Anzeige des Wortes in endgültiger Form"
   },
   "correction": {
    "minutesPerAudioHour": 161.2914,
    "ci95": [
     153.72,
     168.46
    ],
    "estimate": {
     "outputs": 60,
     "audioSeconds": 127620,
     "minutes": 5717.94,
     "ci": [
      153.72,
      168.46
     ],
     "audioHours": 35.451
    }
   },
   "additionalMetrics": [
    {
     "key": "cer",
     "label": "Zeichenfehlerrate · CER",
     "numerator": 64268,
     "denominator": 1938614,
     "valuePercent": 3.315,
     "direction": "lower",
     "definition": "Zeichenabweichungen pro Referenzzeichen nach NFC-Normalisierung, einheitlicher Groß- und Kleinschreibung, entfernten Satzzeichen und zu einem Leerzeichen zusammengefasstem Leerraum. Leerzeichen zählen als Zeichen.",
     "ci95": [
      3.05,
      3.58
     ],
     "ci95Method": "cluster-bootstrap-percentile",
     "designEffect": null
    },
    {
     "key": "live-caption-timeliness",
     "label": "Rechtzeitig angezeigte Wörter",
     "numerator": 273224,
     "denominator": 299308,
     "valuePercent": 91.285,
     "direction": "higher",
     "definition": "Referenzwörter, deren endgültige Form höchstens 3 Sekunden vor oder nach dem Wortende im Ton beim Publikum erstmals angezeigt wird, pro Referenzwort. Fehlende und falsch erkannte Wörter zählen als nicht rechtzeitig.",
     "ci95": [
      90.29,
      92.18
     ],
     "ci95Method": "wilson-design-effect",
     "designEffect": 86.5172
    },
    {
     "key": "live-caption-stability",
     "label": "Stabil angezeigte Wörter",
     "numerator": 245428,
     "denominator": 299308,
     "valuePercent": 81.998,
     "direction": "higher",
     "definition": "Referenzwörter, die ab ihrer ersten Anzeige unverändert in endgültiger Form stehen, pro Referenzwort. Vorher anders angezeigte, später umgeschriebene oder entfernte sowie fehlende und falsch erkannte Wörter zählen als nicht stabil.",
     "ci95": [
      80.53,
      83.38
     ],
     "ci95Method": "wilson-design-effect",
     "designEffect": 106.8291
    }
   ],
   "scalarMetrics": [
    {
     "key": "live-audio-delay",
     "label": "Mittlere Übertragungsverzögerung",
     "value": 0,
     "unit": "s",
     "direction": "none",
     "definition": "Mittlere Zeit vom Wortende im Eingangston bis zum Wortende im Ton beim Publikum. Gewichtet wird je Referenzwort. Bei unverzögerter Audioausgabe beträgt sie null.",
     "statistic": "mean",
     "sampleSize": 299308,
     "ci": [
      0,
      0
     ]
    }
   ],
   "errorTypes": [
    {
     "label": "Ersetzungen",
     "count": 12542
    },
    {
     "label": "Auslassungen",
     "count": 6698
    },
    {
     "label": "Einfügungen",
     "count": 5420
    }
   ],
   "failedRuns": [],
   "configuration": {
    "locale": "de-DE",
    "automaticLanguageDetection": false,
    "productVersion": "SyncWords Events, Browser-Widget mit Speechmatics, Stand 2. Quartal 2026",
    "modelVersions": null,
    "template": null,
    "instruction": {
     "id": "si-instr-live-subtitles",
     "version": "1.0"
    },
    "customVocabulary": null,
    "settings": {
     "language": "Deutsch",
     "translation": false,
     "customVocabularyEntries": 0,
     "humanCorrection": false,
     "capture": "Ereignisprotokoll der angezeigten Untertitel",
     "inputPath": "Echtzeit-RTMP mit virtuellem Audioeingang",
     "display": "Deutsche Originaluntertitel im Events-Browser-Widget",
     "asrEngine": "Speechmatics",
     "fillerFilter": false,
     "profanityFilter": false,
     "diarization": true,
     "punctuationSensitivity": "0,5 (mittlere Stufe)",
     "additionalVideoDelaySeconds": 0,
     "transcriptStorage": true,
     "export": "WebVTT"
    },
    "scorer": {
     "name": "scribeindex-live-subtitles",
     "version": "1.0"
    },
    "normalization": {
     "id": "de-subtitle-wer",
     "version": "1.0"
    }
   },
   "corpusMetadata": {
    "version": "1.0",
    "manifestSha256": "82acc1a0ff5f8f62ab47815747ab1a96383fb705780eb9597c1d3c51a6b044aa",
    "referenceVersion": "1.0",
    "referenceSha256": "12f7090789671983e962a05c01cb6abb03849e6536dc9afde6de15f11454f43b",
    "sourceScenarioCount": 30,
    "evaluatedScenarioCount": 30,
    "totalAudioSeconds": 63840,
    "durationSeconds": {
     "minimum": 480,
     "maximum": 5340
    },
    "audioFormats": [
     {
      "codec": "PCM 24 Bit (WAV)",
      "sampleRateHertz": 48000,
      "channels": 1
     }
    ],
    "conversions": [
     {
      "description": "Einspielung der Aufnahme in Echtzeit als Audioquelle der Live-Sitzung über einen virtuellen Audioeingang mit −20 dBFS RMS",
      "tool": "scribeindex-playback",
      "version": "1.0"
     }
    ],
    "exclusions": []
   },
   "uncertainty": {
    "confidenceLevel": 0.95,
    "method": "paired-cluster-bootstrap",
    "clusterUnit": "scenario",
    "clusterCount": 30,
    "resamples": 2000,
    "seed": 3355895643,
    "intervalMethod": "percentile",
    "aggregation": "pooled-counts",
    "pairedSampleManifestSha256": "0f26e97bd0626cfdf95f5dee7a05315be56e31165714a518399326f79379755a"
   }
  }
 ]
}