{
 "schemaVersion": "1.0",
 "name": "ScribeIndex Testergebnisse: f4",
 "license": {
  "name": "CC BY 4.0",
  "url": "https://creativecommons.org/licenses/by/4.0/deed.de"
 },
 "citation": "ScribeIndex (2026): Testergebnisse f4. https://scribeindex.com/anbieter/f4/test/",
 "corpora": [
  {
   "id": "de-audio-v1",
   "version": "1.0",
   "title": "Allgemeine deutschsprachige Audioaufnahmen",
   "category": "audio-transkription",
   "protocol": "1.0",
   "description": "Interviews, Vorträge mit Fragerunde, Gruppengespräche sowie Telefon- und Remoteaufnahmen mit zwei bis vier Personen, in Standardsprache und regionalen Varianten aus Deutschland, Österreich und der Schweiz.",
   "sourceScenarioCount": 46,
   "scenarioCount": 44,
   "runs": 3,
   "exclusions": [
    {
     "scenarioId": "audio-038",
     "reason": "Eine mitwirkende Person widerrief die Einwilligung zur Nutzung der Aufnahme."
    },
    {
     "scenarioId": "audio-041",
     "reason": "Referenz enthielt mehr als 5 % unverständliche Passagen."
    }
   ],
   "strata": [
    {
     "dimension": "Aufnahmeart",
     "groups": [
      {
       "label": "Interview",
       "count": 16
      },
      {
       "label": "Vortrag mit Fragerunde",
       "count": 9
      },
      {
       "label": "Gruppengespräch",
       "count": 8
      },
      {
       "label": "Telefon oder Remote",
       "count": 11
      }
     ]
    },
    {
     "dimension": "Aussprache",
     "groups": [
      {
       "label": "Standarddeutsch",
       "count": 22
      },
      {
       "label": "Regional (Deutschland)",
       "count": 9
      },
      {
       "label": "Österreichisch",
       "count": 5
      },
      {
       "label": "Schweizerisch gefärbt",
       "count": 4
      },
      {
       "label": "Nicht muttersprachlich",
       "count": 4
      }
     ]
    },
    {
     "dimension": "Aufnahmequalität",
     "groups": [
      {
       "label": "Nahmikrofon, ruhig",
       "count": 17
      },
      {
       "label": "Telefon- oder Konferenzqualität",
       "count": 11
      },
      {
       "label": "Hintergrundlärm",
       "count": 8
      },
      {
       "label": "Raumhall",
       "count": 8
      }
     ]
    }
   ],
   "speakers": {
    "min": 2,
    "max": 4
   },
   "durationSeconds": {
    "min": 360,
    "max": 5280,
    "median": 1440,
    "total": 79500
   },
   "audioFormats": [
    {
     "codec": "FLAC",
     "sampleRateHertz": 48000,
     "channels": 1
    },
    {
     "codec": "AAC-LC (M4A)",
     "sampleRateHertz": 44100,
     "channels": 1
    },
    {
     "codec": "Opus (WebM)",
     "sampleRateHertz": 48000,
     "channels": 1
    },
    {
     "codec": "PCM 24 Bit (WAV)",
     "sampleRateHertz": 48000,
     "channels": 2
    },
    {
     "codec": "G.711 A-law (WAV)",
     "sampleRateHertz": 8000,
     "channels": 1
    }
   ],
   "reference": {
    "version": "1.0",
    "words": 187746,
    "characters": 1202936,
    "charactersPerWord": 6.407,
    "facts": null,
    "units": [
     {
      "key": "speechCentiseconds",
      "label": "Referenzsprechzeit",
      "count": 7466548
     }
    ]
   },
   "annotation": {
    "independentAnnotations": 1,
    "adjudication": "Wortlaut und Sprecherwechsel entstehen als Sprechvorlage vor der Aufnahme. Der automatische Abgleich mit dem Gesprochenen ergibt die zeitlichen Sprechersegmente. Unverständliche Stellen werden markiert und vom Wortvergleich ausgenommen.",
    "rubric": null
   },
   "scorer": {
    "name": "scribeindex-eval",
    "version": "1.0"
   },
   "normalization": {
    "id": "de-allg-wer",
    "version": "1.0"
   },
   "manifestSha256": "3bfaff5fa8338156ad4c6bef800ed2cec7c625802242a9f638e07991384aeffc",
   "referenceSha256": "903e4e0cc118b16f9d63c460d4f5845b497a1f1d276c2c82b9a2294b542018b4",
   "uncertainty": {
    "method": "paired-cluster-bootstrap",
    "clusterUnit": "scenario",
    "resamples": 2000,
    "seed": 1146018123,
    "intervalMethod": "percentile",
    "aggregation": "pooled-counts",
    "pairedSampleManifestSha256": "f8a6a79fd7ce74ec952adb5978dd20f46986d1fd5dc8a1502862be03c2f8e886"
   },
   "frozen": "2026-Q2",
   "testPeriod": "2026-Q2/2026-Q3",
   "methodUrl": "https://scribeindex.com/methodik/audio-transkription/"
  }
 ],
 "results": [
  {
   "id": "f4/audio-transkription",
   "provider": "f4",
   "providerName": "f4",
   "test": "audio-transkription",
   "label": "Audiotranskription",
   "category": "audio-transkription",
   "url": "https://scribeindex.com/anbieter/f4/test/#audio-transkription",
   "rankingUrl": "https://scribeindex.com/vergleich/audio-transkription/",
   "testPeriod": "2026-Q2",
   "protocol": "1.0",
   "corpus": "de-audio-v1",
   "scenarios": 44,
   "runs": 3,
   "completed": 132,
   "total": 132,
   "completionRatePercent": 100,
   "evaluation": {
    "output": "verbatim-transcript",
    "semanticRubric": null,
    "wordErrorRate": {
     "applicability": "word-aligned",
     "basis": "delivered-output",
     "explanation": "WER wird aus der gelieferten wortnahen Transkriptausgabe gegen die normalisierte Referenz berechnet."
    }
   },
   "score": {
    "version": "2.2",
    "value": 58.2615,
    "ci95": [
     54.2,
     62.2
    ],
    "ci95Method": "paired-cluster-bootstrap",
    "pairedDifferences": [
     {
      "provider": "amberscript",
      "ci95": [
       -9.45,
       -2.64
      ]
     },
     {
      "provider": "happy-scribe",
      "ci95": [
       -10.46,
       -5.01
      ]
     },
     {
      "provider": "turboscribe",
      "ci95": [
       -5.92,
       -0.01
      ]
     },
     {
      "provider": "sonix",
      "ci95": [
       -7.04,
       1.27
      ]
     },
     {
      "provider": "notta",
      "ci95": [
       -1.44,
       6.48
      ]
     },
     {
      "provider": "noscribe",
      "ci95": [
       -7.31,
       0.62
      ]
     },
     {
      "provider": "maxqda-transcription",
      "ci95": [
       -20.4,
       -14.38
      ]
     },
     {
      "provider": "trint",
      "ci95": [
       -4.55,
       2.11
      ]
     }
    ],
    "rank": 8,
    "cohortSize": 9,
    "criticalRatePercent": null,
    "contentQuality": 87.503,
    "references": {
     "key": "audio-transkription",
     "qualityErrorPoints": 30,
     "correctionMinutes": 220,
     "criticalPercent": null
    },
    "components": [
     {
      "key": "quality",
      "label": "Inhaltsqualität",
      "value": 58.344,
      "weight": 0.75,
      "contribution": 43.758
     },
     {
      "key": "effort",
      "label": "Korrekturaufwand",
      "value": 47.518,
      "weight": 0.2,
      "contribution": 9.504
     },
     {
      "key": "reliability",
      "label": "Abschlussquote",
      "value": 100,
      "weight": 0.05,
      "contribution": 5
     }
    ]
   },
   "mainMetric": {
    "label": "Wortfehlerrate",
    "abbreviation": "WER",
    "value": 11.303,
    "direction": "lower",
    "ci95": [
     10.22,
     12.39
    ]
   },
   "transcription": {
    "referenceWords": 563238,
    "substitutions": 35438,
    "deletions": 15957,
    "insertions": 12270,
    "errors": 63665,
    "werPercent": 11.303,
    "ci95": [
     10.22,
     12.39
    ],
    "comparable": true
   },
   "facts": null,
   "latency": {
    "p50Seconds": 347.9,
    "p95Seconds": 1011.8,
    "mode": "file-upload",
    "start": "Uploadstart",
    "end": "Vollständiger Export verfügbar"
   },
   "correction": {
    "minutesPerAudioHour": 115.4614,
    "ci95": [
     105.4,
     125.79
    ],
    "estimate": {
     "outputs": 132,
     "audioSeconds": 238560,
     "minutes": 7651.28,
     "ci": [
      105.4,
      125.79
     ],
     "audioHours": 66.267
    }
   },
   "additionalMetrics": [
    {
     "key": "cer",
     "label": "Zeichenfehlerrate · CER",
     "numerator": 167376,
     "denominator": 3608808,
     "valuePercent": 4.638,
     "direction": "lower",
     "definition": "Zeichenabweichungen pro Referenzzeichen nach NFC-Normalisierung, einheitlicher Groß- und Kleinschreibung, entfernten Satzzeichen und zu einem Leerzeichen zusammengefasstem Leerraum. Leerzeichen zählen als Zeichen.",
     "ci95": [
      4.2,
      5.08
     ],
     "ci95Method": "cluster-bootstrap-percentile",
     "designEffect": null
    },
    {
     "key": "der",
     "label": "Diarisierungsfehlerrate · DER",
     "numerator": 3422986,
     "denominator": 22399644,
     "valuePercent": 15.281,
     "direction": "lower",
     "definition": "Verpasste Sprache, fälschlich erkannte Sprache und falsch zugeordnete Sprecherzeit pro Referenzsprechzeit. Toleranz 250 ms um Referenzgrenzen, überlappende Sprache eingeschlossen. Liefert ein Dienst Sprecherkennungen ohne eigene Zeitmarken, bestimmt ScribeIndex die Zeitmarken durch erzwungene Ausrichtung (Forced Alignment) des gelieferten Texts an der Aufnahme. Die DER berechnet ScribeIndex daraus wie bei allen anderen Diensten, mit verpasster und fälschlich erkannter Sprache und Fehlern an Segmentgrenzen.",
     "ci95": [
      13.72,
      16.85
     ],
     "ci95Method": "cluster-bootstrap-percentile",
     "designEffect": null
    },
    {
     "key": "der-strict",
     "label": "DER ohne Toleranz",
     "numerator": 4874936,
     "denominator": 22399644,
     "valuePercent": 21.763,
     "direction": "lower",
     "definition": "Diarisierungsfehlerrate wie DER, jedoch ohne Toleranzbereich um Referenzgrenzen. Die Differenz zur DER zeigt den Anteil der Fehler an Segmentgrenzen.",
     "ci95": [
      19.57,
      24
     ],
     "ci95Method": "cluster-bootstrap-percentile",
     "designEffect": null
    }
   ],
   "errorTypes": [
    {
     "label": "Ersetzungen",
     "count": 35438
    },
    {
     "label": "Auslassungen",
     "count": 15957
    },
    {
     "label": "Einfügungen",
     "count": 12270
    }
   ],
   "failedRuns": [],
   "configuration": {
    "locale": "de-DE",
    "automaticLanguageDetection": false,
    "productVersion": "Browseroberfläche für automatische Transkription, Stand 2. Quartal 2026",
    "modelVersions": null,
    "template": null,
    "instruction": {
     "id": "si-instr-audio-wortgetreu",
     "version": "1.0"
    },
    "customVocabulary": null,
    "settings": {
     "inputPath": "Dateiupload im Browser",
     "language": "Deutsch",
     "speakerRecognition": true,
     "customVocabularyEntries": 0,
     "transcriptStyle": "Wortgetreu mit Sprecherlabels und Zeitmarken"
    },
    "scorer": {
     "name": "scribeindex-eval",
     "version": "1.0"
    },
    "normalization": {
     "id": "de-allg-wer",
     "version": "1.0"
    }
   },
   "corpusMetadata": {
    "version": "1.0",
    "manifestSha256": "3bfaff5fa8338156ad4c6bef800ed2cec7c625802242a9f638e07991384aeffc",
    "referenceVersion": "1.0",
    "referenceSha256": "903e4e0cc118b16f9d63c460d4f5845b497a1f1d276c2c82b9a2294b542018b4",
    "sourceScenarioCount": 46,
    "evaluatedScenarioCount": 44,
    "totalAudioSeconds": 79500,
    "durationSeconds": {
     "minimum": 360,
     "maximum": 5280
    },
    "audioFormats": [
     {
      "codec": "FLAC",
      "sampleRateHertz": 48000,
      "channels": 1
     },
     {
      "codec": "AAC-LC (M4A)",
      "sampleRateHertz": 44100,
      "channels": 1
     },
     {
      "codec": "Opus (WebM)",
      "sampleRateHertz": 48000,
      "channels": 1
     },
     {
      "codec": "PCM 24 Bit (WAV)",
      "sampleRateHertz": 48000,
      "channels": 2
     },
     {
      "codec": "G.711 A-law (WAV)",
      "sampleRateHertz": 8000,
      "channels": 1
     }
    ],
    "conversions": [
     {
      "description": "FLAC, Opus-WebM und G.711 A-law werden mit FFmpeg zu PCM-WAV mit 24 Bit bei 48 kHz dekodiert. Die ursprüngliche Kanalzahl und der Sprachinhalt bleiben erhalten.",
      "tool": "FFmpeg",
      "version": "7.1.1"
     }
    ],
    "exclusions": [
     {
      "scenarioId": "audio-038",
      "reason": "Eine mitwirkende Person widerrief die Einwilligung zur Nutzung der Aufnahme."
     },
     {
      "scenarioId": "audio-041",
      "reason": "Referenz enthielt mehr als 5 % unverständliche Passagen."
     }
    ]
   },
   "uncertainty": {
    "confidenceLevel": 0.95,
    "method": "paired-cluster-bootstrap",
    "clusterUnit": "scenario",
    "clusterCount": 44,
    "resamples": 2000,
    "seed": 1146018123,
    "intervalMethod": "percentile",
    "aggregation": "pooled-counts",
    "pairedSampleManifestSha256": "f8a6a79fd7ce74ec952adb5978dd20f46986d1fd5dc8a1502862be03c2f8e886"
   }
  }
 ]
}