Worum es hier geht, steht in den Grundlagen: Was ein Benchmark misst – und was nicht.
Was normal aussah
Bei A3 – Fakten-Extraktion – lag granite-4.1-8b mit 0,98 deutlich vor qwen3-1.7b
mit 0,88. Ein Zehntel Abstand, konsistent über mehrere Läufe.
Welchen Schluss man daraus gezogen hätte
Das größere Modell extrahiert Fakten zuverlässiger. Plausibel, reproduzierbar – und falsch begründet.
Was tatsächlich los war
Der Runner setzte den erzwungenen JSON-Modus nur dort, wo das Backend ihn meldete. Für das eine Modell war er aktiv, für das andere nicht. Ein Teil des Abstands war reines Parsing: gültige Extraktionen, die am Format scheiterten.
Der Fix
Aufrufparameter gehören zur Messung, nicht zur Umgebung. Sie stehen jetzt je Lauf in der Ergebnisdatei und werden beim Vergleich geprüft; abweichende Konfigurationen brechen den Vergleich ab, statt ihn zu verrechnen.
Was daraus allgemein folgt
Bevor man zwei Zahlen vergleicht, muss belegt sein, dass sie aus demselben Aufruf stammen. Was dazugehört, listet die Methodik.