Diese Seite ist ein Nachschlagewerk, keine Lektüre in einer Reihe. Sie wird aus jedem Benchmark- und Werkstattartikel verlinkt und beantwortet die Frage, der jede Zahl auf dieser Website standhalten muss: Wie kommt sie zustande?
Ausschließlich maschinelle Bewertung
Kein Sprachmodell und kein Mensch bewertet hier ein Ergebnis. Jede Aufgabe hat eine Scoring-Funktion, die aus der Antwort des Modells eine Zahl macht – deterministisch, wiederholbar, unabhängig von der Tagesform eines Judges.
Der Preis dafür ist Reichweite: Aufgaben, die sich nicht maschinell bewerten lassen, kommen nicht in die Suite. Das ist beabsichtigt.
Aufgaben und ihre Kennungen
Jede Aufgabe trägt eine Kennung (M01, M02, A01, …), unter der sie über alle
Bereiche hinweg auffindbar ist – siehe Aufgaben.
Scores sind innerhalb einer Aufgabe vergleichbar, nicht quer über Aufgaben hinweg: Ein 0,91 bei A2 ist etwas anderes als ein 0,91 bei B1.
Trennschärfe
Eine Aufgabe, bei der alle Modelle gleich abschneiden, misst nichts – auch wenn die Bewertung sauber ist. Solche Items fliegen aus der Suite, unabhängig davon, ob sie inhaltlich korrekt sind.
Versionen
Jede Aufgabe hat eine eigene Aufgabenversion, eine einfache Zahl. Sie steigt, sobald sich Aufgabenstellung, Referenzdaten oder Scoring der Aufgabe ändern.
Alle Aufgaben zusammen bilden die Benchmark-Version, geschrieben als Jahr und
laufende Nummer in diesem Jahr, etwa 2026.1. Sie legt fest, welche Aufgaben in
welcher Aufgabenversion zur Suite gehören.
Zahlen aus unterschiedlichen Versionen sind nicht direkt vergleichbar. Deshalb steht die Benchmark-Version in jedem Artikel, der Zahlen zitiert – und die Aufgabenversion in jedem Artikel, der eine einzelne Aufgabe behandelt.
Läufe
Jeder Lauf bekommt eine Kennung aus Zeitstempel und Modell, etwa
20260825-160808Z-qwen3-1.7b. Im Messstand-Kasten über jedem Artikel steht, in
welchem Zeitraum die Messungen entstanden sind, aus denen er seine Zahlen zieht.
Was diese Methodik nicht leistet
Die deutschen Textaufgaben basieren auf kuratierten, teils künstlich erzeugten Daten. Sie ersetzen keinen Test auf den eigenen Inhalten – sie zeigen, welche Aufgabenklasse ein Modell überhaupt trägt.
Tipps zum Selber-Laufen-lassen
Du brauchst uv (öffnet in neuem Tab) und einen lokalen OpenAI-kompatiblen Server, etwa llama-server (idealerweise zusammen mit llama-swap), Ollama oder LM Studio. Wie du den einrichtest, steht in Ein lokaler KI-Chatbot in fünf Minuten.
git clone https://github.com/stefanfis/german-seo-bench
cd german-seo-bench
uv run inspect eval german_seo_bench/m01_titles --model local/<modellname>
uv run inspect view
Für ein Ergebnis wie in der Tabelle: dreimal laufen lassen, dann zusammenfassen.
uv run python -m german_seo_bench.report logs --glob '*m01-titles*' --out auswertung