Wer KI für seine täglichen Aufgaben nutzt, entwickelt mit der Zeit ein Gefühl dafür, welche Modelle sich für welchen Job gut eignen. Doch dieses Gefühl kann trügen und bald schon wünscht man sich zuverlässige Zahlen, um das eigene Gefühl zu eichen, neue Modelle schnell einordnen zu können und um zu sehen, welchen Vorsprung Frontiermodelle haben. Deshalb habe ich den Benchmark german-seo-bench erstellt, der lokal lauffähige Modelle für typische deutschsprachige SEO-Aufgabenstellungen testen soll.

Ergebnisse ohne Reasoning
Ergebnisse mit Reasoning

Der Benchmark besteht aus einer Reihe von derzeit fünf einzelnen Tests, die allesamt über das etablierte Benchmark-Framework InspectAI implementiert wurden. Wie genau bewertet wird und warum ausschließlich maschinell, beschreibe ich in Methodik. Die Inhalte der Einzelbenchmarks sowie deren Ergebnisse findest du auf den Unterseiten.

Matrix ohne Reasoning
Matrix mit Reasoning

Der Benchmark-Code ist unter eine freien Lizenz (MIT) auf GitHub verfügbar: german-seo-bench⁠ (öffnet in neuem Tab)

Eigene Messungen, Vorschläge zur Verbesserung, Fehlerhinweise usw. sind natürlich herzlich willkommen.

Die größte Herausforderung beim Bau der Benchmarks war es, Aufgaben zu finden, die für die besseren der lokalen Modelle schwierig genug sind. Das ist noch nicht richtig gelungen und in kommenden Versionen werde ich vor allem darauf achten, den Schwierigkeitsgrad zu erhöhen.

Ein wichtiger Hinweis zu allen Modellvergleichen: Modell ist nicht gleich Modell! Die benutzte Quantisierung, das erlaubte Reasoningbudget, die Sampling-Einstellungen und die Kontextgröße können für ein und dasselbe Modell völlig unterschiedliche Ergebnisse ergeben.

Stefans Newsletter über Lokale-KI-Workflows