Die Hardware

Alle lokalen Modelle liefen auf einem handelsüblichen PC mit bereits etwas älterer Hardware:

Bauteil
Grafikkarten 2× NVIDIA RTX 3060 mit je 12 GB, zusammen 24 GB VRAM
Prozessor Ryzen 5 3600
Arbeitsspeicher 32 GB
Betriebssystem Debian GNU/Linux 13
Inferenz llama.cpp (llama-server) Build 10812

Die beiden Karten sind baugleich. llama.cpp verteilt die Schichten eines Modells selbst auf beide. Modelle bis knapp 20 GB passen damit in der Regel vollständig in den Grafikspeicher. Größere Modelle lagern einen Teil in den Arbeitsspeicher aus und werden dadurch deutlich langsamer.

Wie VRAM, Quantisierung und Arbeitsspeicher zusammenspielen, steht in Hardware für lokale KI.

Die Modelle

Modell Anbieter Parameter Quantisierung Dateigröße Generierung
Qwen 3.5 4B Alibaba 4 Mrd. UD-Q4_K_XL 2,8 GB ~75 Tokens/s
Gemma 4 E4B Google 8 Mrd. (4 Mrd. effektiv) Q4_K_M 4,7 GB ~65 Tokens/s
Qwen 3.5 9B Alibaba 9 Mrd. UD-Q4_K_XL 5,6 GB ~50 Tokens/s
Gemma 4 12B Google 12 Mrd. Q5_K_M 7,9 GB ~30 Tokens/s
Gemma 4 26B-A4B Google 26 Mrd., 4 Mrd. aktiv (MoE) UD-Q4_K_M 16 GB ~60 Tokens/s
Qwen 3.8 27B Alibaba 27 Mrd. UD-Q4_K_M 16 GB ~45 Tokens/s
Gemma 4 31B Google 31 Mrd. Q4_K_M 18 GB ~10 Tokens/s
Qwen 3.6 35B-A3B Alibaba 35 Mrd., 3 Mrd. aktiv (MoE) UD-Q4_K_M 22 GB ~48 Tokens/s
Kolibri 1 78B-A3B Aleph Alpha 78 Mrd., 3 Mrd. aktiv (MoE) Q4_K_M 45 GB ~27 Tokens/s
Claude Haiku 5.5 Anthropic nicht veröffentlicht – Cloud –
  • Dateigröße ist die Größe der GGUF-Datei ohne den Bildteil (mmproj). Die Datei entscheidet, ob ein Modell auf eine Maschine passt. Bei Mixture-of-Experts-Modellen (MoE) liegen alle Experten im Speicher, auch wenn je Token nur ein kleiner Teil rechnet. Deshalb sind diese Modelle groß, aber schnell.
  • Generierung ist die Geschwindigkeit, mit der das Modell Antworttext schreibt, auf Dirac und gerundet. Sie stammt aus den Zeitmessungen von llama-server in den Logs. Das Lesen des Prompts kommt hinzu und ist um ein Vielfaches schneller.
  • Die Bildteile (mmproj, 0,6 bis 1,2 GB) waren bei allen Modellen außer Kolibri 1 geladen. Gebraucht werden sie nur für M10, die ALT-Texte. Kolibri 1 ist ein reines Text-to-text-Modell, es fehlt deshalb im Benchmark M10.

Einstellungen, die für alle Modelle gelten

Einstellung Wert Was sie bewirkt
Kontextgröße 131.072 Tokens (Gemma 4 31B: 65.536, Kolibri 1: 32.768) wie viel Text ein Aufruf fassen kann; nur A01 braucht mehr als einige Tausend
KV-Cache q8_0 (Kolibri 1: q4_0) Zwischenspeicher der Aufmerksamkeit, auf 8 Bit verkleinert
Chat-Template aus der Modelldatei (--jinja) wie Nachrichten für das Modell formatiert werden
Denken über das Chat-Template ein- oder ausgeschaltet siehe unten
Denkgrenze 512 Tokens je Antwort, in der Anfrage (thinking_budget_tokens) nur bei Läufen mit Denken

Denken an und aus

Jedes Modell lief in eigenen Varianten mit und ohne Denken. Geschaltet wird über das Chat-Template, so wie es der Hersteller vorsieht:

Modell Denken aus Denken an
Gemma 4, Qwen 3.5 enable_thinking: false enable_thinking: true
Qwen 3.6 35B-A3B reasoning_effort: none enable_thinking: true
Qwen 3.8 27B reasoning_effort: none reasoning_effort: medium
Kolibri 1 78B-A3B enable_thinking: false reasoning_effort: medium
Claude Haiku 5.5 reasoning_effort: none adaptiv, nach Vorgabe der API

Sampling

Jedes Modell lief mit den Sampling-Werten, die der Anbieter für den jeweiligen Zweck empfiehlt. Die Werte folgenden Werte wurden von llama-server während der Läufe gemeldet:

Modell Denken Temperatur top_p top_k min_p
Gemma 4 (alle Größen) aus und an 1.0 0.95 64 0.05
Qwen 3.5 4B und 9B aus 0.7 0.8 20 0
Qwen 3.5 4B und 9B, Qwen 3.6 35B-A3B an 0.6 0.95 20 0
Qwen 3.8 27B aus und an 1.0 0.95 20 0
Kolibri 1 78B-A3B aus und an 1.0 0.97 128 0.05
  • Bei Gemma 4 setzt die Konfiguration kein min_p. Die 0.05 sind die Vorgabe von llama.cpp.
  • Bei Kolibri 1 setzt die Konfiguration gar keine Sampling-Werte. Die gemeldeten Werte stammen.
  • Für Qwen 3.5 und 3.6 gibt es mit Denken zwei Empfehlungen des Herstellers, „general“ (Temperatur 1.0) und „precise“ (0.6). Gemessen habe ich mit „precise“.
  • Bei Claude Haiku 5.5 bleibt es bei den Vorgaben der API.

Besonderheiten einzelner Modelle

  • Gemma 4 31B läuft mit einem kleinen Zusatzmodell für spekulatives Dekodieren (MTP-Draft, Q8_0, 0,5 GB). Das beschleunigt die Ausgabe.
  • Qwen 3.8 27B läuft ebenfalls mit MTP-Draft. Dazu kommen ein angepasstes Chat-Template (froggeric, v22.5), die Aufteilung jeder Schicht auf beide Karten (-sm tensor) und Flash Attention.
  • Kolibri 1 78B-A3B braucht einen eigenen Build von llama.cpp. Mit 45 GB passt das Modell nicht in die 24 GB VRAM. Ein Teil liegt im Arbeitsspeicher, und der Kontext ist auf 32.768 Tokens begrenzt. Bei A01 hat das in einzelnen Läufen nicht gereicht.
  • Claude Haiku 5.5 läuft über die API von Anthropic, als Vergleich mit einem kleinen Cloud-Modell. Was hinter dem Namen steckt, kann der Anbieter jederzeit ändern. Gemessen habe ich im Oktober 2026.

Selbst nachmessen

Die Benchmarks fragen jedes Modell über eine OpenAI-kompatible Schnittstelle ab. Welcher Server dahinter steht, ist dem Benchmark egal. Für vergleichbare Zahlen kommt es auf drei Dinge an: dieselbe Modelldatei, dieselben Sampling-Werte und, bei Läufen mit Denken, dieselbe Denkgrenze. Die Kontextgröße und die Geschwindigkeit der Hardware ändern den Score nicht. Ausnahme ist A01, wo ein zu kleiner Kontext den Lauf abbricht.

Wie ein Lauf aufgesetzt wird, steht unter Methodik.