Lokale KI läuft auf unserer Hardware, die meist deutlich weniger leistungsfähig ist als das, was in den Rechenzentren der großen Anbieter verfügbar ist. Damit stellt sich die Frage, welche Hardwareanforderungen für welche Sprachmodelle nötig sind.

Prompt Processing und Tokengenerierung

Jede LLM-Nutzung besteht aus den beiden Phasen Prefill (Prompt Processing) und Decode (Generierung), die unterschiedliche Anforderungen an die Hardware stellen. Wer verstehen möchte, welche Hardware für welche Use Cases geeignet ist, sollte sich mit diesen Details zumindest grob befassen.

Prefill (Prompt Processing)

Im Prefill wird die Eingabe des Nutzers verarbeitet. Diese Aufgabe hängt im Wesentlichen von der Rechengeschwindigkeit der Grafikkarte (GPU) ab. Langsame GPUs bremsen hier besonders. Wichtig ist zudem, dass zur Nutzereingabe auch noch der Systemprompt hinzu kommt. Der Systemprompt enthält diverse Infos wie das Chat-Template, die Rolle des LLM oder welche Tools zur Verfügung stehen. Für eher einfache Aufgabenstellungen mit langen Eingaben kann das Prompt Processing länger dauern als die Generierung der Ausgabe. Automatisiertes Zusammenfassen langer Texte etwa wäre ein Anwendungsfall, in dem die Prefill-Geschwindigkeit eine wesentliche Rolle spielt. Aber auch in der Agentic-AI müssen lange Tool-Ausgaben (z.B. Fehlermeldungen eines Compilers) verarbeitet werden, und Prompt Processing ist damit auch hier wichtig.

Decode (Token Generierung)

Während der Generierungsphase erzeugt das Modell neue Token, also die auszugebende Antwort. In dieser Phase muss das LLM ständig Milliarden an Parametern aus dem VRAM auslesen und verarbeiten. Damit ist die Generierung weitgehend von der Speicherbandbreite abhängig, also von der Geschwindigkeit, mit der Daten aus dem Speicher (VRAM) in die GPU geladen werden. Komplexe Aufgaben sind meist von der Token Generierung dominiert, weshalb die Anzahl der pro Sekunde generierter Token eine zentrale Kennzahl für ein gegebenes Hardware-Setup darstellt.

Simple Faustformel für lokale Inferenz

Für die Generierungsphase gibt es eine recht grobe Faustformel, mit der sich die Geschwindigkeit abschätzen lässt:

Token/Sekunde = Speicherbandbreite / Modellgröße

Die Modellgröße, also die Dateigröße unseres lokal betriebenen Sprachmodells, muss natürlich in den Speicher passen. Ist das Modell größer als der Speicher der Grafikkarte, liegt ein Teil im RAM und damit wir die Speicherbandbreite des System-RAMs zum begrenzenden Faktor. Diese Formel ist natürlich eine grobe Vereinfachung, aber trifft in erster Näherung gut zu. Einige fortgeschrittene Techniken wie z.B. MTP erlauben für unterstützte Modelle eine deutliche Steigerung gegenüber dieser Formel.

Speicherbandbreiten

Für Inferenz-Aufgaben im Single-User-Betrieb ist die Speicherbandbreite (in Gigabyte/s) die entscheidende Größe. Eine gute Näherung zur Hardwareauswahl lautet deshalb:

Verfügbares VRAM >= Modellgröße (in GB) + 4 GB Puffer
Bandbreite >= Modellgröße (in GB) * Geschwindigkeit (tok/s)

Ein lokales LLM, das ungefähr 18 GB groß ist und das mit mindestens 20 tok/s generieren sollte, erfordert also einen Speicher, der mit 360 GB/s oder mehr angebunden ist. Diese Regeln gelten allerdings nur für sogenannte dense Modelle. Für Modelle mit MoE-Architektur muss lediglich genügend VRAM für die aktiven Parameter verfügbar sein. (siehe auch Lokale KI – eine kurze Einführung für Praktiker)

Grafikkarten

Diese Grafikkarten werden derzeit für einfache lokale KI-Nutzung gerne eingesetzt:

Grafikkarte VRAM Bandbreite Anmerkung
Unter 500€
Nvidia RTX 3060 12 GB 360 GB/s wieder neu verfügbar, gute Preis/Leistung
AMD RX 9060 XT 16 GB 320 GB/s
Unter 1000€
Nvidia RTX 5060 Ti 16 GB 448 GB/s
Nvidia RTX 5070 12 GB 672 GB/s
AMD RX 9070 16 GB 640 GB/s
Unter 2000€
Nvidia RTX 5080 16 GB 960 GB/s
Über 2000€
Nvidia RTX 5090 32 GB 1792 GB/s Consumer-Top-Modell für derzeit über 5000€
Zum Vergleich
DDR4-3200 25-50 GB/s System-RAM der vorherigen Generation
DDR5-6000 49-96 GB/s typisches aktuelles System-RAM

GB/s = Gigabyte pro Sekunde

Einige wichtige Hinweise zu dieser Aufstellung:

  1. Nvidia-GPUs werden von den meisten Inferenz-Tools besser unterstützt, die Software ist ausgereifter und bei ansonsten gleichen Bedingungen auch etwas schneller. Daher setzen die meisten Nutzer lokaler KI auf Nvidia.
  2. Es lassen sich auch zwei Grafikkarten gemeinsam in einem Rechner betreiben, die LLM-Software nutzt dann beide gleichzeitig.
  3. Die Auflistung umfasst lediglich sogenannten Consumer-Hardware, also Grafikkarten, die für den Betrieb in einem einzelnen PC oder einfachen Server gedacht sind.

Apple Silicon (Unified Memory)

Mit dem KI-Boom hat auch ein regelrechter Ansturm auf Apple-Mac-Rechner eingesetzt. Macs haben keine Trennung zwischen System-RAM und VRAM der Grafikkarte, es liegt alles im sogenannten Unified Memory, das (abhängig vom konkreten Modell) relativ schnell angebunden ist. Hier eine grobe Übersicht:

Appple Silicon Unified RAM Bandbreite
M1 8 - 16 GB 60 GB/s
M2 8 - 24 GB 102 GB/s
M4 8 - 32 GB 120 GB/s
M4 Pro 24 - 64 GB 273 GB/s
M4 Max 48 - 128 GB 546 GB/s
M5 12 - 32 GB 150 GB/s
M5 Pro 24 - 64 GB 307 GB/s
M5 Max 48 - 128 GB 614 GB/s
M5 Ultra 96 - 512 GB 1200 GB/s
M6 24 - 32 GB 170 GB/s

Mit dem erheblichen Preisanstieg der Apple-Rechner in den letzten Monaten ist der Vorteil gegenüber dem klassischen Intel-basierten PC mit Nvidia-GPU nicht mehr besonders groß.

Sinnvolle Geschwindigkeiten

Ab 10 Token pro Sekunde (tok/s) sind die generierten Antworten schneller als die allermeisten Menschen lesen können, trotzdem ist diese Geschwindigkeit in der Praxis meist deutlich zu gering, wenn die Kommunikation mit einem Modell flüssig wirken soll. Denn für halbwegs komplexe Fragestellungen muss ein Modell „nachdenken“ (Reasoning) und dazu muss es Token erzeugen. Ein Beispiel: Eine kurze Anfrage für eine komplexe Aufgabe kann leicht zu 5000 Token im Reasoning führen. Bis in diesem Szenario das LLM mit der eigentlichen Antwort beginnen kann, sind bei 10 tok/s bereits 8 Minuten vergangen. Aus diesem Grund werden typischerweise Generierungsgeschwindigkeiten ab 30 tok/s als akzeptabel betrachtet.