Wie man GLM-5.3-Flash lokal ausführt

GLM-5.3-Flash ist ein Modell mit 320 Milliarden Parametern, das unter der MIT-Lizenz veröffentlicht wurde. Diese beiden Fakten ziehen in entgegengesetzte Richtungen: Die Lizenz erlaubt es, es nach Belieben auszuführen, und die Parameteranzahl besagt, dass Sie dafür ernsthafte Hardware benötigen.

Das Interessante daran ist, dass 18 Milliarden dieser 320 Milliarden Parameter pro Token aktiv sind und quantisierte Builds existieren. Diese Kombination macht das Modell für Setups erreichbar, die weitaus kleiner sind als der 8x H200-Knoten, den die meisten Anleitungen annehmen.

Dieser Beitrag erläutert die Hardware-Stufen ehrlich, von einem Full-Precision-Produktionsknoten bis zu einem quantisierten Build auf einer Workstation, und behandelt, wann es überhaupt sinnvoll ist, das Modell selbst zu betreiben.

Was Sie tatsächlich laden

Das Mixture-of-Experts-Design macht dies machbar. Alle 320 Milliarden Parameter müssen im Speicher vorhanden sein, aber nur 18 Milliarden nehmen an einem bestimmten Token teil, sodass der Rechenaufwand weit unter dem liegt, was die Gesamtzahl vermuten lässt. Der Speicher ist Ihre einschränkende Ressource, nicht die FLOPs.

Z.ai meldet außerdem einen KV-Cache, der etwa 4,4-mal kleiner ist als bei GLM-5.3, was für Arbeiten mit langem Kontext enorm wichtig ist. Der KV-Cache verbraucht Speicher, wenn sich Ihr Kontext füllt, und bei einem 1M-Token-Fenster ist dies normalerweise das, was Sie zum Scheitern bringt.

Stufe 1: Volle Präzision auf einem Produktionsknoten

Für den Betrieb in voller Qualität mit echter Parallelität ist die Referenzkonfiguration ein 8x H200-Knoten (jeweils 141 GB, insgesamt etwa 1.128 GB). Ein 8x H20-Knoten funktioniert ebenfalls.

Großzügige Schätzungen: Die Gewichte allein benötigen je nach Präzision etwa 700 bis 800 GB, und Sie benötigen darüber hinaus Spielraum für den KV-Cache und den Laufzeit-Overhead. Die gemietete Cloud-Kapazität für einen solchen Knoten liegt zwischen 24 und 48 US-Dollar pro Tag.

vLLM

vLLM ist der gängige Standard und verfügt über die breiteste Ökosystemunterstützung. Die Tensor-Parallel-Größe sollte eine Zweierpotenz sein:

vllm serve zai-org/GLM-5.3-Flash \
  --tensor-parallel-size 8 \
  --max-model-len 1048576 \
  --trust-remote-code

Beginnen Sie mit einem kleineren --max-model-len, während Sie das Setup validieren. Das sofortige Anfordern des vollständigen Million-Token-Fensters bedeutet, dass dafür ein KV-Cache zugewiesen werden muss, und ein Fehler dort sieht eher wie ein Out-of-Memory-Fehler als wie ein Konfigurationsproblem aus.

SGLang

SGLang hatte Day-Zero-Unterstützung für dieses Modell, mit veröffentlichten Anleitungen für H100, H200, B200, B300 und GB200, einschließlich multimodaler Bereitstellung. Z.ai nutzte einen SGLang-basierten Stack für den eigenen Pre-Launch-Betrieb.

python -m sglang.launch_server \
  --model-path zai-org/GLM-5.3-Flash \
  --tp 8 \
  --context-length 1048576

SGLang tendiert dazu, bei strukturierten Ausgaben und hochparallelen agentenbasierten Workloads zu gewinnen. Wenn Sie einen Code-Agenten und nicht eine Chat-Oberfläche bereitstellen, lohnt es sich, einen Benchmark gegen vLLM durchzuführen, anstatt es standardmäßig zu verwenden.

Beide Stacks benötigen einen konfigurierten Tool-Call-Parser, damit die Funktionsaufrufe ordnungsgemäß funktionieren. Überprüfen Sie die aktuellen Flags in der Dokumentation jedes Projekts, da sich die Parsernamen zwischen den Releases ändern.

Stufe 2: Quantisiert auf kleinerer Hardware

Dies ist die Stufe, die die meisten Berichte überspringen, und sie ist diejenige, die für jeden ohne Rechenzentrum relevant ist.

Quantisierte GGUF-Builds werden unter unsloth/GLM-5.3-Flash-GGUF veröffentlicht, bis hin zu aggressiven 1-Bit- und 2-Bit-Formaten wie IQ1_S und IQ2_XXS. Eine 2-Bit-Quantisierung eines 320B-Modells bringt die Gewichte in einen Bereich, den eine Workstation mit viel Speicher oder ein Multi-GPU-Consumer-Rig halten kann, insbesondere mit CPU-Offload.

Zwei ehrliche Vorbehalte:

Aggressive Quantisierung kostet Qualität. IQ1_S ist weit entfernt von voller Präzision. Bei einem 320B MoE ist die Verschlechterung oft sanfter als bei der gleichen Behandlung eines dichten Modells, da es mehr Redundanz zu verlieren gibt, aber „läuft“ und „läuft gut“ sind unterschiedliche Behauptungen. Testen Sie es für Ihre eigenen Aufgaben, bevor Sie Schlussfolgerungen ziehen.

Die Dokumentation von Unsloth für dieses Modell ist als Work-in-Progress gekennzeichnet. Die Verfügbarkeit und empfohlenen Einstellungen für die Quantisierung sind noch im Fluss. Überprüfen Sie, was tatsächlich veröffentlicht ist, bevor Sie einen Build um ein bestimmtes Format herum planen.

Für CPU-intensive und hybride Setups ist KTransformers genau für diesen Fall konzipiert, indem MoE-Experten im System-RAM gehalten und nur das Nötigste auf die GPU verschoben wird. Bei einem MoE-Modell mit 18 Milliarden aktiven Parametern passt diese Architektur ungewöhnlich gut. TokenSpeed ist ebenfalls unter den unterstützten Laufzeiten aufgeführt.

Unsere Anleitung zum lokalen Ausführen von GLM-4.7-Flash behandelt die kleinere Modellversion dieses Workflows, und das lokale Ausführen von GLM-5 kostenlos behandelt das allgemeine lokale GLM-Setup.

Ihr Speicherbudget ermitteln

Zwei Zahlen bestimmen, ob eine Konfiguration passt.

Gewichte. Bei etwa 2 Bytes pro Parameter in BF16 sind 320 Milliarden Parameter etwa 640 GB vor Overhead. FP8 halbiert das ungefähr. Eine 4-Bit-Quantisierung bringt es nahe an 160 GB, und die aggressiven 2-Bit-Formate gehen noch weiter herunter, allerdings mit echten Qualitätseinbußen.

KV-Cache. Dieser skaliert mit der Kontextlänge und Parallelität, und das ist es, was die Leute überrascht. Eine Konfiguration, die bei 8K Kontext gut lädt, kann bei 128K fehlschlagen, weil der Cache gewachsen ist, nicht die Gewichte. Die von Z.ai gemeldete 4,4-fache Reduzierung gegenüber GLM-5.3 hilft hier sehr, aber die Skalierung ist immer noch linear in Tokens.

Die praktische Implikation ist, die Größe für Ihre tatsächliche Kontextlänge zu bemessen, nicht für das Maximum, das das Modell bewirbt. Nur sehr wenige Anwendungen benötigen die vollen eine Million Tokens, und die Bereitstellung für ein Fenster, das Sie nie nutzen, ist der häufigste Weg, dieses Modell unbezahlbar erscheinen zu lassen.

Wenn Sie die frühere Open-Weights-Geschichte für diese Familie verfolgt haben, wurde unser GLM-5.3 Self-Hosting-Beitrag vor der Veröffentlichung geschrieben. Die Gewichte für Flash sind jetzt unter MIT gelandet, daher ersetzt die hier gegebene Anleitung jene.

Feinabstimmung

Die MIT-Lizenz erlaubt die Feinabstimmung und Weiterverteilung, was auf diesem Fähigkeitsniveau ungewöhnlich ist und der stärkste Grund, die Gewichte selbst zu halten.

Seien Sie realistisch, was die Kosten angeht. Eine vollständige Feinabstimmung eines 320B-Modells ist für die meisten Teams unerreichbar. Parametereffiziente Methoden wie LoRA sind der praktische Weg, und bei einem Mixture-of-Experts-Modell gibt es die zusätzliche Designfrage, ob Sie den Router, die Experten oder die Attention-Layer anpassen. Dies ist ein aktives Forschungsgebiet mit weniger etablierten Richtlinien als für dichte Modelle.

Wenn Ihr Ziel die Domänenanpassung und nicht eine neue Funktionalität ist, testen Sie zuerst das Prompting und Retrieval mit dem Basismodell. Bei einem Modell mit einem Kontextfenster von 1 Million Tokens ist es oft billiger und besser, Ihr Domänenwissen in den Prompt zu packen, als es einzutrainieren.

Sampling-Einstellungen

Z.ai veröffentlicht unterschiedliche Empfehlungen je nach Aufgabe:

Das Modell unterstützt auch drei Denkmodi über reasoning_effort, mit den Werten low, high und max. Max ist der Standard. Auf lokaler Hardware ist dies wichtiger als bei der API, da Denk-Tokens Generierung sind, für die Sie in Echtzeit und nicht in Dollar bezahlen. Wenn Ihr System langsam generiert, macht low den Unterschied zwischen nutzbar und unbrauchbar aus.

Lohnt sich Self-Hosting finanziell?

Meistens nicht, und der API-Preis ist der Grund dafür.

Zu Listenpreisen kostet GLM-5.3-Flash 0,15 US-Dollar pro Million Eingabetokens. Ein gemieteter 8x H200-Knoten für etwa 1.000 US-Dollar pro Monat ermöglicht Ihnen die Nutzung von etwa 6,7 Milliarden Eingabetokens über die API. Ein nachhaltiges Volumen darüber hinaus, kontinuierlich, ist ein großer Betrieb.

Der Knoten kostet auch gleich viel, egal ob er ausgelastet oder im Leerlauf ist, während die API nur das abrechnet, was Sie nutzen. Wenn Ihre Auslastung nicht wirklich rund um die Uhr hoch ist, verliert der Fixkostenansatz.

Die Gründe für Self-Hosting sind also nicht die Kosten:

• Datenresidenz und Datenschutz. Nichts verlässt Ihre Infrastruktur.
• Keine Ratenbegrenzungen. Ihre Kapazität ist Ihre Kapazität.
• Verfügbarkeitsgarantien. Keine Abhängigkeit von der Verfügbarkeit oder Preispolitik eines Anbieters.
• Die MIT-Lizenz. Sie können ändern, feinabstimmen und weiterverteilen. Das ist für ein Modell dieser Leistungsklasse ungewöhnlich und das stärkste Argument in der Liste.
• Hardware, die Sie bereits besitzen. Wenn die GPUs gekauft und ungenutzt sind, sind die Grenzkosten Strom, und die gesamte Rechnung kehrt sich um.

Unsere Preisanalyse beleuchtet die API-Seite dieses Vergleichs detaillierter.

Ihre Bereitstellung überprüfen

Sowohl vLLM als auch SGLang bieten OpenAI-kompatible Endpunkte, sodass dieselbe Anforderungsform gegen Ihren lokalen Server und gegen Z.ai funktioniert:

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "zai-org/GLM-5.3-Flash",
    "messages": [{"role": "user", "content": "reply with OK"}]
  }'

Es lohnt sich, über eine reine Funktionsprüfung hinaus zu testen: Langzeit-Kontextverhalten in der tatsächlich benötigten Länge, Bildeingabe, wenn Sie multimodale Inhalte bereitstellen, Tool-Calling mit Ihren realen Schemata und den Durchsatz unter Parallelität statt nur die Latenz einzelner Anfragen.

Hier zahlt sich eine gespeicherte Testsammlung aus. Richten Sie Apidog sowohl auf Ihren lokalen Server als auch auf den Z.ai-Endpunkt mit der Basis-URL als Umgebungsvariable aus, führen Sie dieselbe Suite gegen beide aus und vergleichen Sie. Sie werden schnell herausfinden, ob Ihr quantisierter Build die Tool-Schemata, von denen Ihre Anwendung abhängt, noch verarbeitet, was der Fehlerfall ist, den die Leute sonst in der Produktion entdecken.

FAQ

Was ist die Mindesthardware? Für volle Präzision ein 8x H200-Knoten. Für quantisierte GGUF-Builds deutlich weniger, obwohl die Qualität mit dem Quantisierungsgrad abnimmt.

Muss ich alle 320 Milliarden Parameter im Speicher haben? Ja. Nur 18 Milliarden sind pro Token aktiv, aber der gesamte Satz muss resident sein. Speicher ist die Beschränkung; Rechenleistung ist es nicht.

Was ist besser, vLLM oder SGLang? SGLang hatte Day-Zero-Unterstützung mit veröffentlichten multimodalen Rezepten und gewinnt oft bei Parallelität und strukturierten Ausgaben. vLLM hat eine breitere Ökosystemunterstützung. Benchmarking Sie beide für Ihre Arbeitslast.

Kann ich es auf einer einzelnen GPU ausführen? Nicht in voller Präzision. Mit aggressiver Quantisierung und CPU-Offload durch KTransformers ist ein Single-GPU-System mit viel Speicher plus viel System-RAM denkbar. Erwarten Sie eine langsame Generierung.

Ist die Lizenz wirklich MIT? Ja. Die Gewichte werden unter MIT veröffentlicht, was die kommerzielle Nutzung, Modifikation und Weiterverteilung erlaubt.