Die meisten Vision-Modelle verlangen eine Entscheidung von Ihnen. Sie können ein Bild senden oder viel Text senden, aber das Modell, das das eine gut kann, ist selten das Modell, das das andere gut kann.
GLM-5.3-Flash zwingt Sie nicht zur Wahl. Es akzeptiert Bilder als Inhaltsblöcke innerhalb eines 1.048.576-Token-Kontextfensters, in derselben Anfrage wie alles andere. Diese Kombination, native Bildeingabe plus eine Million Tokens Platz, eröffnet Workflows, die keine der beiden Funktionen allein ermöglicht.
Dieser Leitfaden behandelt die Nutzlast, die lohnenswerten Workflows und die noch unbewiesenen Teile.
Nativ, nicht adapterbasiert
Z.ais frühere Vision-Arbeiten wurden als separate Modelle ausgeliefert. GLM-5V-Turbo und GLM-4.6V waren unterschiedliche Endpunkte mit unterschiedlichen Modell-IDs, und ihre Verwendung bedeutete, den Bildverkehr an einen anderen Ort als Ihren Textverkehr zu leiten. GLM-5.3, das größere Geschwistermodell, leitet Vision über Adapter, anstatt es nativ zu verarbeiten.
GLM-5.3-Flash ist das erste Modell der GLM-5-Serie, bei dem Bilder eine erstklassige Eingabe für dasselbe Modell sind, im selben Aufruf, denselben Kontext teilend.
Praktisch bedeutet das eine Modell-ID, eine Abrechnungszeile, einen Satz von Ratenbegrenzungen und, am wichtigsten, ein Kontextfenster, das sowohl Ihr Bild als auch Ihren Text gleichzeitig enthält. Wenn Sie etwas auf dem älteren Weg pflegen, decken unser GLM-5V-Turbo API-Leitfaden und der GLM-4.6V-Leitfaden diese Modelle ab.
Die Nutzlast
Die Bildeingabe erfolgt über typisierte Inhaltsblöcke. Anstatt dass content ein String ist, wird es zu einem Array:
from openai import OpenAI
import os
client = OpenAI(
api_key=os.environ["ZAI_API_KEY"],
base_url="https://api.z.ai/api/paas/v4/",
)
response = client.chat.completions.create(
model="glm-5.3-flash",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "What is wrong with this layout on mobile?"},
{
"type": "image_url",
"image_url": {"url": "https://example.com/mobile-view.png"},
},
],
}
],
)
print(response.choices[0].message.content)
Für lokale oder private Bilder verwenden Sie eine Base64-Daten-URL:
import base64
from pathlib import Path
def image_block(path: str) -> dict:
data = base64.b64encode(Path(path).read_bytes()).decode("utf-8")
suffix = Path(path).suffix.lstrip(".").replace("jpg", "jpeg")
return {
"type": "image_url",
"image_url": {"url": f"data:image/{suffix};base64,{data}"},
}
Mehrere Bilder bedeuten mehrere Blöcke. Es gibt kein Abkürzungs-Array von URLs:
content = [
{"type": "text", "text": "Image 1 is the design. Image 2 is what we built. List the differences."},
image_block("design.png"),
image_block("built.png"),
]
Die Reihenfolge ist wichtig. Das Modell liest das Array der Reihe nach, also platzieren Sie Begleittext vor den Bildern, auf die er sich bezieht, und beschriften Sie Bilder explizit, wenn Sie mehrere senden. „Bild 1 ist das Design“ gibt dem Modell etwas, woran es seine Antwort verankern kann.
Die grundlegende Einrichtung und Authentifizierung sind in unserem API-Leitfaden beschrieben.
Lohnenswerte Workflows
Screenshot-Debugging
Der offensichtlichste, und der, auf den Z.ai setzt. Seine eigenen Materialien beschreiben, wie das Modell „Schnittstellen, Rendering-Ergebnisse und Interaktions-Feedback“ beobachtet, was eher ein Coding-Agent-Rahmen als eine Fotobeschreibung ist.
Senden Sie das fehlerhafte Rendering und den Quelltext, der es erzeugt hat, in derselben Anfrage:
content = [
{"type": "text", "text": "This component renders incorrectly below 400px. Here is the screenshot and the source."},
image_block("bug-mobile.png"),
{"type": "text", "text": f"```jsx\n{component_source}\n```"},
]
Das Modell analysiert das tatsächliche Rendering, anstatt sich auf Ihre Beschreibung zu stützen. Das eliminiert den verlustreichsten Schritt in den meisten Front-End-Debugging-Gesprächen, nämlich die Übersetzung eines visuellen Problems durch einen Menschen in Worte.
Designvergleich
Zwei Bilder und eine Frage. Nützlich in CI als weicher Check für visuelle Regressionen, wobei ein Diff-Tool anzeigt, dass sich Pixel geändert haben, und ein Modell beurteilt, ob die Änderung relevant ist.
Seien Sie hier realistisch bezüglich der Zuverlässigkeit. Ein Modell, das Screenshots vergleicht, ist eine Einschätzung, keine Behauptung. Nutzen Sie es, um zu entscheiden, welche Unterschiede ein Mensch überprüfen sollte, und nicht, um eine Bereitstellung allein darauf basierend zu blockieren.
Dokumente zusammen mit ihrer Spezifikation
Hier verdient der 1M-Kontext seinen Platz. Fügen Sie eine lange Spezifikation als Text und ein gerendertes Artefakt als Bild in den Prompt ein und fragen Sie dann, ob sie übereinstimmen.
content = [
{"type": "text", "text": f"Specification:\n\n{spec_text}"},
{"type": "text", "text": "Below is the generated report. Does it satisfy every requirement above? List gaps."},
image_block("generated-report.png"),
]
Eine 40-seitige Spezifikation und ein Bild in einem Prompt sind nicht etwas, das man mit einem Modell mit einem 128K-Fenster und adapterbasierter Vision tun könnte. Das ist die eigentliche neue Fähigkeit.
Z.ais Release Notes erwähnen auch Workflows für Bürodokumente und Finanzforschung als Ziele für das agentische Verhalten des Modells.
Diagramme und Dashboards
Das Lesen eines Diagrammbildes und die Rückgabe strukturierter Daten ist eine Standard-Extraktionsaufgabe. Fordern Sie JSON an und validieren Sie es:
content = [
{"type": "text", "text": "Extract the series in this chart as JSON: [{label, values: [...]}]
Return only JSON."},
image_block("quarterly.png"),
]
Validieren Sie die Ausgabe gegen ein Schema, anstatt ihr zu vertrauen. Das Lesen von Diagrammen ist genau die Art von Aufgabe, bei der ein Modell selbstbewusst falsche Zahlen liefert, und die strukturelle Validierung fängt Formfehler ab, selbst wenn sie keine Wertfehler abfangen kann.
Für die dedizierte Dokumentenextraktion kann ein Spezialist immer noch einen Generalisten übertreffen. GLM-OCR für das Dokumentenverständnis deckt diesen Weg ab.
Video und Dateien
Z.ais Dokumentation listet Video- und Dateieingaben neben Bildern auf, unter Verwendung desselben Inhaltsblock-Mechanismus.
Seien Sie vorsichtig damit. Die Videounterstützung in diesem Modell ist neu, spärlich dokumentiert und in der Öffentlichkeit im Vergleich zur Bildeingabe, die viele Leute inzwischen verwendet haben, wenig erprobt. Die Anbieterunterstützung variiert ebenfalls: Eine Modellfunktion ist nicht dasselbe wie eine verfügbare Funktion auf dem Gateway, über das Sie aufrufen.
Wenn Video für Ihre Anwendung wichtig ist, testen Sie es direkt mit Ihren eigenen Medien und Ihrem eigenen Anbieter, bevor Sie Ihre Anwendung darauf auslegen. Behandeln Sie eine Zeile in einer Fähigkeitentabelle nicht als funktionierendes Feature.
Wo es Schwächen zeigt
Native Multimodalität ist nicht dasselbe wie zuverlässige Multimodalität. Vier Fehlermodi sind es wert, sie zu kennen, bevor Sie etwas veröffentlichen.
Zuversichtliche Zahlen aus Diagrammen. Das Ablesen von Werten einer gezeichneten Linie ist die Aufgabe, die am ehesten eine flüssige, präzise formatierte, falsche Antwort liefert. Die Schema-Validierung fängt fehlerhafte Ausgaben ab; sie kann keine plausible Zahl abfangen, die einfach falsch ist. Wenn die Zahlen wichtig sind, entnehmen Sie sie den zugrunde liegenden Daten und nicht einem Bild davon.
Kleiner Text. Dichte UI-Screenshots, Tabellen in Aufnahmen mit geringer Auflösung und Code in komprimierten Bildern verschlechtern sich alle. Das Herunterskalieren zur Token-Einsparung verschlimmert dies, so dass ein direkter Konflikt zwischen Kostenfaktor und Genauigkeit besteht. Schneiden Sie den interessierenden Bereich zu, anstatt den gesamten Rahmen zu verkleinern.
Räumliche Präzision. Modelle beschreiben das Layout gut und messen es schlecht. „Der Button überlappt das Eingabefeld“ ist meistens richtig. „Der Button ist 12 Pixel zu weit links“ ist es meistens nicht.
Verwechslung von Reihenfolge und Referenz. Bei mehreren Bildern in einer Anfrage kann das Modell ein Detail dem falschen Bild zuordnen. Beschriften Sie sie explizit in den Textblöcken und halten Sie die Anzahl niedrig, wenn Präzision wichtig ist.
Nichts davon ist einzigartig für GLM-5.3-Flash. Dies sind die Standardgrenzen von Vision-Sprachmodellen, und der Intelligence Index-Score von 57 befreit es nicht davon. Gestalten Sie den Workflow so, dass eine falsche Antwort erkannt und nicht umgesetzt wird.
Kosten
Bilder verbrauchen Kontext-Tokens und werden als Eingabe abgerechnet. Es gibt keinen separaten Bildzuschlag.
Zum Listenpreis sind das 0,15 $ pro Million Eingabe-Tokens, oder 0,075 $ während des Einführungsrabatts, der bis zum 9. September 2026 gilt. Hochauflösende Bilder verbrauchen eine beträchtliche Anzahl von Tokens, daher ist die Auflösung ein Kostenfaktor: Skalieren Sie herunter, bevor Sie senden, es sei denn, feine Details sind der Zweck der Anfrage.
reasoning_effort ist standardmäßig auf max eingestellt, was die Argumentation als Ausgabe-Tokens abrechnet. Für eine einfache Extraktion aus einem Bild ist low normalerweise die richtige Einstellung und wesentlich günstiger. Unsere Preisübersicht deckt beide Hebel ab.
Bildkosten unter Kontrolle halten
Bilder werden als Eingabe-Tokens abgerechnet, daher ist die Auflösung ein direkter Kostenfaktor, und die offensichtliche Optimierung steht im Konflikt mit den oben genannten Genauigkeitshinweisen.
Eine praktikable Reihenfolge der Operationen:
- Zuschneiden vor dem Skalieren. Das Senden des relevanten Bereichs in voller Auflösung ist besser als das Senden des gesamten Bildschirms in halber Größe. Sie verlieren Kontext, den das Modell nicht brauchte, und behalten die Details, die es braucht.
- Auflösung an die Frage anpassen. „Ist das Layout defekt?“ übersteht aggressives Herunterskalieren. „Was steht in dieser Fehlermeldung?“ nicht.
- Senden Sie unveränderte Bilder nicht erneut. In einem mehrstufigen Gespräch ist ein einmal gesendetes Bild bereits im Kontext. Das erneute Anhängen bei jeder Runde kostet bei jeder Runde.
- Stellen Sie
reasoning_effortbewusst ein. Es ist standardmäßig aufmaxeingestellt, und die Argumentation wird als Ausgabe abgerechnet. Eine einfache Extraktion benötigt dies selten.
Das usage-Objekt in jeder Antwort gibt Ihnen die tatsächliche Token-Anzahl pro Aufruf, was die einzige Möglichkeit ist, herauszufinden, was ein Bild tatsächlich gekostet hat, anstatt dies aus seiner Dateigröße abzuleiten.
Testen multimodaler Aufrufe
Multimodale Anfragen sind mühsam manuell zu testen. Eine Base64-Daten-URL besteht aus Tausenden von Zeichen, was einen Curl-Befehl unlesbar und das erneute Ausführen durch Bearbeitung praktisch unmöglich macht. Antworten sind Freitext, daher können Regressionen leicht übersehen werden.
Zwei Gewohnheiten helfen. Halten Sie einen kleinen, festen Satz von Referenzbildern und erwarteten Antworten bereit, damit Sie erkennen können, wann sich das Verhalten ändert. Und validieren Sie die strukturierte Extraktion gegen ein Schema, anstatt sie nur zu überfliegen.
Apidog ist hierfür eine praktische Lösung. Speichern Sie Bild-Payloads in einer gespeicherten Anfrage statt in einem Shell-Befehl, bewahren Sie den API-Schlüssel als Umgebungsvariable auf und fügen Sie Assertions zu dem JSON hinzu, das Ihre Extraktionsprompts zurückgeben. Wenn Sie Modelle wechseln oder ein Anbieter etwas aktualisiert, sagt Ihnen das erneute Ausführen der Suite, ob der Vision-Pfad noch funktioniert, anstatt dass Sie es von einem Benutzer erfahren müssen.
FAQ
Unterstützt GLM-5.3 auch Bilder? Nicht nativ. GLM-5.3 leitet Vision über separate Adapter. Flash ist das nativ multimodale Modell, was in unserem Vergleich behandelt wird.
Wie viele Bilder pro Anfrage? Mehrere, jedes als eigener image_url-Block. Die praktische Grenze ist Ihr Kontextbudget.
URL oder Base64? Beides funktioniert. Verwenden Sie eine öffentliche URL, wenn das Bild bereits gehostet und erreichbar ist; verwenden Sie Base64 für lokale oder private Bilder.
Akzeptiert es Video? Z.ai dokumentiert Videoeingaben, aber diese Funktion ist neu und wenig erprobt. Überprüfen Sie sie zuerst mit Ihren eigenen Medien und Ihrem Anbieter.
Werden Bilder anders abgerechnet? Kein Zuschlag. Sie verbrauchen Eingabe-Tokens, daher beeinflusst die Auflösung die Kosten.