Startseite›Modelle›glm-5.2

Modell-Datenblatt

glm-5.2

Architektur Expertenmischung78 SchichtenLizenz mitMaximaler Kontext 1.024kVokabular 154.880

Bei Q4_K_M ist das eine Datei von 433,83 GiB, und sie passt auf 1 der 18 Rechner, die wir durchrechnen (nur einer: Mac Studio mit M5 Ultra und 512 GB Unified Memory). Hier füllt die Datei den Speicher: Selbst beim maximalen Kontext von 1024k Tokens kommen 156,00 GiB hinzu — und derselbe Inhalt braucht auf Deutsch 1,49-mal so viele Tokens wie auf Englisch.

Auf einen Blick
Größe bei Q4_K_M433,83 GiB
Kontextspeicher bei 8k1,22 GiB
Passt auf1 / 18
Kosten auf Deutsch×1,49
Kleinster Rechner, der es nimmtMac Studio mit M5 Ultra und 512 GB Unified Memory
433,83 GiB

Modellgröße bei Q4_K_M

Von Local AI Scope gemessen

1,22 GiB

Kontextspeicher bei 8k Tokens

Von Local AI Scope gemessen

×1,49

Was Deutsch gegenüber Englisch kostet

Von Local AI Scope gemessen

Größen

Größen der veröffentlichten Dateien

Das sind die Größen der tatsächlich vom Autor veröffentlichten Dateien, addiert, wenn das Modell in Teilen ausgeliefert wird. Keine Schätzung aus der Parameterzahl.

Größe der veröffentlichten Datei je Kompression
Kompression Modellgröße
Q8_0 746,32 GiB
Q6_K 582,88 GiB
Q5_K_M 522,31 GiB
Q5_K_S 491,05 GiB
Q4_K_M 433,83 GiB
Q4_K_S 406,46 GiB
IQ4_XS 340,22 GiB
Q3_K_M 319,20 GiB
Kontext

Kontextspeicher

Berechnet aus dem Aufmerksamkeitsmuster, das dieses Modell Schicht für Schicht angibt, nicht aus der generischen Formel. Deshalb liegt der Wert oft deutlich unter dem anderer Rechner. Dieses Modell speichert seinen Kontextspeicher komprimiert (latente Aufmerksamkeit): pro Schicht und Token ein Vektor mit 512 Werten statt seiner 64 Köpfe zu je 192. Wir rechnen ihn als einen Kopf mit 512 für den Schlüssel und einen weiteren für den Wert – etwas mehr, als er wirklich belegt (ein Latent dient beiden). Diese Zahlen liegen also eher zu hoch, nie zu niedrig.

  • 8k Tokens → 1,22 GiB
  • 32k Tokens → 4,88 GiB
  • 128k Tokens → 19,50 GiB
Sprachen

Was es in jeder Sprache kostet

Gemessen, indem der Tokenizer dieses Modells über denselben Inhalt in vier Sprachen läuft. Tokens sind das, was man im Kontext, im Speicher und auf der Cloud-Rechnung zahlt.

Tokenkosten nach Textsorte und Sprache, mit Englisch als Referenz
Textsorte EN ES FR DE
Code — ×1,26 ×1,41 ×1,64
Verträge — ×1,29 ×1,36 ×1,52
Geschäftliche E-Mails — ×1,22 ×1,32 ×1,32
Support-Tickets — ×1,33 ×1,51 ×1,41

Englisch ist die Referenz: Jede Zahl gibt an, um wie viel mehr Tokens derselbe Inhalt in dieser Sprache kostet. Durchschnitt über das gesamte Korpus: DE ×1,49.

Rechner

Wo es passt

Passt heißt: Modell, Kontextspeicher und Arbeitsreserve passen beim angegebenen Kontext gemeinsam hinein und lassen dem System seinen Anteil. 1 von den 18 getesteten Rechnern (Q4_K_M, 8k Tokens).

Die 18 getesteten Rechner, mit dem Speicher, den jeder frei lässt, und dem größten Kontext, den dieses Modell dort hält
Rechner Passt Freier Speicher Größter Kontext, der passt
PC mit RTX 4060 8 GB nein 7,20 GiB —
PC mit RTX 3060 12 GB nein 11,20 GiB —
PC mit RTX 4070 12 GB nein 11,20 GiB —
Mac mit M4 und 16 GB Unified Memory nein 13,00 GiB —
Büro-Notebook, nur CPU, 16 GB nein 13,00 GiB —
Mac mini mit M6 und 16 GB Unified Memory nein 13,00 GiB —
Mac mit M4 Pro und 24 GB nein 21,00 GiB —
Workstation mit RTX 4090 24 GB nein 23,20 GiB —
Mini-PC mit NPU und 32 GB LPDDR5X nein 29,00 GiB —
Mac mini mit M6 und 32 GB Unified Memory nein 29,00 GiB —
Server mit 2× RTX 3090 (48 GB) nein 47,20 GiB —
Mac mit M4 Max und 64 GB nein 61,00 GiB —
Mac mini mit M5 Pro und 64 GB Unified Memory nein 61,00 GiB —
Xiaomi AI Cube, 80 GB — Technikprototyp nein 77,00 GiB —
PC mit Ryzen AI Max+ 395 und 128 GB Unified Memory nein 96,00 GiB —
Mac Studio mit M5 Max und 128 GB Unified Memory nein 125,00 GiB —
PC mit Ryzen AI Max+ PRO 495 und 192 GB Unified Memory nein 160,00 GiB —
Mac Studio mit M5 Ultra und 512 GB Unified Memory ja 509,00 GiB 256k