Startseite›Modelle›granite-4.2-8b
granite-4.2-8b
Architektur dicht40 SchichtenLizenz apache-2.0Maximaler Kontext 128kVokabular 100.352
Bei Q4_K_M ist das eine Datei von 4,98 GiB, und sie passt auf 18 der 18 getesteten Rechner. Teuer ist nicht die Datei, sondern der Kontext — und derselbe Inhalt kostet auf Deutsch das ×1,61-fache von Englisch.
Modellgröße bei Q4_K_M
Von Local AI Scope gemessen
Kontextspeicher bei 8k Tokens
Von Local AI Scope gemessen
Was Deutsch gegenüber Englisch kostet
Von Local AI Scope gemessen
Größen der veröffentlichten Dateien
Das sind die Größen der tatsächlich vom Autor veröffentlichten Dateien, addiert, wenn das Modell in Teilen ausgeliefert wird. Keine Schätzung aus der Parameterzahl.
| Kompression | Modellgröße |
|---|---|
Q8_0 |
8,70 GiB |
Q6_K |
6,72 GiB |
Q5_K_M |
5,82 GiB |
Q5_K_S |
5,68 GiB |
Q4_K_M |
4,98 GiB |
Q4_K_S |
4,74 GiB |
Q3_K_M |
4,05 GiB |
Kontextspeicher
Berechnet aus dem Aufmerksamkeitsmuster, das dieses Modell Schicht für Schicht angibt, nicht aus der generischen Formel. Deshalb liegt der Wert oft deutlich unter dem anderer Rechner. Die config.json dieses Modells nennt nicht die Größe jedes Aufmerksamkeitskopfes, und aus dieser Zahl besteht der Kontextspeicher. Wir leiten sie aus zwei Angaben ab, die sehr wohl dort stehen: 4.096 verborgene Einheiten geteilt durch 32 Aufmerksamkeitsköpfe, was die Größe eines Kopfes gerade bedeutet und was die Referenzbibliothek voreinstellt: 128. Alle Zahlen dieses Abschnitts ruhen auf dieser Ableitung, deshalb wird sie hier gekennzeichnet und nicht stillschweigend übergangen.
- 8k Tokens → 1,25 GiB
- 32k Tokens → 5,00 GiB
- 128k Tokens → 20,00 GiB
Was es in jeder Sprache kostet
Gemessen, indem der Tokenizer dieses Modells über denselben Inhalt in vier Sprachen läuft. Tokens sind das, was man im Kontext, im Speicher und auf der Cloud-Rechnung zahlt.
| Textsorte | EN | ES | FR | DE |
|---|---|---|---|---|
| Code | — | ×1,22 | ×1,42 | ×1,60 |
| Verträge | — | ×1,39 | ×1,47 | ×1,76 |
| Geschäftliche E-Mails | — | ×1,27 | ×1,41 | ×1,48 |
| Support-Tickets | — | ×1,39 | ×1,63 | ×1,55 |
Englisch ist die Referenz: Jede Zahl gibt an, um wie viel mehr Tokens derselbe Inhalt in dieser Sprache kostet. Durchschnitt über das gesamte Korpus: DE ×1,61.
Wo es passt
Passt heißt: Modell, Kontextspeicher und Arbeitsreserve passen beim angegebenen Kontext gemeinsam hinein und lassen dem System seinen Anteil. 18 von den 18 getesteten Rechnern (Q4_K_M, 8k Tokens).