Startseite›Modelle›mistral-small-24b
mistral-small-24b
Architektur dicht40 SchichtenLizenz apache-2.0Maximaler Kontext 128kVokabular 131.072
Bei Q4_K_M ist das eine Datei von 13,35 GiB, und sie passt auf 12 der 18 Rechner, die wir durchrechnen (der mit dem wenigsten Speicher: Mac mit M4 Pro und 24 GB). Vorsicht beim Kontext: Bei seinem Maximum von 128k Tokens belegt er 20,00 GiB, mehr als die Datei selbst — und derselbe Inhalt braucht auf Deutsch 1,40-mal so viele Tokens wie auf Englisch.
Modellgröße bei Q4_K_M
Von Local AI Scope gemessen
Kontextspeicher bei 8k Tokens
Von Local AI Scope gemessen
Was Deutsch gegenüber Englisch kostet
Von Local AI Scope gemessen
Größen der veröffentlichten Dateien
Das sind die Größen der tatsächlich vom Autor veröffentlichten Dateien, addiert, wenn das Modell in Teilen ausgeliefert wird. Keine Schätzung aus der Parameterzahl.
| Kompression | Modellgröße |
|---|---|
Q8_0 |
23,33 GiB |
Q6_K |
18,02 GiB |
Q5_K_M |
15,61 GiB |
Q5_K_S |
15,19 GiB |
Q4_K_M |
13,35 GiB |
Q4_K_S |
12,62 GiB |
IQ4_XS |
11,90 GiB |
Q3_K_M |
10,69 GiB |
Dieses Modell liest auch Bilder. Dafür braucht es eine zweite Datei, den Vision-Projektor (mmproj-F16.gguf, 0,82 GiB), die neben dem Modell veröffentlicht wird und in den Zahlen dieser Seite nicht enthalten ist: Sie zählen nur Text. Wenn Sie ihm Bilder schicken wollen, rechnen Sie diese Datei zur Modellgröße hinzu.
Kontextspeicher
Berechnet aus dem Aufmerksamkeitsmuster, das dieses Modell Schicht für Schicht angibt, nicht aus der generischen Formel. Deshalb liegt der Wert oft deutlich unter dem anderer Rechner.
- 8k Tokens → 1,25 GiB
- 32k Tokens → 5,00 GiB
- 128k Tokens → 20,00 GiB
Was es in jeder Sprache kostet
Gemessen, indem der Tokenizer dieses Modells über denselben Inhalt in vier Sprachen läuft. Tokens sind das, was man im Kontext, im Speicher und auf der Cloud-Rechnung zahlt.
| Textsorte | EN | ES | FR | DE |
|---|---|---|---|---|
| Code | — | ×1,23 | ×1,31 | ×1,51 |
| Verträge | — | ×1,21 | ×1,25 | ×1,37 |
| Geschäftliche E-Mails | — | ×1,19 | ×1,22 | ×1,31 |
| Support-Tickets | — | ×1,28 | ×1,36 | ×1,37 |
Englisch ist die Referenz: Jede Zahl gibt an, um wie viel mehr Tokens derselbe Inhalt in dieser Sprache kostet. Durchschnitt über das gesamte Korpus: DE ×1,40.
Wo es passt
Passt heißt: Modell, Kontextspeicher und Arbeitsreserve passen beim angegebenen Kontext gemeinsam hinein und lassen dem System seinen Anteil. 12 von den 18 getesteten Rechnern (Q4_K_M, 8k Tokens).
Wenn Sie es stärker komprimieren, läuft es auch dort, wo die Tabelle Nein sagt: als Q3_K_M (10,69 GiB) mit bis zu 8k Tokens Kontext auf Mac mit M4 und 16 GB Unified Memory · Büro-Notebook, nur CPU, 16 GB · Mac mini mit M6 und 16 GB Unified Memory. Unterhalb von Q4_K_M verliert das Modell etwas an Qualität, bei Q3_K_M merkt man es; deshalb bleibt die Tabelle oben bei Q4_K_M.