Startseite›Modelle›flint-40b
flint-40b
Architektur Expertenmischung49 SchichtenLizenz apache-2.0Maximaler Kontext 256kVokabular 150.144
Bei Q4_K_M ist das eine Datei von 23,61 GiB, und sie passt auf 10 der 18 Rechner, die wir durchrechnen (die mit dem wenigsten Speicher: Mini-PC mit NPU und 32 GB LPDDR5X · Mac mini mit M6 und 32 GB Unified Memory). Hier füllt die Datei den Speicher: Selbst beim maximalen Kontext von 256k Tokens kommen 7,03 GiB hinzu — und derselbe Inhalt braucht auf Deutsch 1,55-mal so viele Tokens wie auf Englisch.
Modellgröße bei Q4_K_M
Von Local AI Scope gemessen
Kontextspeicher bei 8k Tokens
Von Local AI Scope gemessen
Was Deutsch gegenüber Englisch kostet
Von Local AI Scope gemessen
Videos: flint-40b 1
Die besten Vorführungen, die wir gefunden haben. Drücken Sie auf Play, und es läuft direkt hier.
Die Videos liegen bei YouTube, und von dort wird nichts geladen, bevor Sie auf Play drücken (Modus ohne Cookies). Das Vorschaubild kommt von uns.
Größen der veröffentlichten Dateien
Das sind die Größen der tatsächlich vom Autor veröffentlichten Dateien, addiert, wenn das Modell in Teilen ausgeliefert wird. Keine Schätzung aus der Parameterzahl.
| Kompression | Modellgröße |
|---|---|
Q8_0 |
39,44 GiB |
Q6_K |
32,78 GiB |
Q5_K_M |
28,69 GiB |
Q5_K_S |
26,63 GiB |
Q4_K_M |
23,61 GiB |
Q4_K_S |
22,19 GiB |
IQ4_XS |
20,91 GiB |
Q3_K_M |
18,19 GiB |
Kontextspeicher
Berechnet aus dem Aufmerksamkeitsmuster, das dieses Modell Schicht für Schicht angibt, nicht aus der generischen Formel. Deshalb liegt der Wert oft deutlich unter dem anderer Rechner.
- 8k Tokens → 0,25 GiB
- 32k Tokens → 0,91 GiB
- 128k Tokens → 3,53 GiB
Was es in jeder Sprache kostet
Gemessen, indem der Tokenizer dieses Modells über denselben Inhalt in vier Sprachen läuft. Tokens sind das, was man im Kontext, im Speicher und auf der Cloud-Rechnung zahlt.
| Textsorte | EN | ES | FR | DE |
|---|---|---|---|---|
| Code | — | ×1,27 | ×1,40 | ×1,59 |
| Verträge | — | ×1,33 | ×1,40 | ×1,67 |
| Geschäftliche E-Mails | — | ×1,23 | ×1,32 | ×1,38 |
| Support-Tickets | — | ×1,39 | ×1,49 | ×1,52 |
Englisch ist die Referenz: Jede Zahl gibt an, um wie viel mehr Tokens derselbe Inhalt in dieser Sprache kostet. Durchschnitt über das gesamte Korpus: DE ×1,55.
Wo es passt
Passt heißt: Modell, Kontextspeicher und Arbeitsreserve passen beim angegebenen Kontext gemeinsam hinein und lassen dem System seinen Anteil. 10 von den 18 getesteten Rechnern (Q4_K_M, 8k Tokens).
Wenn Sie es stärker komprimieren, läuft es auch dort, wo die Tabelle Nein sagt: als Q4_K_S (22,19 GiB) mit bis zu 8k Tokens Kontext auf Workstation mit RTX 4090 24 GB; als Q3_K_M (18,19 GiB) mit bis zu 32k Tokens Kontext auf Mac mit M4 Pro und 24 GB. Unterhalb von Q4_K_M verliert das Modell etwas an Qualität, bei Q3_K_M merkt man es; deshalb bleibt die Tabelle oben bei Q4_K_M.
Bevor Sie auf Download klicken: Stand 23. Oktober 2026 ist Recursive Flint ganz neu, und die Programme, die es ausführen, ziehen gerade erst nach – prüfen Sie also zuerst Ihre Version. llama.cpp öffnet es ab dem täglichen Build b11803 (vom 21. Oktober 2026); seine jüngste stabile Version v0.7.0 (vom 15. Oktober 2026) nicht. Ollama führt es seit Version 0.40.9 (vom 23. Oktober 2026) neben macOS auch unter Linux und Windows aus; mit dieser Version kam das in Ollama eingebaute llama.cpp auf Build b11803. Achtung: ollama run flint lädt nicht das Q4_K_M aus der Tabelle (23,61 GiB). Auf einem Mac mit Apple Silicon holt es eine MLX-Version, unter Linux, Windows und auf Intel-Macs die NVFP4-Datei von Recursive selbst (21,29 GiB, vor allem für NVIDIA-Karten gedacht). Nach unserer Rechnung passt die NVFP4-Datei auf eine Grafikkarte mit 24 GB bis 16k, aber laut Recursive wurde sie auf vier NVIDIA-Systemen getestet (B300, RTX PRO 6000 Blackwell, RTX Spark und DGX Spark), und Recursive empfiehlt mindestens 48 GB Grafikspeicher; ob sie auf einer RTX 4090 läuft, haben wir nicht geprüft. Ollama bietet außerdem das Q4_1 von Recursive (flint:40b-a2b-q4_1, 24,21 GiB, vor allem für den Mac gedacht; Recursive verlangt mindestens 48 GB Unified Memory) und eine MLX-Version (flint:40b-a2b-qat-int4, 21,03 GiB) an; diese läuft schon ab Version 0.40.8, allerdings nur unter macOS. Das Team von LM Studio hat ein GGUF in seinem Community-Programm (lmstudio-community) veröffentlicht, dessen Q4_K_M 22,51 GiB wiegt; welche Version der Engine von LM Studio nötig ist, haben wir nicht geprüft – aktualisieren Sie sie also, bevor Sie es ausprobieren. mlx-lm öffnet es in seiner neuesten Version 0.32.2 nicht. vLLM hat es am 22. Oktober 2026 in seinen Entwicklungszweig aufgenommen, nach seiner jüngsten stabilen Version 0.32.0, die es deshalb noch nicht öffnet. Und zum Kontext: Die Tabelle endet bei 256k, das ist der Wert aus seiner config.json; Recursive nennt bis zu 512k und empfiehlt, 256k nicht zu überschreiten.