Startseite›Modelle›qwen3.5-9b
qwen3.5-9b
Architektur dicht32 SchichtenLizenz apache-2.0Maximaler Kontext 256kVokabular 248.320
Bei Q4_K_M ist das eine Datei von 5,29 GiB, und sie passt auf 18 der 18 Rechner, die wir durchrechnen (der mit dem wenigsten Speicher: PC mit RTX 4060 8 GB). Vorsicht beim Kontext: Bei seinem Maximum von 256k Tokens belegt er 8,00 GiB, mehr als die Datei selbst — und derselbe Inhalt braucht auf Deutsch 1,31-mal so viele Tokens wie auf Englisch.
Modellgröße bei Q4_K_M
Von Local AI Scope gemessen
Kontextspeicher bei 8k Tokens
Von Local AI Scope gemessen
Was Deutsch gegenüber Englisch kostet
Von Local AI Scope gemessen
Videos: qwen3.5-9b 2
Die besten Vorführungen, die wir gefunden haben. Drücken Sie auf Play, und es läuft direkt hier.
Die Videos liegen bei YouTube, und von dort wird nichts geladen, bevor Sie auf Play drücken (Modus ohne Cookies). Das Vorschaubild kommt von uns.
Größen der veröffentlichten Dateien
Das sind die Größen der tatsächlich vom Autor veröffentlichten Dateien, addiert, wenn das Modell in Teilen ausgeliefert wird. Keine Schätzung aus der Parameterzahl.
| Kompression | Modellgröße |
|---|---|
Q8_0 |
8,87 GiB |
Q6_K |
6,95 GiB |
Q5_K_M |
6,13 GiB |
Q5_K_S |
5,92 GiB |
Q4_K_M |
5,29 GiB |
Q4_K_S |
5,02 GiB |
IQ4_XS |
4,81 GiB |
Q3_K_M |
4,35 GiB |
Dieses Modell liest auch Bilder. Dafür braucht es eine zweite Datei, den Vision-Projektor (mmproj-F16.gguf, 0,86 GiB), die neben dem Modell veröffentlicht wird und in den Zahlen dieser Seite nicht enthalten ist: Sie zählen nur Text. Wenn Sie ihm Bilder schicken wollen, rechnen Sie diese Datei zur Modellgröße hinzu.
Kontextspeicher
Berechnet aus dem Aufmerksamkeitsmuster, das dieses Modell Schicht für Schicht angibt, nicht aus der generischen Formel. Deshalb liegt der Wert oft deutlich unter dem anderer Rechner.
- 8k Tokens → 0,25 GiB
- 32k Tokens → 1,00 GiB
- 128k Tokens → 4,00 GiB
Was es in jeder Sprache kostet
Gemessen, indem der Tokenizer dieses Modells über denselben Inhalt in vier Sprachen läuft. Tokens sind das, was man im Kontext, im Speicher und auf der Cloud-Rechnung zahlt.
| Textsorte | EN | ES | FR | DE |
|---|---|---|---|---|
| Code | — | ×1,20 | ×1,30 | ×1,46 |
| Verträge | — | ×1,16 | ×1,23 | ×1,31 |
| Geschäftliche E-Mails | — | ×1,12 | ×1,22 | ×1,17 |
| Support-Tickets | — | ×1,24 | ×1,40 | ×1,25 |
Englisch ist die Referenz: Jede Zahl gibt an, um wie viel mehr Tokens derselbe Inhalt in dieser Sprache kostet. Durchschnitt über das gesamte Korpus: DE ×1,31.
Wo es passt
Passt heißt: Modell, Kontextspeicher und Arbeitsreserve passen beim angegebenen Kontext gemeinsam hinein und lassen dem System seinen Anteil. 18 von den 18 getesteten Rechnern (Q4_K_M, 8k Tokens).
Bevor Sie auf Download klicken: Stand 12. Oktober 2026 öffnen alle Programme unserer Liste dieses Modell. Alle stabilen Versionen von llama.cpp enthalten es (am 16. Oktober 2026 war v0.7.0 vom 15. Oktober 2026 die neueste), ebenso jeder tägliche Build seit b7990; Ollama bietet es seit 0.17.5 an; LM Studio führt es im eigenen Katalog, der mindestens 7 GB Systemspeicher verlangt; mlx-lm öffnet es ab 0.31.0, allerdings nur für Text, und vLLM ab 0.17.0, mit den originalen BF16-Gewichten (17,98 GiB) im Grafikspeicher: Von den PCs unserer Liste mit Grafikkarte haben nur die RTX 4090 und der Server mit zwei RTX 3090 dafür Platz, und auf dem Mac läuft vLLM nur experimentell auf der CPU. Standardmäßig denkt es nach, bevor es antwortet (eine Angewohnheit, die wir jedem empfehlen würden), und seine Entwickler raten, ihm dafür mindestens 128k Tokens Kontext zu lassen: Laut der Tabelle oben schaffen das die Rechner mit 16 GB oder mehr, die 12-GB-Karten bleiben bei 64k stehen und die 8-GB-Karte bei 16k. Die Tabelle zählt nur Text. Wer Bilder schicken will, lädt zusätzlich den Vision-Projektor (0,86 GiB), und Ollama lädt ihn immer, auch für reinen Text: Sein qwen3.5:9b belegt 6,6 GB samt Projektor (auf dem Mac nutzt Ollama seine MLX-Version mit 7,6 GB). Mit Projektor kommen die 16-GB-Rechner auf 64k statt 128k, die 12-GB-Karten bleiben bei 64k, und die RTX 4060 mit 8 GB kommt auf 8k, mit 0,10 GiB Reserve oder weniger – zu wenig, um sich darauf zu verlassen; ab 24 GB ändert sich nichts: 256k.