Startseite›Modelle›nemotron-3.5-lightning-30b
nemotron-3.5-lightning-30b
Architektur Expertenmischung52 SchichtenLizenz openmdw-1.1Maximaler Kontext 256kVokabular 131.072
Bei Q4_K_M ist das eine Datei von 23,73 GiB, und sie passt auf 10 der 18 Rechner, die wir durchrechnen (die mit dem wenigsten Speicher: Mini-PC mit NPU und 32 GB LPDDR5X · Mac mini mit M6 und 32 GB Unified Memory). Hier füllt die Datei den Speicher: Selbst beim maximalen Kontext von 256k Tokens kommen 1,50 GiB hinzu — und derselbe Inhalt braucht auf Deutsch 1,40-mal so viele Tokens wie auf Englisch.
Modellgröße bei Q4_K_M
Von Local AI Scope gemessen
Kontextspeicher bei 8k Tokens
Von Local AI Scope gemessen
Was Deutsch gegenüber Englisch kostet
Von Local AI Scope gemessen
Videos: nemotron-3.5-lightning-30b 1
Die offiziellen Videos, die wir am nützlichsten fanden. Drücken Sie auf Play, und es läuft direkt hier.
Die Videos liegen bei YouTube, und von dort wird nichts geladen, bevor Sie auf Play drücken (Modus ohne Cookies). Das Vorschaubild kommt von uns.
Größen der veröffentlichten Dateien
Das sind die Größen der tatsächlich vom Autor veröffentlichten Dateien, addiert, wenn das Modell in Teilen ausgeliefert wird. Keine Schätzung aus der Parameterzahl.
| Kompression | Modellgröße |
|---|---|
Q8_0 |
32,60 GiB |
Q6_K |
31,95 GiB |
Q5_K_M |
25,11 GiB |
Q4_K_M |
23,73 GiB |
Q5_K_S |
23,06 GiB |
Q4_K_S |
21,61 GiB |
Q3_K_M |
18,46 GiB |
IQ4_XS |
17,62 GiB |
Kontextspeicher
Berechnet aus dem Aufmerksamkeitsmuster, das dieses Modell Schicht für Schicht angibt, nicht aus der generischen Formel. Deshalb liegt der Wert oft deutlich unter dem anderer Rechner.
- 8k Tokens → 0,05 GiB
- 32k Tokens → 0,19 GiB
- 128k Tokens → 0,75 GiB
Was es in jeder Sprache kostet
Gemessen, indem der Tokenizer dieses Modells über denselben Inhalt in vier Sprachen läuft. Tokens sind das, was man im Kontext, im Speicher und auf der Cloud-Rechnung zahlt.
| Textsorte | EN | ES | FR | DE |
|---|---|---|---|---|
| Code | — | ×1,23 | ×1,31 | ×1,51 |
| Verträge | — | ×1,21 | ×1,25 | ×1,37 |
| Geschäftliche E-Mails | — | ×1,19 | ×1,22 | ×1,31 |
| Support-Tickets | — | ×1,28 | ×1,36 | ×1,37 |
Englisch ist die Referenz: Jede Zahl gibt an, um wie viel mehr Tokens derselbe Inhalt in dieser Sprache kostet. Durchschnitt über das gesamte Korpus: DE ×1,40.
Wo es passt
Passt heißt: Modell, Kontextspeicher und Arbeitsreserve passen beim angegebenen Kontext gemeinsam hinein und lassen dem System seinen Anteil. 10 von den 18 getesteten Rechnern (Q4_K_M, 8k Tokens).
Wenn Sie es stärker komprimieren, läuft es auch dort, wo die Tabelle Nein sagt: als Q4_K_S (21,61 GiB) mit bis zu 32k Tokens Kontext auf Workstation mit RTX 4090 24 GB; als IQ4_XS (17,62 GiB) mit bis zu 64k Tokens Kontext auf Mac mit M4 Pro und 24 GB. Unterhalb von Q4_K_M verliert das Modell etwas an Qualität, bei Q3_K_M merkt man es; deshalb bleibt die Tabelle oben bei Q4_K_M.
Bevor Sie auf Download klicken: Stand 19. Oktober 2026 öffnen llama.cpp, Ollama, LM Studio, mlx-lm und vLLM dieses Modell alle – mit einem Haken, der uns überrascht hat: Keine der drei „Q4_K_M“-Dateien, die wir uns angesehen haben, passt auf eine Grafikkarte mit 24 GB. llama.cpp öffnet es in seinen jüngsten stabilen Versionen v0.6.0 (vom 5. Oktober 2026) und v0.7.0 (vom 15. Oktober 2026); Achtung: Seit v0.7.0 lauscht der Server standardmäßig auf Port 9931 statt auf 8080 (die Docker-Images bleiben bei 8080). Ollama bietet es seit 0.32.9 an (ollama run nemotron-3.5-lightning), sein q4_K_M wiegt 23,68 GiB, nur Text; LM Studio bietet es mit dem GGUF seines Community-Programms (lmstudio-community) an, dessen Q4_K_M 22,83 GiB wiegt (welche Version seiner Engine nötig ist, haben wir nicht geprüft – aktualisieren Sie sie also, bevor Sie es ausprobieren). Mit der Datei aus der Tabelle (23,73 GiB), der von Ollama oder der von LM Studio reicht die RTX 4090 (23,20 GiB nutzbar, nach unserer Rechnung) nicht einmal bei 4k. Warum wiegt ein „30B“ bei 4 Bit so viel? Bei diesem Modell kann ein Teil der Experten-Tensoren nicht in Q4_K gespeichert werden, und die Datei weicht auf Q5_0 und Q8_0 aus, wie wir im Header gelesen haben: Deshalb wiegt die Q5_K_S (23,06 GiB) weniger als die Q4_K_M. Die gute Nachricht: Auf die RTX 4090 passen die Q4_K_S (21,61 GiB) bis 32k und die IQ4_XS (17,62 GiB) bis 128k. Auf dem Mac läuft es mit mlx-lm in der 4-Bit-Version von mlx-community (16,55 GiB, erstellt mit mlx-lm 0.31.3): Nach unserer Rechnung kommt der Mac mit M4 Pro und 24 GB damit auf 128k. Auch vLLM unterstützt es: Mit den originalen BF16-Gewichten (61,31 GiB) passt es auf keinen PC mit Grafikkarte auf unserer Liste; NVIDIA veröffentlicht zusätzlich eine NVFP4-Version (20,08 GiB) mit Rezepten für vLLM; diese Version haben wir für unsere Geräte aber nicht durchgerechnet. Und zum Kontext: Die Tabelle endet bei 256k, so viel deklariert seine config.json; NVIDIA und Ollama nennen bis zu 1M.