Accueil›Modèles›nemotron-3.5-lightning-30b
nemotron-3.5-lightning-30b
Architecture mélange d’experts52 CouchesLicence openmdw-1.1Contexte maximal 256kVocabulaire 131.072
En Q4_K_M, c’est un fichier de 23,73 Gio, et il tient sur 10 des 18 machines que nous mesurons (celles qui ont le moins de mémoire : Mini-PC avec NPU et 32 Go LPDDR5X · Mac mini avec M6 et 32 Go unifiés). Ici, c’est le fichier qui remplit la mémoire : même à son contexte maximal de 256k tokens, le contexte ajoute 1,50 Gio — et le même contenu demande en français 1,29 fois autant de tokens qu’en anglais (en allemand, 1,40 fois).
Taille du modèle en Q4_K_M
Mesuré par Local AI Scope
Mémoire de contexte à 8k tokens
Mesuré par Local AI Scope
Ce que coûte l’allemand face à l’anglais
Mesuré par Local AI Scope
Vidéos : nemotron-3.5-lightning-30b 1
Les vidéos officielles qui nous ont semblé les plus utiles. Appuyez et la vidéo s’ouvre ici.
Les vidéos sont sur YouTube et rien ne se charge depuis YouTube tant que vous n’appuyez pas (mode sans cookies). La miniature est servie par nous.
Tailles des fichiers publiés
Ce sont les tailles des fichiers réellement publiés par son auteur, additionnées lorsque le modèle est livré en plusieurs parties. Pas une estimation à partir du nombre de paramètres.
| Compression | Taille du modèle |
|---|---|
Q8_0 |
32,60 GiB |
Q6_K |
31,95 GiB |
Q5_K_M |
25,11 GiB |
Q4_K_M |
23,73 GiB |
Q5_K_S |
23,06 GiB |
Q4_K_S |
21,61 GiB |
Q3_K_M |
18,46 GiB |
IQ4_XS |
17,62 GiB |
Mémoire de contexte
Calculée à partir du schéma d’attention que ce modèle déclare couche par couche, et non de la formule générique. C’est pourquoi le chiffre est souvent bien inférieur à celui d’autres calculateurs.
- 8k tokens → 0,05 GiB
- 32k tokens → 0,19 GiB
- 128k tokens → 0,75 GiB
Ce qu’il coûte dans chaque langue
Mesuré en exécutant le tokenizer de ce modèle sur le même contenu dans quatre langues. Les tokens sont ce que l’on paie en contexte, en mémoire et sur la facture du cloud.
| Type de texte | EN | ES | FR | DE |
|---|---|---|---|---|
| Code | — | ×1,23 | ×1,31 | ×1,51 |
| Contrats | — | ×1,21 | ×1,25 | ×1,37 |
| Courriels d’entreprise | — | ×1,19 | ×1,22 | ×1,31 |
| Tickets d’assistance | — | ×1,28 | ×1,36 | ×1,37 |
L’anglais est la référence : chaque chiffre indique combien de fois plus de tokens coûte le même contenu dans cette langue. Moyenne sur tout le corpus: DE ×1,40.
Où il tient
Tenir signifie que le modèle, sa mémoire de contexte et la marge de travail tiennent au contexte indiqué, en laissant au système sa part. 10 sur les 18 machines testées (Q4_K_M, 8k tokens).
Si vous acceptez de le compresser davantage, il tourne là où le tableau dit non : en Q4_K_S (21,61 Gio), jusqu’à 32k tokens de contexte, sur Station de travail avec RTX 4090 24 Go; en IQ4_XS (17,62 Gio), jusqu’à 64k tokens de contexte, sur Mac avec M4 Pro et 24 Go. Sous Q4_K_M, le modèle perd un peu en qualité, et en Q3_K_M cela se sent ; c’est pourquoi le tableau ci-dessus s’en tient à Q4_K_M.
Avant de cliquer sur télécharger : au 19 octobre 2026, llama.cpp, Ollama, LM Studio, mlx-lm et vLLM l’ouvrent tous, avec une nuance qui nous a surpris : aucun des trois « Q4_K_M » que nous avons regardés ne tient sur une carte graphique de 24 Go. llama.cpp l’ouvre dans ses versions stables les plus récentes, la v0.6.0 (du 5 octobre 2026) et la v0.7.0 (du 15 octobre 2026) ; attention : depuis la v0.7.0, son serveur écoute par défaut sur le port 9931, et non plus sur le 8080 (les images Docker restent sur le 8080). Ollama le propose depuis la version 0.32.9 (ollama run nemotron-3.5-lightning) et son q4_K_M pèse 23,68 Gio, texte seul ; LM Studio, avec le GGUF de son programme communautaire (lmstudio-community), dont le Q4_K_M pèse 22,83 Gio (nous n’avons pas vérifié quelle version de son moteur il faut, alors mettez-le à jour avant d’essayer). Avec le fichier du tableau (23,73 Gio), celui d’Ollama ou celui de LM Studio, la RTX 4090 (23,20 Gio utiles, d’après notre calcul) ne suffit pas, même à 4k. Pourquoi un « 30B » pèse-t-il autant en 4 bits ? Dans ce modèle, une partie des tenseurs des experts ne peut pas passer en Q4_K et le fichier se rabat sur Q5_0 et Q8_0, comme nous l’avons lu dans son en-tête : c’est pour cela que la Q5_K_S (23,06 Gio) pèse moins que la Q4_K_M. La bonne nouvelle : la RTX 4090 accueille bien la Q4_K_S (21,61 Gio), jusqu’à 32k, et la IQ4_XS (17,62 Gio), jusqu’à 128k. Sur Mac, mlx-lm le fait tourner avec la version 4 bits de mlx-community (16,55 Gio, préparée avec mlx-lm 0.31.3) : d’après notre calcul, avec elle, le Mac avec M4 Pro et 24 Go atteint 128k. vLLM le prend aussi en charge : avec les poids BF16 d’origine (61,31 Gio), il ne tient sur aucun PC de notre liste équipé d’une carte graphique ; NVIDIA publie aussi une version NVFP4 (20,08 Gio) avec des recettes pour vLLM, mais nous n’avons pas fait le calcul pour celle-ci sur nos machines. Et le contexte : le tableau s’arrête à 256k, ce que déclare son config.json ; NVIDIA et Ollama annoncent jusqu’à 1M.