Accueil›Modèles›nemotron-3.5-super-120b

Fiche de modèle

nemotron-3.5-super-120b

Architecture mélange d’experts88 CouchesLicence openmdw-1.1Contexte maximal 1.024kVocabulaire 131.072

Voir 2 vidéos

En Q4_K_M, c’est un fichier de 65,29 Gio, et il tient sur 5 des 18 machines que nous mesurons (celle qui a le moins de mémoire : Xiaomi AI Cube, 80 Go — prototype d’ingénierie). Ici, c’est le fichier qui remplit la mémoire : même à son contexte maximal de 1024k tokens, le contexte ajoute 8,00 Gio — et le même contenu demande en français 1,29 fois autant de tokens qu’en anglais (en allemand, 1,40 fois).

En un coup d’œil
Taille en Q4_K_M65,29 GiB
Mémoire de contexte à 8k0,06 GiB
Tient sur5 / 18
Coût de l’allemand×1,40
Plus petite machine qui l’accepteXiaomi AI Cube, 80 Go — prototype d’ingénierie
65,29 GiB

Taille du modèle en Q4_K_M

Mesuré par Local AI Scope

0,06 GiB

Mémoire de contexte à 8k tokens

Mesuré par Local AI Scope

×1,40

Ce que coûte l’allemand face à l’anglais

Mesuré par Local AI Scope

Vidéos

Vidéos : nemotron-3.5-super-120b 2

Les images officielles et les meilleures démonstrations que nous avons trouvées. Appuyez et la vidéo s’ouvre ici.

Les vidéos sont sur YouTube et rien ne se charge depuis YouTube tant que vous n’appuyez pas (mode sans cookies). La miniature est servie par nous.

Tailles

Tailles des fichiers publiés

Ce sont les tailles des fichiers réellement publiés par son auteur, additionnées lorsque le modèle est livré en plusieurs parties. Pas une estimation à partir du nombre de paramètres.

Taille du fichier publié pour chaque compression
Compression Taille du modèle
Q4_K_M 65,29 GiB

Ce modèle lit aussi les images. Il lui faut pour cela un second fichier, le projecteur de vision (mmproj-NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-BF16.gguf, 1,61 Gio), publié à côté du modèle et non compté dans les chiffres de cette page : ils ne comptent que le texte. Si vous comptez lui envoyer des images, ajoutez-le à la taille du modèle.

Contexte

Mémoire de contexte

Calculée à partir du schéma d’attention que ce modèle déclare couche par couche, et non de la formule générique. C’est pourquoi le chiffre est souvent bien inférieur à celui d’autres calculateurs.

  • 8k tokens → 0,06 GiB
  • 32k tokens → 0,25 GiB
  • 128k tokens → 1,00 GiB
Langues

Ce qu’il coûte dans chaque langue

Mesuré en exécutant le tokenizer de ce modèle sur le même contenu dans quatre langues. Les tokens sont ce que l’on paie en contexte, en mémoire et sur la facture du cloud.

Coût en tokens par type de texte et par langue, l’anglais servant de référence
Type de texte EN ES FR DE
Code — ×1,23 ×1,31 ×1,51
Contrats — ×1,21 ×1,25 ×1,37
Courriels d’entreprise — ×1,19 ×1,22 ×1,31
Tickets d’assistance — ×1,28 ×1,36 ×1,37

L’anglais est la référence : chaque chiffre indique combien de fois plus de tokens coûte le même contenu dans cette langue. Moyenne sur tout le corpus: DE ×1,40.

Machines

Où il tient

Tenir signifie que le modèle, sa mémoire de contexte et la marge de travail tiennent au contexte indiqué, en laissant au système sa part. 5 sur les 18 machines testées (Q4_K_M, 8k tokens).

Les 18 machines testées, avec la mémoire que chacune laisse et le plus grand contexte que ce modèle y tient
Machine Tient Mémoire restante Plus grand contexte qui tient
PC avec RTX 4060 8 Go non 7,20 GiB —
PC avec RTX 3060 12 Go non 11,20 GiB —
PC avec RTX 4070 12 Go non 11,20 GiB —
Mac avec M4 et 16 Go unifiés non 13,00 GiB —
Portable de bureau, processeur seul, 16 Go non 13,00 GiB —
Mac mini avec M6 et 16 Go unifiés non 13,00 GiB —
Mac avec M4 Pro et 24 Go non 21,00 GiB —
Station de travail avec RTX 4090 24 Go non 23,20 GiB —
Mini-PC avec NPU et 32 Go LPDDR5X non 29,00 GiB —
Mac mini avec M6 et 32 Go unifiés non 29,00 GiB —
Serveur avec 2× RTX 3090 (48 Go) non 47,20 GiB —
Mac avec M4 Max et 64 Go non 61,00 GiB —
Mac mini avec M5 Pro et 64 Go unifiés non 61,00 GiB —
Xiaomi AI Cube, 80 Go — prototype d’ingénierie oui 77,00 GiB 256k
PC avec Ryzen AI Max+ 395 et 128 Go unifiés oui 96,00 GiB 1024k
Mac Studio avec M5 Max et 128 Go unifiés oui 125,00 GiB 1024k
PC avec Ryzen AI Max+ PRO 495 et 192 Go unifiés oui 160,00 GiB 1024k
Mac Studio avec M5 Ultra et 512 Go unifiés oui 509,00 GiB 1024k

Avant de cliquer sur télécharger : au 17 octobre 2026, ce modèle est si récent que seules les dernières versions l’ouvrent. llama.cpp le prend en charge depuis sa version stable v0.7.0 (compilation b11669, du 15 octobre 2026) ; les précédentes, non. Attention : depuis cette version, son serveur écoute par défaut sur le port 9931, et non plus sur le 8080 (les images Docker restent sur le 8080). Ollama le propose depuis la version 0.40.5 (ollama run nemotron-3.5-super), mais sur PC son q4_K_M n’est pas le fichier du tableau : il pèse 82,35 Gio, plus le projecteur de vision de 1,61 Gio qu’Ollama charge à chaque fois, soit 83,96 Gio au total. Même nom, autre recette : dans ce modèle, une partie des tenseurs des experts ne peut pas passer en Q4_K, et chaque fichier se rabat sur un format différent (IQ4_NL pour celui de LM Studio, Q5_0 et Q8_0 pour celui d’Ollama), comme nous l’avons lu dans l’en-tête de chacun. Avec celui d’Ollama, le Xiaomi AI Cube de 80 Go ne peut plus accueillir le modèle et le PC avec Ryzen AI Max+ 395 passe de 1024k à 256k de contexte ; avec celui de LM Studio (65,29 Gio), le Xiaomi y arrive, jusqu’à 256k, comme l’indique le tableau. LM Studio le propose avec le GGUF de son programme communautaire (lmstudio-community), publié le 14 octobre 2026 ; nous n’avons pas vérifié quelle version de son moteur l’ouvre, alors mettez-le à jour avant d’essayer. Sur Mac, le catalogue d’Ollama propose sous ce même nom une version MLX (nvfp4, 74,09 Gio) ; avec mlx-lm seul, nous n’avons pas pu le confirmer. Mis à jour le 19 octobre 2026 : la recette vLLM de NVIDIA demande la version 0.32.0, stable depuis le 18 octobre 2026, ou une compilation nightly. Il lit les images grâce au projecteur de 1,61 Gio, que le tableau n’ajoute pas ; selon NVIDIA, il comprend aussi la vidéo (des clips de 2 minutes maximum), mais dans ses recettes pour vLLM et SGLang : Ollama et llama.cpp n’annoncent que les images, pour l’instant. Il existe aussi une Q8_0 (119,65 Gio), mais notre catalogue ne la référence pas, donc le trouveur de modèles ne la propose pas : d’après notre calcul, texte seul, elle tiendrait sur le PC avec Ryzen AI Max+ PRO 495 et sur le Mac Studio avec M5 Ultra jusqu’à 1024k, et sur le Mac Studio avec M5 Max et 128 Go jusqu’à 128k.