Inicio›Modelos›nemotron-3.5-lightning-30b
nemotron-3.5-lightning-30b
Arquitectura mezcla de expertos52 CapasLicencia openmdw-1.1Contexto máximo 256kVocabulario 131.072
En Q4_K_M es un fichero de 23,73 GiB y entra en 10 de los 18 equipos que medimos (los de menos memoria: Mini-PC con NPU y 32 GB LPDDR5X · Mac mini con M6 y 32 GB unificados). Aquí lo que llena la memoria es el fichero: incluso con su contexto máximo de 256k tokens, el contexto suma 1,50 GiB — y el mismo contenido, en tokens, cuesta en español ×1,23 lo que en inglés (en alemán, ×1,40).
Tamaño del modelo en Q4_K_M
Medido por Local AI Scope
Memoria de contexto a 8k tokens
Medido por Local AI Scope
Lo que cuesta el alemán frente al inglés
Medido por Local AI Scope
Vídeos: nemotron-3.5-lightning-30b 1
Los vídeos oficiales que nos han parecido más útiles. Pulsa y se abre aquí mismo.
Los vídeos están en YouTube y no se carga nada de allí hasta que pulsas (modo sin cookies). La miniatura la servimos nosotros.
Tamaños de los ficheros publicados
Son los tamaños de los ficheros que publica su autor, sumados cuando el modelo viene partido en trozos. No es una estimación a partir del número de parámetros.
| Compresión | Tamaño del modelo |
|---|---|
Q8_0 |
32,60 GiB |
Q6_K |
31,95 GiB |
Q5_K_M |
25,11 GiB |
Q4_K_M |
23,73 GiB |
Q5_K_S |
23,06 GiB |
Q4_K_S |
21,61 GiB |
Q3_K_M |
18,46 GiB |
IQ4_XS |
17,62 GiB |
Memoria de contexto
Calculada con el patrón de atención que este modelo declara capa a capa, no con la fórmula genérica. Por eso la cifra suele ser bastante menor que la que dan otras calculadoras.
- 8k tokens → 0,05 GiB
- 32k tokens → 0,19 GiB
- 128k tokens → 0,75 GiB
Lo que cuesta en cada idioma
Medido ejecutando el tokenizador de este modelo sobre el mismo contenido en cuatro idiomas. Los tokens son lo que se paga en contexto, en memoria y en la factura de la nube.
| Tipo de texto | EN | ES | FR | DE |
|---|---|---|---|---|
| Código | — | ×1,23 | ×1,31 | ×1,51 |
| Contratos | — | ×1,21 | ×1,25 | ×1,37 |
| Correo de empresa | — | ×1,19 | ×1,22 | ×1,31 |
| Tickets de soporte | — | ×1,28 | ×1,36 | ×1,37 |
El inglés es la referencia: cada cifra es cuántas veces más tokens cuesta el mismo contenido en ese idioma. Media sobre todo el corpus: DE ×1,40.
Dónde cabe
Que quepa significa que caben el modelo, su memoria de contexto y el margen de trabajo al contexto indicado, dejándole al sistema lo suyo. 10 de los 18 equipos probados (Q4_K_M, 8k tokens).
Si aceptas comprimirlo más, sí corre donde la tabla dice que no: en Q4_K_S (21,61 GiB), hasta 32k tokens de contexto, en Estación con RTX 4090 24 GB; en IQ4_XS (17,62 GiB), hasta 64k tokens de contexto, en Mac con M4 Pro y 24 GB. Por debajo de Q4_K_M el modelo pierde algo de calidad, y en Q3_K_M se nota; por eso la tabla de arriba se queda en Q4_K_M.
Antes de darle a descargar: a 19 de octubre de 2026, llama.cpp, Ollama, LM Studio, mlx-lm y vLLM lo abren todos, con un matiz que nos ha sorprendido: en una tarjeta gráfica de 24 GB no entra ninguno de los tres «Q4_K_M» que hemos mirado. llama.cpp lo abre en sus estables más recientes, la v0.6.0 (del 5 de octubre de 2026) y la v0.7.0 (del 15 de octubre de 2026); ojo, que desde la v0.7.0 su servidor escucha por defecto en el puerto 9931, no en el 8080 (las imágenes de Docker siguen en el 8080). Ollama lo ofrece desde la 0.32.9 (ollama run nemotron-3.5-lightning) y su q4_K_M pesa 23,68 GiB, solo texto; LM Studio, con el GGUF de su programa de comunidad (lmstudio-community), cuyo Q4_K_M pesa 22,83 GiB (no hemos comprobado qué versión de su motor hace falta, así que actualízalo antes de probar). Con el fichero de la tabla (23,73 GiB), con el de Ollama o con el de LM Studio, la RTX 4090 (23,20 GiB útiles, según nuestras cuentas) se queda corta incluso a 4k. ¿Por qué un «30B» pesa tanto a 4 bits? En este modelo parte de los tensores de los expertos no puede ir en Q4_K y el fichero tira de Q5_0 y Q8_0, según hemos leído en su cabecera: por eso la Q5_K_S (23,06 GiB) pesa menos que la Q4_K_M. La buena noticia: en la RTX 4090 sí entran la Q4_K_S (21,61 GiB), hasta 32k, y la IQ4_XS (17,62 GiB), hasta 128k. En Mac, mlx-lm lo mueve con la versión de 4 bits de mlx-community (16,55 GiB, preparada con mlx-lm 0.31.3): según nuestras cuentas, con ella el Mac con M4 Pro y 24 GB llega a 128k. vLLM también lo admite: con los pesos BF16 originales (61,31 GiB) no cabe en ningún PC con gráfica de nuestra lista; NVIDIA publica además una versión NVFP4 (20,08 GiB) con recetas para vLLM, pero de esa no hemos echado cuentas en nuestros equipos. Y el contexto: la tabla se queda en 256k, que es lo que declara su config.json; NVIDIA y Ollama anuncian hasta 1M.