gemma4-12b
Arquitectura denso48 CapasLicencia apache-2.0Contexto máximo 256kVocabulario 262.144
En Q4_K_M es un fichero de 6,63 GiB y entra en 17 de los 18 equipos que medimos (los de menos memoria: PC con RTX 3060 12 GB · PC con RTX 4070 12 GB). Aquí lo que llena la memoria es el fichero: incluso con su contexto máximo de 256k tokens, el contexto suma 4,31 GiB — y el mismo contenido, en tokens, cuesta en español ×1,16 lo que en inglés (en alemán, ×1,33).
Tamaño del modelo en Q4_K_M
Medido por Local AI Scope
Memoria de contexto a 8k tokens
Medido por Local AI Scope
Lo que cuesta el alemán frente al inglés
Medido por Local AI Scope
Tamaños de los ficheros publicados
Son los tamaños de los ficheros que publica su autor, sumados cuando el modelo viene partido en trozos. No es una estimación a partir del número de parámetros.
| Compresión | Tamaño del modelo |
|---|---|
Q8_0 |
11,80 GiB |
Q6_K |
9,11 GiB |
Q5_K_M |
7,84 GiB |
Q5_K_S |
7,64 GiB |
Q4_K_M |
6,63 GiB |
Q4_K_S |
6,30 GiB |
IQ4_XS |
5,94 GiB |
Q3_K_M |
5,30 GiB |
Este modelo también lee imágenes. Para eso necesita un segundo fichero, el proyector de visión (mmproj-F16.gguf, 0,16 GiB), que se publica junto al modelo y no está sumado en las cifras de esta página: cuentan solo el texto. Si vas a pasarle imágenes, añádelo al tamaño del modelo.
Memoria de contexto
Calculada con el patrón de atención que este modelo declara capa a capa, no con la fórmula genérica. Por eso la cifra suele ser bastante menor que la que dan otras calculadoras. Sus capas de atención completa no están hechas como las de ventana: 1 cabeza clave-valor de 512 por capa en lugar de 8 cabezas clave-valor de 256. Contamos cada tipo con su propio tamaño, y con la clave y el valor guardados por separado, que es lo que llama.cpp y MLX tienen en memoria.
- 8k tokens → 0,44 GiB
- 32k tokens → 0,81 GiB
- 128k tokens → 2,31 GiB
Lo que cuesta en cada idioma
Medido ejecutando el tokenizador de este modelo sobre el mismo contenido en cuatro idiomas. Los tokens son lo que se paga en contexto, en memoria y en la factura de la nube.
| Tipo de texto | EN | ES | FR | DE |
|---|---|---|---|---|
| Código | — | ×1,16 | ×1,25 | ×1,39 |
| Contratos | — | ×1,15 | ×1,22 | ×1,36 |
| Correo de empresa | — | ×1,11 | ×1,21 | ×1,21 |
| Tickets de soporte | — | ×1,20 | ×1,40 | ×1,32 |
El inglés es la referencia: cada cifra es cuántas veces más tokens cuesta el mismo contenido en ese idioma. Media sobre todo el corpus: DE ×1,33.
Dónde cabe
Que quepa significa que caben el modelo, su memoria de contexto y el margen de trabajo al contexto indicado, dejándole al sistema lo suyo. 17 de los 18 equipos probados (Q4_K_M, 8k tokens).
Si aceptas comprimirlo más, sí corre donde la tabla dice que no: en IQ4_XS (5,94 GiB), hasta 8k tokens de contexto, en PC con RTX 4060 8 GB. Por debajo de Q4_K_M el modelo pierde algo de calidad, y en Q3_K_M se nota; por eso la tabla de arriba se queda en Q4_K_M.