Inicio›Modelos›mistral-small-24b
mistral-small-24b
Arquitectura denso40 CapasLicencia apache-2.0Contexto máximo 128kVocabulario 131.072
En Q4_K_M es un fichero de 13,35 GiB y entra en 12 de los 18 equipos que medimos (el de menos memoria: Mac con M4 Pro y 24 GB). Ojo con el contexto: con su máximo de 128k tokens ocupa 20,00 GiB, más que el propio fichero — y el mismo contenido, en tokens, cuesta en español ×1,23 lo que en inglés (en alemán, ×1,40).
Tamaño del modelo en Q4_K_M
Medido por Local AI Scope
Memoria de contexto a 8k tokens
Medido por Local AI Scope
Lo que cuesta el alemán frente al inglés
Medido por Local AI Scope
Tamaños de los ficheros publicados
Son los tamaños de los ficheros que publica su autor, sumados cuando el modelo viene partido en trozos. No es una estimación a partir del número de parámetros.
| Compresión | Tamaño del modelo |
|---|---|
Q8_0 |
23,33 GiB |
Q6_K |
18,02 GiB |
Q5_K_M |
15,61 GiB |
Q5_K_S |
15,19 GiB |
Q4_K_M |
13,35 GiB |
Q4_K_S |
12,62 GiB |
IQ4_XS |
11,90 GiB |
Q3_K_M |
10,69 GiB |
Este modelo también lee imágenes. Para eso necesita un segundo fichero, el proyector de visión (mmproj-F16.gguf, 0,82 GiB), que se publica junto al modelo y no está sumado en las cifras de esta página: cuentan solo el texto. Si vas a pasarle imágenes, añádelo al tamaño del modelo.
Memoria de contexto
Calculada con el patrón de atención que este modelo declara capa a capa, no con la fórmula genérica. Por eso la cifra suele ser bastante menor que la que dan otras calculadoras.
- 8k tokens → 1,25 GiB
- 32k tokens → 5,00 GiB
- 128k tokens → 20,00 GiB
Lo que cuesta en cada idioma
Medido ejecutando el tokenizador de este modelo sobre el mismo contenido en cuatro idiomas. Los tokens son lo que se paga en contexto, en memoria y en la factura de la nube.
| Tipo de texto | EN | ES | FR | DE |
|---|---|---|---|---|
| Código | — | ×1,23 | ×1,31 | ×1,51 |
| Contratos | — | ×1,21 | ×1,25 | ×1,37 |
| Correo de empresa | — | ×1,19 | ×1,22 | ×1,31 |
| Tickets de soporte | — | ×1,28 | ×1,36 | ×1,37 |
El inglés es la referencia: cada cifra es cuántas veces más tokens cuesta el mismo contenido en ese idioma. Media sobre todo el corpus: DE ×1,40.
Dónde cabe
Que quepa significa que caben el modelo, su memoria de contexto y el margen de trabajo al contexto indicado, dejándole al sistema lo suyo. 12 de los 18 equipos probados (Q4_K_M, 8k tokens).
Si aceptas comprimirlo más, sí corre donde la tabla dice que no: en Q3_K_M (10,69 GiB), hasta 8k tokens de contexto, en Mac con M4 y 16 GB unificados · Portátil de oficina, solo CPU y 16 GB · Mac mini con M6 y 16 GB unificados. Por debajo de Q4_K_M el modelo pierde algo de calidad, y en Q3_K_M se nota; por eso la tabla de arriba se queda en Q4_K_M.