Inicio›Modelos›llama4-scout-17b

Ficha de modelo

llama4-scout-17b

Arquitectura mezcla de expertos48 CapasLicencia llama4Contexto máximo 10.240kVocabulario 202.048

En Q4_K_M es un fichero de 60,87 GiB y entra en 5 de los 18 equipos que medimos (el de menos memoria: Xiaomi AI Cube, 80 GB — prototipo de ingeniería). Ojo con el contexto: con su máximo de 10240k tokens ocupa 481,12 GiB, más que el propio fichero — y el mismo contenido, en tokens, cuesta en español ×1,17 lo que en inglés (en alemán, ×1,30).

De un vistazo
Tamaño en Q4_K_M60,87 GiB
Memoria de contexto a 8k1,50 GiB
Cabe en5 / 18
Coste del alemán×1,30
Equipo más pequeño que lo admiteXiaomi AI Cube, 80 GB — prototipo de ingeniería
60,87 GiB

Tamaño del modelo en Q4_K_M

Medido por Local AI Scope

1,50 GiB

Memoria de contexto a 8k tokens

Medido por Local AI Scope

×1,30

Lo que cuesta el alemán frente al inglés

Medido por Local AI Scope

Tamaños

Tamaños de los ficheros publicados

Son los tamaños de los ficheros que publica su autor, sumados cuando el modelo viene partido en trozos. No es una estimación a partir del número de parámetros.

Tamaño del fichero publicado para cada compresión
Compresión Tamaño del modelo
Q8_0 106,67 GiB
Q6_K 82,36 GiB
Q5_K_M 71,29 GiB
Q5_K_S 69,16 GiB
Q4_K_M 60,87 GiB
Q4_K_S 57,23 GiB
IQ4_XS 53,69 GiB
Q3_K_M 48,20 GiB

Este modelo también lee imágenes. Para eso necesita un segundo fichero, el proyector de visión (mmproj-F16.gguf, 1,63 GiB), que se publica junto al modelo y no está sumado en las cifras de esta página: cuentan solo el texto. Si vas a pasarle imágenes, añádelo al tamaño del modelo.

Contexto

Memoria de contexto

Calculada con el patrón de atención que este modelo declara capa a capa, no con la fórmula genérica. Por eso la cifra suele ser bastante menor que la que dan otras calculadoras.

  • 8k tokens → 1,50 GiB
  • 32k tokens → 2,62 GiB
  • 128k tokens → 7,12 GiB
Idiomas

Lo que cuesta en cada idioma

Medido ejecutando el tokenizador de este modelo sobre el mismo contenido en cuatro idiomas. Los tokens son lo que se paga en contexto, en memoria y en la factura de la nube.

Coste en tokens por tipo de texto y por idioma, con el inglés de referencia
Tipo de texto EN ES FR DE
Código — ×1,19 ×1,32 ×1,40
Contratos — ×1,13 ×1,23 ×1,26
Correo de empresa — ×1,13 ×1,21 ×1,23
Tickets de soporte — ×1,21 ×1,37 ×1,26

El inglés es la referencia: cada cifra es cuántas veces más tokens cuesta el mismo contenido en ese idioma. Media sobre todo el corpus: DE ×1,30.

Equipos

Dónde cabe

Que quepa significa que caben el modelo, su memoria de contexto y el margen de trabajo al contexto indicado, dejándole al sistema lo suyo. 5 de los 18 equipos probados (Q4_K_M, 8k tokens).

Los 18 equipos probados, con la memoria que deja cada uno y el mayor contexto que este modelo aguanta en él
Equipo Cabe Memoria libre Mayor contexto que cabe
PC con RTX 4060 8 GB no 7,20 GiB —
PC con RTX 3060 12 GB no 11,20 GiB —
PC con RTX 4070 12 GB no 11,20 GiB —
Mac con M4 y 16 GB unificados no 13,00 GiB —
Portátil de oficina, solo CPU y 16 GB no 13,00 GiB —
Mac mini con M6 y 16 GB unificados no 13,00 GiB —
Mac con M4 Pro y 24 GB no 21,00 GiB —
Estación con RTX 4090 24 GB no 23,20 GiB —
Mini-PC con NPU y 32 GB LPDDR5X no 29,00 GiB —
Mac mini con M6 y 32 GB unificados no 29,00 GiB —
Servidor con 2× RTX 3090 (48 GB) no 47,20 GiB —
Mac con M4 Max y 64 GB no 61,00 GiB —
Mac mini con M5 Pro y 64 GB unificados no 61,00 GiB —
Xiaomi AI Cube, 80 GB — prototipo de ingeniería sí 77,00 GiB 128k
PC con Ryzen AI Max+ 395 y 128 GB unificados sí 96,00 GiB 256k
Mac Studio con M5 Max y 128 GB unificados sí 125,00 GiB 512k
PC con Ryzen AI Max+ PRO 495 y 192 GB unificados sí 160,00 GiB 1024k
Mac Studio con M5 Ultra y 512 GB unificados sí 509,00 GiB 1024k

Si aceptas comprimirlo más, sí corre donde la tabla dice que no: en Q4_K_S (57,23 GiB), hasta 16k tokens de contexto, en Mac con M4 Max y 64 GB · Mac mini con M5 Pro y 64 GB unificados. Por debajo de Q4_K_M el modelo pierde algo de calidad, y en Q3_K_M se nota; por eso la tabla de arriba se queda en Q4_K_M.