Inicio›Modelos›glm-5.2

Ficha de modelo

glm-5.2

Arquitectura mezcla de expertos78 CapasLicencia mitContexto máximo 1.024kVocabulario 154.880

En Q4_K_M es un fichero de 433,83 GiB y entra en 1 de los 18 equipos que medimos (solo uno: Mac Studio con M5 Ultra y 512 GB unificados). Aquí lo que llena la memoria es el fichero: incluso con su contexto máximo de 1024k tokens, el contexto suma 156,00 GiB — y el mismo contenido, en tokens, cuesta en español ×1,28 lo que en inglés (en alemán, ×1,49).

De un vistazo
Tamaño en Q4_K_M433,83 GiB
Memoria de contexto a 8k1,22 GiB
Cabe en1 / 18
Coste del alemán×1,49
Equipo más pequeño que lo admiteMac Studio con M5 Ultra y 512 GB unificados
433,83 GiB

Tamaño del modelo en Q4_K_M

Medido por Local AI Scope

1,22 GiB

Memoria de contexto a 8k tokens

Medido por Local AI Scope

×1,49

Lo que cuesta el alemán frente al inglés

Medido por Local AI Scope

Tamaños

Tamaños de los ficheros publicados

Son los tamaños de los ficheros que publica su autor, sumados cuando el modelo viene partido en trozos. No es una estimación a partir del número de parámetros.

Tamaño del fichero publicado para cada compresión
Compresión Tamaño del modelo
Q8_0 746,32 GiB
Q6_K 582,88 GiB
Q5_K_M 522,31 GiB
Q5_K_S 491,05 GiB
Q4_K_M 433,83 GiB
Q4_K_S 406,46 GiB
IQ4_XS 340,22 GiB
Q3_K_M 319,20 GiB
Contexto

Memoria de contexto

Calculada con el patrón de atención que este modelo declara capa a capa, no con la fórmula genérica. Por eso la cifra suele ser bastante menor que la que dan otras calculadoras. Este modelo guarda la memoria de contexto comprimida (atención latente): por cada capa y token, un vector de 512 valores en lugar de sus 64 cabezas de 192. La contamos como una cabeza de 512 para la clave y otra para el valor, que es algo más de lo que ocupa de verdad (un mismo latente sirve para las dos), así que estas cifras pecan por arriba, nunca por abajo.

  • 8k tokens → 1,22 GiB
  • 32k tokens → 4,88 GiB
  • 128k tokens → 19,50 GiB
Idiomas

Lo que cuesta en cada idioma

Medido ejecutando el tokenizador de este modelo sobre el mismo contenido en cuatro idiomas. Los tokens son lo que se paga en contexto, en memoria y en la factura de la nube.

Coste en tokens por tipo de texto y por idioma, con el inglés de referencia
Tipo de texto EN ES FR DE
Código — ×1,26 ×1,41 ×1,64
Contratos — ×1,29 ×1,36 ×1,52
Correo de empresa — ×1,22 ×1,32 ×1,32
Tickets de soporte — ×1,33 ×1,51 ×1,41

El inglés es la referencia: cada cifra es cuántas veces más tokens cuesta el mismo contenido en ese idioma. Media sobre todo el corpus: DE ×1,49.

Equipos

Dónde cabe

Que quepa significa que caben el modelo, su memoria de contexto y el margen de trabajo al contexto indicado, dejándole al sistema lo suyo. 1 de los 18 equipos probados (Q4_K_M, 8k tokens).

Los 18 equipos probados, con la memoria que deja cada uno y el mayor contexto que este modelo aguanta en él
Equipo Cabe Memoria libre Mayor contexto que cabe
PC con RTX 4060 8 GB no 7,20 GiB —
PC con RTX 3060 12 GB no 11,20 GiB —
PC con RTX 4070 12 GB no 11,20 GiB —
Mac con M4 y 16 GB unificados no 13,00 GiB —
Portátil de oficina, solo CPU y 16 GB no 13,00 GiB —
Mac mini con M6 y 16 GB unificados no 13,00 GiB —
Mac con M4 Pro y 24 GB no 21,00 GiB —
Estación con RTX 4090 24 GB no 23,20 GiB —
Mini-PC con NPU y 32 GB LPDDR5X no 29,00 GiB —
Mac mini con M6 y 32 GB unificados no 29,00 GiB —
Servidor con 2× RTX 3090 (48 GB) no 47,20 GiB —
Mac con M4 Max y 64 GB no 61,00 GiB —
Mac mini con M5 Pro y 64 GB unificados no 61,00 GiB —
Xiaomi AI Cube, 80 GB — prototipo de ingeniería no 77,00 GiB —
PC con Ryzen AI Max+ 395 y 128 GB unificados no 96,00 GiB —
Mac Studio con M5 Max y 128 GB unificados no 125,00 GiB —
PC con Ryzen AI Max+ PRO 495 y 192 GB unificados no 160,00 GiB —
Mac Studio con M5 Ultra y 512 GB unificados sí 509,00 GiB 256k