Accueil›Modèles›llama4-scout-17b
llama4-scout-17b
Architecture mélange d’experts48 CouchesLicence llama4Contexte maximal 10.240kVocabulaire 202.048
En Q4_K_M, c’est un fichier de 60,87 Gio, et il tient sur 5 des 18 machines que nous mesurons (celle qui a le moins de mémoire : Xiaomi AI Cube, 80 Go — prototype d’ingénierie). Attention au contexte : à son maximum de 10240k tokens, il occupe 481,12 Gio, plus que le fichier lui-même — et le même contenu demande en français 1,28 fois autant de tokens qu’en anglais (en allemand, 1,30 fois).
Taille du modèle en Q4_K_M
Mesuré par Local AI Scope
Mémoire de contexte à 8k tokens
Mesuré par Local AI Scope
Ce que coûte l’allemand face à l’anglais
Mesuré par Local AI Scope
Tailles des fichiers publiés
Ce sont les tailles des fichiers réellement publiés par son auteur, additionnées lorsque le modèle est livré en plusieurs parties. Pas une estimation à partir du nombre de paramètres.
| Compression | Taille du modèle |
|---|---|
Q8_0 |
106,67 GiB |
Q6_K |
82,36 GiB |
Q5_K_M |
71,29 GiB |
Q5_K_S |
69,16 GiB |
Q4_K_M |
60,87 GiB |
Q4_K_S |
57,23 GiB |
IQ4_XS |
53,69 GiB |
Q3_K_M |
48,20 GiB |
Ce modèle lit aussi les images. Il lui faut pour cela un second fichier, le projecteur de vision (mmproj-F16.gguf, 1,63 Gio), publié à côté du modèle et non compté dans les chiffres de cette page : ils ne comptent que le texte. Si vous comptez lui envoyer des images, ajoutez-le à la taille du modèle.
Mémoire de contexte
Calculée à partir du schéma d’attention que ce modèle déclare couche par couche, et non de la formule générique. C’est pourquoi le chiffre est souvent bien inférieur à celui d’autres calculateurs.
- 8k tokens → 1,50 GiB
- 32k tokens → 2,62 GiB
- 128k tokens → 7,12 GiB
Ce qu’il coûte dans chaque langue
Mesuré en exécutant le tokenizer de ce modèle sur le même contenu dans quatre langues. Les tokens sont ce que l’on paie en contexte, en mémoire et sur la facture du cloud.
| Type de texte | EN | ES | FR | DE |
|---|---|---|---|---|
| Code | — | ×1,19 | ×1,32 | ×1,40 |
| Contrats | — | ×1,13 | ×1,23 | ×1,26 |
| Courriels d’entreprise | — | ×1,13 | ×1,21 | ×1,23 |
| Tickets d’assistance | — | ×1,21 | ×1,37 | ×1,26 |
L’anglais est la référence : chaque chiffre indique combien de fois plus de tokens coûte le même contenu dans cette langue. Moyenne sur tout le corpus: DE ×1,30.
Où il tient
Tenir signifie que le modèle, sa mémoire de contexte et la marge de travail tiennent au contexte indiqué, en laissant au système sa part. 5 sur les 18 machines testées (Q4_K_M, 8k tokens).
Si vous acceptez de le compresser davantage, il tourne là où le tableau dit non : en Q4_K_S (57,23 Gio), jusqu’à 16k tokens de contexte, sur Mac avec M4 Max et 64 Go · Mac mini avec M5 Pro et 64 Go unifiés. Sous Q4_K_M, le modèle perd un peu en qualité, et en Q3_K_M cela se sent ; c’est pourquoi le tableau ci-dessus s’en tient à Q4_K_M.