Accueil›Modèles›mistral-small-24b
mistral-small-24b
Architecture dense40 CouchesLicence apache-2.0Contexte maximal 128kVocabulaire 131.072
En Q4_K_M, c’est un fichier de 13,35 Gio et il tient sur 5 des 10 machines que nous mesurons. Ce qui coûte cher n’est pas le fichier : c’est le contexte — et le même contenu en allemand coûte ×1,40 ce qu’il coûte en anglais.
Taille du modèle en Q4_K_M
Mesuré par Local AI Scope
Mémoire de contexte à 8k tokens
Mesuré par Local AI Scope
Ce que coûte l’allemand face à l’anglais
Mesuré par Local AI Scope
Tailles des fichiers publiés
Ce sont les tailles des fichiers réellement publiés par son auteur, additionnées lorsque le modèle est livré en plusieurs parties. Pas une estimation à partir du nombre de paramètres.
| Compression | Taille du modèle |
|---|---|
Q8_0 |
23,33 GiB |
Q6_K |
18,02 GiB |
Q5_K_M |
15,61 GiB |
Q5_K_S |
15,19 GiB |
Q4_K_M |
13,35 GiB |
Q4_K_S |
12,62 GiB |
IQ4_XS |
11,90 GiB |
Q3_K_M |
10,69 GiB |
Mémoire de contexte
Calculée à partir du schéma d’attention que ce modèle déclare couche par couche, et non de la formule générique. C’est pourquoi le chiffre est souvent bien inférieur à celui d’autres calculateurs.
- 8k tokens → 1,25 GiB
- 32k tokens → 5,00 GiB
- 128k tokens → 20,00 GiB
Ce qu’il coûte dans chaque langue
Mesuré en exécutant le tokenizer de ce modèle sur le même contenu dans quatre langues. Les tokens sont ce que l’on paie en contexte, en mémoire et sur la facture du cloud.
| Type de texte | EN | ES | FR | DE |
|---|---|---|---|---|
| Code | — | ×1,23 | ×1,31 | ×1,51 |
| Contrats | — | ×1,21 | ×1,25 | ×1,37 |
| Courriels d’entreprise | — | ×1,19 | ×1,22 | ×1,31 |
| Tickets d’assistance | — | ×1,28 | ×1,36 | ×1,37 |
L’anglais est la référence : chaque chiffre indique combien de fois plus de tokens coûte le même contenu dans cette langue. Moyenne sur tout le corpus: DE ×1,40.
Où il tient
Tenir signifie que le modèle, sa mémoire de contexte et la marge de travail tiennent au contexte indiqué, en laissant au système sa part. 5 sur les 10 machines testées (Q4_K_M, 8k tokens).
| Machine | Tient | Mémoire restante | Plus grand contexte qui tient |
|---|---|---|---|
| PC avec RTX 4060 8 Go | non | 7,20 GiB | — |
| PC avec RTX 3060 12 Go | non | 11,20 GiB | — |
| PC avec RTX 4070 12 Go | non | 11,20 GiB | — |
| Mac avec M4 et 16 Go unifiés | non | 13,00 GiB | — |
| Portable de bureau, processeur seul, 16 Go | non | 13,00 GiB | — |
| Mac avec M4 Pro et 24 Go | oui | 21,00 GiB | 32k |
| Station de travail avec RTX 4090 24 Go | oui | 23,20 GiB | 32k |
| Mini-PC avec NPU et 32 Go LPDDR5X | oui | 29,00 GiB | 64k |
| Serveur avec 2× RTX 3090 (48 Go) | oui | 47,20 GiB | 128k |
| Mac avec M4 Max et 64 Go | oui | 61,00 GiB | 128k |