Station de travail avec RTX 4090 24 Go

Les tailles sont celles des fichiers réellement publiés à la compression de référence, un palier par ligne : Q4_K_M lorsque l’auteur la publie, le voisin le plus proche sinon. Chaque ligne indique laquelle elle affiche. Q4_K_M est notre plancher de qualité : en dessous, la perte s’entend dans les réponses. Un modèle qui ne tiendrait ici qu’avec une compression plus agressive est classé comme ne tenant pas, à dessein. Un tiret dans une colonne de contexte signifie que le modèle n’offre pas ce contexte, il n’y a donc rien à faire tenir.

Modèles qui tiennent — 17 sur les 26 modèles mesurés

• qwen3-1.7b Q4_K_M — contexte 32k tokens
• qwen3-4b-2507 Q4_K_M — contexte 64k tokens
• gemma4-e2b Q4_K_M — contexte 128k tokens
• gemma4-e4b Q4_K_M — contexte 128k tokens
• qwen3-8b Q4_K_M — contexte 32k tokens
• granite-4.2-8b Q4_K_M — contexte 64k tokens
• qwen3.5-9b Q4_K_M — contexte 256k tokens
• gemma4-12b Q4_K_M — contexte 256k tokens
• gpt-oss-20b Q4_K_M — contexte 128k tokens
• mistral-small-24b Q4_K_M — contexte 32k tokens
• qwen3.8-27b Q4_K_M — contexte 64k tokens
• muse-glimmer-30b Q4_K_M — contexte 128k tokens
• qwen3.6-27b Q4_K_M — contexte 64k tokens
• gemma4-26b-a4b Q4_K_M — contexte 128k tokens
• gemma4-31b Q4_K_M — contexte 32k tokens
• qwen3-coder-30b Q4_K_M — contexte 32k tokens
• qwen3.6-35b-a3b Q4_K_M — contexte 32k tokens

Modèles qui ne tiennent pas — 9 sur les 26 modèles mesurés

• flint-40b Q4_K_M — il manque 1,22 GiB
• nemotron-3.5-lightning-30b Q4_K_M — il manque 1,23 GiB
• gpt-oss-120b Q4_K_M — il manque 36,08 GiB
• llama4-scout-17b Q4_K_M — il manque 39,10 GiB
• nemotron-3.5-super-120b Q4_K_M — il manque 42,80 GiB
• qwen3.8-flash-next IQ4_XS — il manque 64,82 GiB
• deepseek-v4-flash IQ4_XS — il manque 105,09 GiB
• glm-5.3-flash Q4_K_M — il manque 164,60 GiB
• glm-5.2 Q4_K_M — il manque 411,92 GiB

Prêt à compresser un peu plus ? Alors, dans cette liste, tout n’est pas hors de portée. Dans les 23,20 GiB de VRAM qui restent pour le modèle, flint-40b tient en Q4_K_S (22,19 GiB) avec jusqu’à 8k tokens de contexte, et nemotron-3.5-lightning-30b tient en Q4_K_S (21,61 GiB) avec jusqu’à 32k tokens de contexte. Sous la compression du tableau, un modèle perd en qualité ; c’est pourquoi notre décompte s’en tient au tableau.

Les machines voisines

• Portable de bureau, processeur seul, 16 Go — 13,00 Gio pour le modèle, 9 / 26 modèles
• Mac avec M4 Pro et 24 Go — 21,00 Gio pour le modèle, 16 / 26 modèles
• Mac mini avec M6 et 32 Go unifiés — 29,00 Gio pour le modèle, 19 / 26 modèles
• Mini-PC avec NPU et 32 Go LPDDR5X — 29,00 Gio pour le modèle, 19 / 26 modèles