Serveur avec 2× RTX 3090 (48 Go)

Ces 48 Go sont deux réservoirs distincts de 24 Go, pas un seul. Ils ne s’additionnent que si le runtime répartit le modèle entre les deux cartes par couches ; un modèle qui doit tenir sur une seule carte reste plafonné à 24 Go. Les calculs ci-dessous supposent que la répartition fonctionne.

Les tailles sont celles des fichiers réellement publiés à la compression de référence, un palier par ligne : Q4_K_M lorsque l’auteur la publie, le voisin le plus proche sinon. Chaque ligne indique laquelle elle affiche. Q4_K_M est notre plancher de qualité : en dessous, la perte s’entend dans les réponses. Un modèle qui ne tiendrait ici qu’avec une compression plus agressive est classé comme ne tenant pas, à dessein. Un tiret dans une colonne de contexte signifie que le modèle n’offre pas ce contexte, il n’y a donc rien à faire tenir.

Modèles qui tiennent — 19 sur les 26 modèles mesurés

• qwen3-1.7b Q4_K_M — contexte 32k tokens
• qwen3-4b-2507 Q4_K_M — contexte 256k tokens
• gemma4-e2b Q4_K_M — contexte 128k tokens
• gemma4-e4b Q4_K_M — contexte 128k tokens
• qwen3-8b Q4_K_M — contexte 32k tokens
• granite-4.2-8b Q4_K_M — contexte 128k tokens
• qwen3.5-9b Q4_K_M — contexte 256k tokens
• gemma4-12b Q4_K_M — contexte 256k tokens
• gpt-oss-20b Q4_K_M — contexte 128k tokens
• mistral-small-24b Q4_K_M — contexte 128k tokens
• qwen3.8-27b Q4_K_M — contexte 256k tokens
• muse-glimmer-30b Q4_K_M — contexte 128k tokens
• qwen3.6-27b Q4_K_M — contexte 256k tokens
• gemma4-26b-a4b Q4_K_M — contexte 256k tokens
• gemma4-31b Q4_K_M — contexte 256k tokens
• qwen3-coder-30b Q4_K_M — contexte 256k tokens
• qwen3.6-35b-a3b Q4_K_M — contexte 256k tokens
• flint-40b Q4_K_M — contexte 256k tokens
• nemotron-3.5-lightning-30b Q4_K_M — contexte 256k tokens

Modèles qui ne tiennent pas — 7 sur les 26 modèles mesurés

• gpt-oss-120b Q4_K_M — il manque 12,08 GiB
• llama4-scout-17b Q4_K_M — il manque 15,10 GiB
• nemotron-3.5-super-120b Q4_K_M — il manque 18,80 GiB
• qwen3.8-flash-next IQ4_XS — il manque 40,82 GiB
• deepseek-v4-flash IQ4_XS — il manque 81,09 GiB
• glm-5.3-flash Q4_K_M — il manque 140,60 GiB
• glm-5.2 Q4_K_M — il manque 387,92 GiB

Les machines voisines

• Mac mini avec M6 et 32 Go unifiés — 29,00 Gio pour le modèle, 19 / 26 modèles
• Mini-PC avec NPU et 32 Go LPDDR5X — 29,00 Gio pour le modèle, 19 / 26 modèles
• Mac avec M4 Max et 64 Go — 61,00 Gio pour le modèle, 20 / 26 modèles
• Mac mini avec M5 Pro et 64 Go unifiés — 61,00 Gio pour le modèle, 20 / 26 modèles