Serveur avec 2× RTX 3090 (48 Go)

Ces 48 Go sont deux réservoirs distincts de 24 Go, pas un seul. Ils ne s’additionnent que si le runtime répartit le modèle entre les deux cartes par couches ; un modèle qui doit tenir sur une seule carte reste plafonné à 24 Go. Les calculs ci-dessous supposent que la répartition fonctionne.

Les tailles sont celles des fichiers réellement publiés à la compression de référence, un palier par ligne : Q4_K_M lorsque l’auteur la publie, le voisin le plus proche sinon. Chaque ligne indique laquelle elle affiche. Q4_K_M est notre plancher de qualité : en dessous, la perte s’entend dans les réponses. Un modèle qui ne tiendrait ici qu’avec une compression plus agressive est classé comme ne tenant pas, à dessein. Un tiret dans une colonne de contexte signifie que le modèle n’offre pas ce contexte, il n’y a donc rien à faire tenir.

Modèles qui tiennent — 14 sur les 18 modèles mesurés

• qwen3-1.7b Q4_K_M — contexte 32k tokens
• qwen3-4b-2507 Q4_K_M — contexte 256k tokens
• gemma4-e2b Q4_K_M — contexte 128k tokens
• gemma4-e4b Q4_K_M — contexte 128k tokens
• qwen3-8b Q4_K_M — contexte 32k tokens
• gemma4-12b Q4_K_M — contexte 256k tokens
• gpt-oss-20b Q4_K_M — contexte 128k tokens
• mistral-small-24b Q4_K_M — contexte 128k tokens
• qwen3.8-27b Q4_K_M — contexte 256k tokens
• qwen3.6-27b Q4_K_M — contexte 256k tokens
• gemma4-26b-a4b Q4_K_M — contexte 256k tokens
• gemma4-31b Q4_K_M — contexte 128k tokens
• qwen3-coder-30b Q4_K_M — contexte 256k tokens
• qwen3.6-35b-a3b Q4_K_M — contexte 256k tokens

Modèles qui ne tiennent pas — 4 sur les 18 modèles mesurés

• gpt-oss-120b Q4_K_M — il manque 12,08 GiB
• llama4-scout-17b Q4_K_M — il manque 15,10 GiB
• deepseek-v4-flash IQ4_XS — il manque 81,09 GiB
• glm-5.2 Q4_K_M — il manque 401,93 GiB