Start›Ratgeber

Ratgeber

Ratgeber, die mit einer Messung antworten

Auch wir lesen Ratgeber ungeduldig, deshalb gleich vorweg: Jeder Ratgeber hier geht von einer Zahl aus, die wir auf dieser Seite gemessen haben und die einer weit verbreiteten Annahme widerspricht. Die Tabelle sagt, was jeder klärt und welche Zahl er bringt — so wissen Sie vor dem Öffnen, welcher sich lohnt.

Die Leitfäden gemessen
Veröffentlichte Leitfäden67
Auf Deutsch16
Abgedeckte Silos2
Der neueste2026-10-22
Auf Deutsch veröffentlichte Leitfäden: das Silo, was jeder klärt und die Zahl, die er misst.
LeitfadenWas er klärtDie gemessene Zahl
Auswahlllama.cpp vs. Ollama: dieselbe Engine, 4 Anfragen gleichzeitig oder 1 – und welches?Ollama startet intern den Server von llama.cpp. Du wählst also keine Engine, sondern ob du jede Einstellung selbst setzt oder sie dir abgenommen wird. Parallele Anfragen, Kontext, Speicher, offene Türen und was jedes von sich aus sendet.4 gegen 1
AuswahlvLLM vs. Ollama: 1 Nutzer oder 256 gleichzeitig – und welche Türen jeder öffnetDas eine bringt ein Modell auf deinen Rechner, das andere stellt es vielen bereit. Anders sind Hardware, Dateiformate, Speicher, die ab Werk offenen Türen und was jeder von sich aus sendet.1 gegen 256
AuswahlLM Studio vs. Ollama: gleiche Engine, andere Türen – und welches du nimmstBeide nutzen dieselben Modelle mit llama.cpp und MLX. Anders sind das Fenster, der Code, den man lesen kann, die ab Werk offenen Türen und was jeder von sich aus nach draußen schickt.4 gegen 2
Einrichtenllama.cpp funktioniert nicht? 8 Fehler, die genaue Meldung und die LösungAuf einer RTX 3060 mit 12 GB braucht Qwen3 8B in Q4_K_M beim Standardkontext von llama.cpp, 40.960 Tokens, 11,66 GiB, 0,46 GiB mehr als die Karte übrig lässt: llama.cpp verweigert nicht, es kürzt den Kontext und meldet es nur in einer Logzeile. Mit -ctk q8_0 -ctv q8_0 passt der volle Kontext in 9,02 GiB.11,66 GiB
EinrichtenvLLM funktioniert nicht? 8 Fehler, die genaue Meldung und die LösungAuf einer RTX 3060 mit 12 GB lässt Qwen3 8B in AWQ höchstens 5,36 GiB von vLLMs Standardanteil übrig, und sein Standardkontext von 40.960 Tokens braucht allein 5,625 GiB KV-Cache: vLLM startet erst, wenn Sie --max-model-len senken oder den Cache in fp8 speichern.5,625 GiB
EinrichtenMLX funktioniert nicht? 7 Fehler, die genaue Meldung und die LösungAuf einem Mac mit 16 GB Unified Memory lag die Standardgrenze von mlx-lm in einem echten Bericht bei 10.922 MB: Darunter passt gpt-oss-20b nicht einmal mit 4k Kontext; nach unserer Rechnung kommt Gemma 4 12B auf 103.424 Tokens.10.922 MB
EinrichtenLM Studio funktioniert nicht? 7 Fehler, die genaue Meldung und die LösungAuf einem Mac mit 16 GB Unified Memory passt Gemma 4 12B bis 161.792 Tokens Kontext, Qwen3 8B nur bis 49.152.161.792 Tokens
EinrichtenOllama funktioniert nicht? 9 Fehler, die genaue Meldung und die LösungAuf einem Mac mit 16 GB kostet der Sprung von 8k auf 32k Kontext Qwen3 8B 3,82 GiB, gpt-oss-20b nur 1,01 GiB.+3,82 GiB
AuswahlAlternativen zum Xiaomi AI Cube: was man mit 64 bis 192 GB wirklich kaufen kann – und was darauf läuftFür den AI Cube gibt es weder Preis noch Termin. 4 Rechner mit 64 bis 192 GB haben heute einen Preis; gemessen an 26 Modellen landet der Prototyp in der Mitte, hinter dreien davon.22 von 26
Einrichtenllama.cpp auf dem eigenen Rechner einrichten, und sehen, was es sendetDie Engine unter fast allen lokalen KI-Programmen sendet von sich aus nichts und veröffentlicht mehrmals täglich einen neuen Build (30 in 28 Stunden), inzwischen mit fertigen Binärdateien für Linux mit NVIDIA. Ab Werk lädt sie den vollen Kontext des Modells, auf einer 8-GB-Karte bis zu 36 GiB Cache für ein 4B-Modell: llama.cpp verweigert nicht, es kürzt den Kontext oder lagert Schichten in den RAM aus.Port 9931
EinrichtenvLLM auf dem eigenen Rechner einrichten, und sehen, was es sendetDas einzige der 5 Programme, das ab Werk auf allen Netzwerkschnittstellen lauscht, startet außerdem ohne Schlüssel und mit eingeschalteter Nutzungsstatistik, die alle 10 Minuten einen Herzschlag an seine Entwickler schickt. CORS ist seit 0.32.0 immerhin ab Werk geschlossen. Und beim vollen Kontext eines Modells kann ein 4B-Modell 36 GiB Cache verlangen.Port 8000
EinrichtenMLX auf dem Mac mit mlx-lm einrichten, und sehen, was es sendetDas Programm, das von sich aus niemanden anruft und keinen Chat auf der Platte behält, kommt mit einem Server, den jede Website benutzen kann: keine Authentifizierung und CORS für jeden Ursprung. Und pip bringt endlich neuen Code: 0.32.0, die Python 3.11 verlangt.Port 8080
EinrichtenLM Studio und seinen lokalen Server einrichten, und sehen, was es sendetDas einzige Programm, das sich nicht prüfen lässt, kommt am dichtesten verschlossen: nur localhost, CORS aus, Tokens mit Rechten. Was es nach Hause sendet, kann niemand von außen zählen.Port 1234
EinrichtenOllama lokal einrichten, prüfen, ob es läuft, und sehen, was es sendetBei geöffneter Desktop-App ruft Ollama 30-mal am Tag von sich aus ollama.com an; 24 dieser Aufrufe lassen sich nicht abschalten.30 am Tag
AuswahlLokale KI auf Deutsch: was wirklich auf Ihren Rechner passtDeutsch ist die teuerste der vier gemessenen Sprachen: auf einer 8-GB-Karte kostet der Aufschlag ab 2.800 Wörtern ein ganzes Modell, auf 16 GB nur Wartezeit.2.800 Wörter
AuswahlPC für KI-Anwendungen: was auf Deutsch wirklich hineinpasstDie Sprache ändert, wie viele Modelle auf dieselbe Karte passen: auf einer 12-GB-Karte mit einem Vertrag von 12.000 Wörtern 8 auf Englisch und 4 auf Deutsch.8 → 4

Alle Zahlen dieser Tabelle misst Local AI Scope an den tatsächlich veröffentlichten Dateien und einem Parallelkorpus, und jeder Leitfaden trägt das Datum seiner Messung. Keine davon ist eine Herstellerangabe.

Sie fangen bei null an? Das kennen wir alle. Möchten Sie Ollama lieber erst im Video erklärt bekommen, bevor Sie eine Tabelle öffnen, ist dieses hier (auf Englisch) ein guter Einstieg; der Ollama-Ratgeber unter Einrichten bringt es danach auf Ihren eigenen Rechner: die Befehle, die Adresse, auf der es lauscht, und was es sendet.

Öffnet YouTube (ohne Cookies) erst, wenn Sie auf Play drücken. Mehr Videos im Datenblatt →

Andere Sprachen

Dieselbe Methode, auf eine andere Sprache angewandt

Die Sprach-Ratgeber in dieser Liste sind keine Übersetzungen voneinander: jeder zählt, was seine eigene Sprache auf denselben 26 Modellen kostet. Sie stehen hier, weil die Antwort meistens in der Sprache liegt, in der Sie wirklich arbeiten.

In den anderen Sprachen veröffentlichte Leitfäden, jeder misst seine eigene Sprache.
LeitfadenWas er klärtDie gemessene Zahl
Choisir · Françaisllama.cpp vs Ollama : le même moteur, 4 requêtes à la fois ou 1, et lequel choisirOllama lance en interne le serveur de llama.cpp : on ne choisit donc pas un moteur, mais entre tous les réglages en main ou des réglages choisis pour vous. Requêtes simultanées, contexte, mémoire, portes ouvertes et ce que chacun envoie.4 contre 1
Elegir · Españolllama.cpp vs Ollama: el mismo motor, 4 peticiones a la vez o 1, y cuál elegirOllama arranca por dentro el propio servidor de llama.cpp, así que no eliges motor: eliges entre tener todos los ajustes en la mano o que te los den hechos. Peticiones a la vez, contexto, memoria, puertas abiertas y lo que manda cada uno.4 contra 1
Choose · Englishllama.cpp vs Ollama: the same engine, 4 requests at once or 1, and which to pickOllama runs llama.cpp's own server inside, so the choice is not between engines: it is between every flag in your hands or the flags picked for you. Concurrency, context, memory, open doors and what each one sends.4 vs 1
Choisir · FrançaisvLLM vs Ollama : 1 utilisateur ou 256 à la fois, et les portes que chacun ouvreL’un est fait pour installer un modèle sur votre ordinateur, l’autre pour le servir à beaucoup de monde. Ce qui change : le matériel, les formats, la mémoire, les portes ouvertes d’origine et ce que chacun envoie.1 contre 256
Elegir · EspañolvLLM vs Ollama: 1 usuario o 256 a la vez, y qué puertas abre cada unoUno está hecho para poner un modelo en tu ordenador; el otro, para servirlo a mucha gente. Cambian el hardware, los formatos, la memoria, las puertas abiertas de fábrica y lo que manda cada uno.1 contra 256
Choose · EnglishvLLM vs Ollama: 1 user or 256 at once, and which doors each one opensOne is made to put a model on your computer, the other to serve it to a crowd. What changes: hardware, file formats, memory, the doors open out of the box and what each one sends out.1 vs 256
Choisir · FrançaisLM Studio vs Ollama : même moteur, autres portes, et lequel choisirLes deux font tourner les mêmes modèles avec llama.cpp et MLX. Ce qui change : la fenêtre, le code qu’on peut lire, les portes ouvertes d’origine et ce que chacun envoie dehors de lui-même.4 contre 2
Elegir · EspañolLM Studio vs Ollama: mismo motor, distintas puertas, y cuál elegirLos dos mueven los mismos modelos con llama.cpp y MLX. Cambia la ventana, el código que puedes leer, las puertas abiertas de fábrica y lo que cada uno manda fuera por su cuenta.4 contra 2
Choose · EnglishLM Studio vs Ollama: same engine, different doors, and which one to pickBoth run the same models on llama.cpp and MLX. What changes is the window, the code you can read, the doors open out of the box and what each one sends out on its own.4 vs 2
Installer · Françaisllama.cpp ne fonctionne pas ? 8 erreurs, le message exact et la solutionSur une RTX 3060 de 12 Go, Qwen3 8B en Q4_K_M avec le contexte par défaut de llama.cpp, 40 960 tokens, demande 11,66 Gio, 0,46 Gio de plus que ce que laisse la carte : llama.cpp ne refuse pas, il réduit le contexte et ne le signale que dans une ligne du journal. Avec -ctk q8_0 -ctv q8_0, le contexte complet tient dans 9,02 Gio.11,66 Gio
Instalar · Español¿llama.cpp no funciona? 8 errores, su mensaje exacto y el arregloEn una RTX 3060 de 12 GB, Qwen3 8B en Q4_K_M con el contexto por defecto de llama.cpp, 40.960 tokens, pide 11,66 GiB, 0,46 GiB más de lo que deja la tarjeta: llama.cpp no se niega, recorta el contexto y solo lo dice en una línea del log. Con -ctk q8_0 -ctv q8_0 el contexto entero cabe en 9,02 GiB.11,66 GiB
Setup · Englishllama.cpp not working? 8 errors, the exact message and the fixOn a 12 GB RTX 3060, Qwen3 8B in Q4_K_M at llama.cpp's default context of 40,960 tokens needs 11.66 GiB, 0.46 GiB more than the card leaves: llama.cpp does not refuse, it shrinks the context and only says so in one log line. With -ctk q8_0 -ctv q8_0 the full context fits in 9.02 GiB.11.66 GiB
Installer · FrançaisvLLM ne fonctionne pas ? 8 erreurs, le message exact et la solutionSur une RTX 3060 de 12 Go, Qwen3 8B en AWQ laisse au plus 5,36 Gio de la réserve par défaut de vLLM, et son contexte par défaut de 40 960 tokens demande 5,625 Gio de cache KV à lui seul : il ne démarre pas tant que vous ne réduisez pas --max-model-len ou ne stockez pas le cache en fp8.5,625 Gio
Instalar · Español¿vLLM no funciona? 8 errores, su mensaje exacto y el arregloEn una RTX 3060 de 12 GB, Qwen3 8B en AWQ deja como mucho 5,36 GiB de la reserva por defecto de vLLM, y su contexto por defecto de 40.960 tokens pide 5,625 GiB solo de caché KV: no arranca hasta que bajas --max-model-len o guardas la caché en fp8.5,625 GiB
Setup · EnglishvLLM not working? 8 errors, the exact message and the fixOn a 12 GB RTX 3060, Qwen3 8B in AWQ leaves at most 5.36 GiB of vLLM's default share, and its default 40,960-token context needs 5.625 GiB of KV cache alone: it will not start until you lower --max-model-len or store the cache in fp8.5.625 GiB
Installer · FrançaisMLX ne fonctionne pas ? 7 erreurs, le message exact et la solutionSur un Mac avec 16 Go de mémoire unifiée, le plafond par défaut de mlx-lm était de 10 922 Mo dans un rapport réel : en dessous, gpt-oss-20b ne tient pas même avec 4k de contexte, et, d'après nos calculs, Gemma 4 12B atteint 103 424 tokens.10 922 Mo
Instalar · Español¿MLX no funciona? 7 errores, su mensaje exacto y el arregloEn un Mac con 16 GB de memoria unificada, el techo por defecto de mlx-lm fue de 10.922 MB en un informe real: bajo él, gpt-oss-20b no cabe ni con 4k de contexto, y, según nuestras cuentas, Gemma 4 12B llega a 103.424 tokens.10.922 MB
Setup · EnglishMLX not working? 7 errors, the exact message and the fixOn a Mac with 16 GB of unified memory, mlx-lm's default ceiling was 10,922 MB in a real report: under it, gpt-oss-20b does not fit even at 4k of context, while by our numbers Gemma 4 12B reaches 103,424 tokens.10,922 MB
Installer · FrançaisLM Studio ne fonctionne pas ? 7 erreurs, le message exact et la solutionSur un Mac avec 16 Go de mémoire unifiée, Gemma 4 12B tient jusqu'à 161 792 tokens de contexte et Qwen3 8B seulement 49 152.161 792 tokens
Instalar · Español¿LM Studio no funciona? 7 errores, su mensaje exacto y el arregloEn un Mac con 16 GB de memoria unificada, Gemma 4 12B admite hasta 161.792 tokens de contexto y Qwen3 8B solo hasta 49.152.161.792 tokens
Setup · EnglishLM Studio not working? 7 errors, the exact message and the fixOn a Mac with 16 GB of unified memory, Gemma 4 12B fits up to 161,792 tokens of context and Qwen3 8B only up to 49,152.161,792 tokens
Installer · FrançaisOllama ne fonctionne pas ? 9 erreurs, le message exact et la solutionSur un Mac de 16 Go, passer de 8k à 32k de contexte coûte 3,82 Gio à Qwen3 8B et seulement 1,01 Gio à gpt-oss-20b.+3,82 Gio
Instalar · Español¿Ollama no funciona? 9 errores, su mensaje exacto y el arregloEn un Mac de 16 GB, pasar de 8k a 32k de contexto le cuesta 3,82 GiB a Qwen3 8B y solo 1,01 GiB a gpt-oss-20b.+3,82 GiB
Setup · EnglishOllama not working? 9 errors, the exact message and the fixOn a 16 GB Mac, going from 8k to 32k of context costs Qwen3 8B 3.82 GiB and gpt-oss-20b only 1.01 GiB.+3.82 GiB
Choisir · FrançaisAlternatives au Xiaomi AI Cube : ce qu’on peut vraiment acheter avec 64 à 192 Go, et ce que chacune fait tournerL’AI Cube n’a ni prix ni date de sortie. 4 machines de 64 à 192 Go ont déjà un prix ; face à 26 modèles, le prototype atterrit au milieu, derrière 3 d’entre elles.22 sur 26
Elegir · EspañolAlternativas al Xiaomi AI Cube: lo que sí se compra con 64 a 192 GB y lo que mueve cada unoEl AI Cube no tiene precio ni fecha de venta. Hoy se venden 4 equipos con 64 a 192 GB; frente a 26 modelos, el prototipo queda en mitad de la tabla, por detrás de 3 de ellos.22 de 26
Choose · EnglishXiaomi AI Cube alternatives: what you can actually buy with 64 to 192 GB, and what each one runsThe AI Cube has no price and no release date. Four machines with 64 to 192 GB already have one; measured against 26 models, the prototype lands in the middle, behind three of them.22 of 26
Installer · FrançaisInstaller llama.cpp sur votre propre machine, et voir ce qu’il envoieLe moteur qui se cache sous presque tous les logiciels d'IA locale n'envoie rien de lui-même, et publie une nouvelle compilation plusieurs fois par jour (30 en 28 heures), désormais avec des binaires prêts pour Linux avec NVIDIA. D'origine, il charge le contexte complet du modèle, soit jusqu'à 36 Gio de cache pour un modèle 4B sur une carte de 8 Go : llama.cpp ne refuse pas, il réduit le contexte ou déplace des couches vers la RAM.port 9931
Instalar · EspañolCómo instalar llama.cpp en tu propio equipo, y qué manda por su cuentaEl motor que hay debajo de casi todos los programas de IA local no manda nada por su cuenta, y publica una compilación nueva muchas veces al día (30 en las últimas 28 horas), ya con binarios hechos para Linux con NVIDIA. De fábrica carga el contexto completo del modelo, que en una tarjeta de 8 GB puede ser 36 GiB de caché para un modelo de 4B: llama.cpp no se niega, recorta el contexto o pasa capas a la RAM.puerto 9931
Setup · EnglishHow to set up llama.cpp on your own machine, and what it sends outThe engine under most local AI programs sends nothing out on its own, and publishes a new build many times a day (30 in the last 28 hours), now with ready-made binaries for Linux with NVIDIA. Out of the box it loads the model's full context, which on an 8 GB card can mean 36 GiB of cache for a 4B model: llama.cpp does not refuse: it shrinks the context or moves layers to RAM instead.port 9931
Installer · FrançaisInstaller vLLM sur votre propre machine, et voir ce qu’il envoieLe seul des 5 logiciels qui écoute d'origine sur toutes les interfaces réseau démarre aussi sans clé et avec des statistiques d'usage activées, qui envoient un signal à ses développeurs toutes les 10 minutes. Le CORS, au moins, est fermé par défaut depuis la 0.32.0. Et au contexte maximal du modèle, un modèle 4B peut réclamer 36 Gio de cache.port 8000
Instalar · EspañolCómo instalar vLLM en tu propio equipo, y qué manda por su cuentaEl único de los 5 programas que escucha de fábrica en todas las interfaces de red arranca además sin clave y con las estadísticas de uso activadas: un latido a sus desarrolladores cada 10 minutos. El CORS, al menos, viene cerrado desde la 0.32.0. Y con el contexto completo del modelo, uno de 4B puede pedir 36 GiB de caché.puerto 8000
Setup · EnglishHow to set up vLLM on your own machine, and what it sends outThe one runtime of the 5 that listens on every network interface out of the box also starts with no key and a heartbeat to its developers every 10 minutes; since 0.32.0, at least, its CORS has shipped closed. And at a model's full context, a 4B model can ask for 36 GiB of cache.port 8000
Installer · FrançaisInstaller MLX sur Mac avec mlx-lm, et voir ce qu’il envoieLe logiciel qui n'appelle personne de lui-même et ne garde aucune conversation sur disque est livré avec un serveur dont n'importe quel site peut se servir : aucune authentification et un CORS ouvert à toute origine. Et pip apporte enfin du code neuf : la 0.32.0, qui demande Python 3.11.port 8080
Instalar · EspañolCómo instalar MLX en un Mac con mlx-lm, y qué manda por su cuentaEl programa que no llama a nadie por su cuenta y no guarda ningún chat en disco trae un servidor que puede usar cualquier web: sin autenticación y con CORS abierto a cualquier origen. Y pip por fin trae código nuevo: la 0.32.0, que pide Python 3.11.puerto 8080
Setup · EnglishHow to set up MLX on a Mac with mlx-lm, and what it sends outThe runtime that calls nobody on its own and keeps no chat on disk ships a server any website can use: no authentication and CORS open to every origin. And pip finally brings new code: 0.32.0, which asks for Python 3.11.port 8080
Installer · FrançaisInstaller LM Studio et son serveur local, et voir ce qu’il envoieLe seul logiciel impossible à auditer est celui qui arrive le plus verrouillé : localhost seulement, CORS coupé, jetons à permissions. Ce qu'il envoie, personne au dehors ne peut le compter.port 1234
Instalar · EspañolCómo instalar LM Studio y su servidor local, y qué manda por su cuentaEl único programa que no se puede auditar es el que viene más cerrado: solo localhost, CORS apagado y tokens con permisos. Lo que manda a casa no lo puede contar nadie de fuera.puerto 1234
Setup · EnglishHow to set up LM Studio and its local server, and what it sends outThe one runtime you cannot audit ships the most locked down: localhost only, CORS off, API tokens with permissions. What it sends home, nobody outside can count.port 1234
Installer · FrançaisInstaller Ollama en local, vérifier qu’il tourne et voir ce qu’il envoieApplication de bureau ouverte, Ollama appelle ollama.com 30 fois par jour de lui-même, dont 24 impossibles à désactiver.30 par jour
Instalar · EspañolCómo instalar Ollama en local y ver qué manda por su cuentaCon la aplicación de escritorio abierta, Ollama llama a ollama.com 30 veces al día por su cuenta; 24 de esas llamadas no se pueden apagar.30 al día
Setup · EnglishHow to set up Ollama locally and see what it sends outWith the desktop app open, Ollama calls ollama.com 30 times a day on its own; 24 of those calls cannot be switched off.30 a day
Choisir · FrançaisIA locale en français : ce qui change, ce que ça coûte et ce que vous perdezSur les tickets de support, le français est la langue la plus chère des quatre mesurées : ×1,40 en médiane, devant l'allemand (×1,32).×1,40
Elegir · EspañolQué IA puedes instalar en tu PC (y qué vas a echar de menos de ChatGPT)La IA local es más pequeña y más lenta que la que usas: ×82 en una tarjeta de 8 GB, y unos 9 minutos hasta la primera palabra en un portátil sin gráfica.×82
Choose · EnglishWhat AI your computer can run, and what you give up to run itLocal AI is smaller and slower than the model you are used to: 82x smaller on an 8 GB card, and about 8 minutes to the first word on a laptop with no graphics card.82x
Choose · EnglishMac mini M6 vs Xiaomi AI Cube: what actually fits, and in which language it runs out firstBoth were announced as local-AI boxes inside 48 hours. Measured: the Mac mini M6 tops out at 32 GB and misses gpt-oss-120b by 30.28 GiB, while the 1.22 TB/s and 160 GB quoted for the AI Cube belong to two of its chips, not to the machine.30.28 GiB short
Choisir · FrançaisQuelle carte graphique pour une IA en local : ce qui tient vraiment, en françaisÀ 12 000 mots, le français ne coûte plus aucun modèle : il fait jeu égal avec l'anglais. Le surcoût vit entre 4 200 et 5 700 mots, puis entre 8 700 et 11 600, et à partir de 16 600.4 200
Elegir · EspañolQué PC necesitas para IA local: lo que cabe de verdad, en españolA 12.000 palabras el español ya no cuesta ningún modelo: empata con el inglés. El sobrecoste del español vive entre 4.200 y 5.700 palabras, entre 8.500 y 11.600 y desde 16.800.4.200
Choose · EnglishOn German code, qwen3-coder-30b costs 20% more than the cheapest of the 26 models we measuredA coding model picked on English benchmarks can be among the most expensive on a German codebase: qwen3-coder-30b needs 353 tokens where English needs 210.353 vs 210
Privacy · EnglishLLM token calculator: what the same text costs in four languagesWhat a language costs depends on the model, not only on the language: the same document is ×1.62 tokens in German on qwen3-8b and ×1.29 on gpt-oss-20b.×1.62
Choose · EnglishLLM VRAM calculator: what really fits, counted layer by layerThe generic VRAM formula treats every layer as full attention. On gemma4-12b at 32k it claims 12.00 GiB of cache where the real figure is 0.81 GiB.×14.8

Ein Ratgeber sagt, was im Allgemeinen gilt. Was auf Ihren Rechner passt — mit dem Kontext, den Ihre Arbeit braucht, und in Ihrer Sprache — beantwortet der Modellfinder.

Auf meinem Rechner prüfen