Startseite›Rechner›Mini-PC mit NPU und 32 GB LPDDR5X
Mini-PC mit NPU und 32 GB LPDDR5X
Mini-PC mit NPU32 GiB120 GB/s4,0 TFLOPS
Dieser Rechner lässt dem Modell 29,00 GiB, nachdem das System seinen Anteil genommen hat, und er nimmt 14 der 18 Modelle auf, die wir bei der Referenzkompression messen. Über das Tempo der Antwort entscheidet nicht der Chip, sondern die 120 GB/s Speicherbandbreite.
Bleibt für das Modell
Eigene Schätzung
Speicherbandbreite
Eigene Schätzung
Modelle, die passen
Von Local AI Scope gemessen
Der Speicher, den Sie wirklich nutzen können
Der vereinheitlichte Speicher wird mit dem Betriebssystem und allem Geöffneten geteilt. Die Reserve hier ist bewusst vorsichtig angesetzt; im Werkzeug können Sie sie ändern.
| Speicher | GiB |
|---|---|
| Speicher des Rechners | 32 |
| Für das System reserviert | −3,00 |
| Bleibt für das Modell | 29,00 |
Speicherbandbreite
Es sind zwei verschiedene Grenzen, und sie werden ständig verwechselt. Während das Modell die Antwort schreibt, bestimmt die Bandbreite: Für jeden einzelnen Token müssen die Gewichte erneut gelesen werden, Tokens pro Sekunde sind also ungefähr Bandbreite geteilt durch Modellgröße. Während das Modell Ihr Dokument liest, bestimmt die Rechenleistung: Die Eingabe wird auf einmal verarbeitet. Darum kann ein Notebook ohne GPU Minuten bis zum ersten Wort brauchen und danach in erträglichem Tempo schreiben.
120 GB/s — Geschätzt · kein einzelner Hersteller: Das ist eine Geräteklasse, kein Produkt. Die Zahl ist eine vorsichtige Schätzung für diese Klasse, keine Spezifikation.
Rechenleistung: 4,0 TFLOPS (Schätzung für diese Geräteklasse) — Geschätzt · kein einzelner Hersteller: Das ist eine Geräteklasse, kein Produkt. Die Zahl ist eine vorsichtige Schätzung für diese Klasse, keine Spezifikation. Die Zahlen dieser Zeile stammen je nach Rechner nicht aus derselben Messgröße, weil jeder Hersteller eine andere veröffentlicht. Vergleichen Sie sie zwischen Rechnern nur mit diesem Wissen.
Welche Modelle hier hineinpassen und welche nicht
Passen heißt, dass drei Dinge gleichzeitig in den übrigen Speicher passen: die Modelldatei, ihr Kontextspeicher und die Arbeitsreserve der Laufzeitumgebung. Der Kontextspeicher wird aus dem von jedem Modell angegebenen Aufmerksamkeitsmuster Schicht für Schicht berechnet, nicht aus der generischen Formel — deshalb passen hier Modelle, die andere Rechner für unmöglich erklären.
| Modell | Gezeigte Kompression | Modellgröße | 8k | 32k | 128k | Größter Kontext, der passt |
|---|---|---|---|---|---|---|
| qwen3-1.7b | Q4_K_M |
1,03 GiB | ja | ja | — | 32k |
| qwen3-4b-2507 | Q4_K_M |
2,33 GiB | ja | ja | ja | 128k |
| gemma4-e2b | Q4_K_M |
2,89 GiB | ja | ja | ja | 128k |
| gemma4-e4b | Q4_K_M |
4,63 GiB | ja | ja | ja | 128k |
| qwen3-8b | Q4_K_M |
4,68 GiB | ja | ja | — | 32k |
| gemma4-12b | Q4_K_M |
6,63 GiB | ja | ja | ja | 256k |
| gpt-oss-20b | Q4_K_M |
10,83 GiB | ja | ja | ja | 128k |
| mistral-small-24b | Q4_K_M |
13,35 GiB | ja | ja | nein | 64k |
| qwen3.8-27b | Q4_K_M |
15,33 GiB | ja | ja | ja | 128k |
| qwen3.6-27b | Q4_K_M |
15,66 GiB | ja | ja | ja | 128k |
| gemma4-26b-a4b | Q4_K_M |
15,78 GiB | ja | ja | ja | 128k |
| gemma4-31b | Q4_K_M |
17,07 GiB | ja | ja | nein | 32k |
| qwen3-coder-30b | Q4_K_M |
17,28 GiB | ja | ja | nein | 64k |
| qwen3.6-35b-a3b | Q4_K_M |
20,61 GiB | ja | ja | ja | 128k |
| gpt-oss-120b | Q4_K_M |
58,46 GiB | nein | nein | nein | — |
| llama4-scout-17b | Q4_K_M |
60,87 GiB | nein | nein | nein | — |
| deepseek-v4-flash | IQ4_XS |
127,28 GiB | nein | nein | nein | — |
| glm-5.2 | Q4_K_M |
433,83 GiB | nein | nein | nein | — |
Die Größen sind die der tatsächlich veröffentlichten Dateien in der Referenzkompression, eine Stufe je Zeile: Q4_K_M, wo der Autor sie veröffentlicht, sonst die nächstgelegene. Jede Zeile nennt, welche sie zeigt. Q4_K_M ist unsere Qualitätsuntergrenze: darunter ist der Verlust in den Antworten hörbar. Ein Modell, das hier nur mit stärkerer Kompression passen würde, gilt bewusst als nicht passend. Ein Gedankenstrich in einer Kontextspalte heißt, dass das Modell diesen Kontext gar nicht anbietet, es gibt also nichts einzupassen.
Modelle, die passen — 14 von den 18 gemessenen Modellen
- qwen3-1.7b
Q4_K_M— Kontext 32k Tokens - qwen3-4b-2507
Q4_K_M— Kontext 128k Tokens - gemma4-e2b
Q4_K_M— Kontext 128k Tokens - gemma4-e4b
Q4_K_M— Kontext 128k Tokens - qwen3-8b
Q4_K_M— Kontext 32k Tokens - gemma4-12b
Q4_K_M— Kontext 256k Tokens - gpt-oss-20b
Q4_K_M— Kontext 128k Tokens - mistral-small-24b
Q4_K_M— Kontext 64k Tokens - qwen3.8-27b
Q4_K_M— Kontext 128k Tokens - qwen3.6-27b
Q4_K_M— Kontext 128k Tokens - gemma4-26b-a4b
Q4_K_M— Kontext 128k Tokens - gemma4-31b
Q4_K_M— Kontext 32k Tokens - qwen3-coder-30b
Q4_K_M— Kontext 64k Tokens - qwen3.6-35b-a3b
Q4_K_M— Kontext 128k Tokens
Modelle, die nicht passen — 4 von den 18 gemessenen Modellen
- gpt-oss-120b
Q4_K_M— es fehlen 30,28 GiB - llama4-scout-17b
Q4_K_M— es fehlen 33,30 GiB - deepseek-v4-flash
IQ4_XS— es fehlen 99,29 GiB - glm-5.2
Q4_K_M— es fehlen 420,13 GiB