Startseite›Modelle›gpt-oss-120b

Modell-Datenblatt

gpt-oss-120b

Architektur Expertenmischung36 SchichtenLizenz apache-2.0Maximaler Kontext 128kVokabular 201.088

Bei Q4_K_M ist das eine Datei von 58,46 GiB, und sie passt auf 7 der 18 Rechner, die wir durchrechnen (die mit dem wenigsten Speicher: Mac mit M4 Max und 64 GB · Mac mini mit M5 Pro und 64 GB Unified Memory). Hier füllt die Datei den Speicher: Selbst beim maximalen Kontext von 128k Tokens kommen 4,50 GiB hinzu — und derselbe Inhalt braucht auf Deutsch 1,29-mal so viele Tokens wie auf Englisch.

Auf einen Blick
Größe bei Q4_K_M58,46 GiB
Kontextspeicher bei 8k0,29 GiB
Passt auf7 / 18
Kosten auf Deutsch×1,29
Kleinster Rechner, der es nimmtMac mit M4 Max und 64 GB
58,46 GiB

Modellgröße bei Q4_K_M

Von Local AI Scope gemessen

0,29 GiB

Kontextspeicher bei 8k Tokens

Von Local AI Scope gemessen

×1,29

Was Deutsch gegenüber Englisch kostet

Von Local AI Scope gemessen

Größen

Größen der veröffentlichten Dateien

Das sind die Größen der tatsächlich vom Autor veröffentlichten Dateien, addiert, wenn das Modell in Teilen ausgeliefert wird. Keine Schätzung aus der Parameterzahl.

Größe der veröffentlichten Datei je Kompression
Kompression Modellgröße
Q8_0 59,03 GiB
Q6_K 58,94 GiB
Q5_K_M 58,57 GiB
Q5_K_S 58,56 GiB
Q4_K_M 58,46 GiB
Q4_K_S 58,45 GiB
Q3_K_M 58,33 GiB
Kontext

Kontextspeicher

Berechnet aus dem Aufmerksamkeitsmuster, das dieses Modell Schicht für Schicht angibt, nicht aus der generischen Formel. Deshalb liegt der Wert oft deutlich unter dem anderer Rechner.

  • 8k Tokens → 0,29 GiB
  • 32k Tokens → 1,13 GiB
  • 128k Tokens → 4,50 GiB
Sprachen

Was es in jeder Sprache kostet

Gemessen, indem der Tokenizer dieses Modells über denselben Inhalt in vier Sprachen läuft. Tokens sind das, was man im Kontext, im Speicher und auf der Cloud-Rechnung zahlt.

Tokenkosten nach Textsorte und Sprache, mit Englisch als Referenz
Textsorte EN ES FR DE
Code — ×1,20 ×1,32 ×1,42
Verträge — ×1,14 ×1,23 ×1,25
Geschäftliche E-Mails — ×1,12 ×1,19 ×1,17
Support-Tickets — ×1,20 ×1,36 ×1,26

Englisch ist die Referenz: Jede Zahl gibt an, um wie viel mehr Tokens derselbe Inhalt in dieser Sprache kostet. Durchschnitt über das gesamte Korpus: DE ×1,29.

Rechner

Wo es passt

Passt heißt: Modell, Kontextspeicher und Arbeitsreserve passen beim angegebenen Kontext gemeinsam hinein und lassen dem System seinen Anteil. 7 von den 18 getesteten Rechnern (Q4_K_M, 8k Tokens).

Die 18 getesteten Rechner, mit dem Speicher, den jeder frei lässt, und dem größten Kontext, den dieses Modell dort hält
Rechner Passt Freier Speicher Größter Kontext, der passt
PC mit RTX 4060 8 GB nein 7,20 GiB —
PC mit RTX 3060 12 GB nein 11,20 GiB —
PC mit RTX 4070 12 GB nein 11,20 GiB —
Mac mit M4 und 16 GB Unified Memory nein 13,00 GiB —
Büro-Notebook, nur CPU, 16 GB nein 13,00 GiB —
Mac mini mit M6 und 16 GB Unified Memory nein 13,00 GiB —
Mac mit M4 Pro und 24 GB nein 21,00 GiB —
Workstation mit RTX 4090 24 GB nein 23,20 GiB —
Mini-PC mit NPU und 32 GB LPDDR5X nein 29,00 GiB —
Mac mini mit M6 und 32 GB Unified Memory nein 29,00 GiB —
Server mit 2× RTX 3090 (48 GB) nein 47,20 GiB —
Mac mit M4 Max und 64 GB ja 61,00 GiB 32k
Mac mini mit M5 Pro und 64 GB Unified Memory ja 61,00 GiB 32k
Xiaomi AI Cube, 80 GB — Technikprototyp ja 77,00 GiB 128k
PC mit Ryzen AI Max+ 395 und 128 GB Unified Memory ja 96,00 GiB 128k
Mac Studio mit M5 Max und 128 GB Unified Memory ja 125,00 GiB 128k
PC mit Ryzen AI Max+ PRO 495 und 192 GB Unified Memory ja 160,00 GiB 128k
Mac Studio mit M5 Ultra und 512 GB Unified Memory ja 509,00 GiB 128k