Startseite›Programme›MLX (mlx-lm)
MLX (mlx-lm)
Aktuelle Version mlx-lm 0.32.2 (mlx 0.32.4)2026-10-16 (mlx-lm) / 2026-10-14 (mlx)Geprüfter Stand mlx-lm tag v0.31.3 + main 2026-08-25; mlx 0.32.1Lizenz MIT
MLX ist Apples Weg, Modelle auf Macs mit Apple Silicon auszuführen (nicht auf Intel-Macs; unter Windows undokumentiert). mlx-lm baut ab Werk 0 Verbindungen nach außen auf und hat keine eigene Telemetrie: Die einzige kommt mit dem Download über Hugging Face, und HF_HUB_DISABLE_TELEMETRY schaltet sie ab. MIT, öffentlicher Code. Aktuelle Version: mlx-lm 0.32.2 (mlx 0.32.4).
Apples Rechen-Framework für Apple Silicon, dazu die Schicht mlx-lm, die daraus eine Laufzeitumgebung für Sprachmodelle macht. Es sind zwei verschiedene Pakete: mlx ist das Rechen-Framework, wie NumPy oder PyTorch, und mlx-lm ist das, was wirklich Modelle ausführt. Es nutzt den vereinheitlichten Speicher: CPU und GPU teilen sich denselben Speicher ohne Kopien.
Schritte bis zum ersten Token
Herstellerangabe
Hosts, die es ab Werk kontaktiert
Von Local AI Scope gemessen
Lizenz
Von Local AI Scope gemessen
Videos: MLX (mlx-lm) 4
Die offiziellen Videos, die wir am nützlichsten fanden. Drücken Sie auf Play, und es läuft direkt hier.
Die Videos liegen bei YouTube, und von dort wird nichts geladen, bevor Sie auf Play drücken (Modus ohne Cookies). Das Vorschaubild kommt von uns.
Wie wir das geprüft haben
Alles, was dieses Blatt über das Netz sagt, stammt aus dem Lesen des veröffentlichten Quellcodes und der offiziellen Dokumentation zum angegebenen Datum — nicht aus der Beobachtung des Datenverkehrs. Vor einen Netzwerkanalysator haben wir das Programm noch nicht gesetzt: Das ist statische Analyse, keine Beobachtung. Die Aufzeichnung steht auf unserer Liste; sobald es sie gibt, steigen diese Zellen eine Evidenzstufe. Bis dahin tun wir nicht so, als hätten wir die Pakete mitgelesen: Wir haben das Rezept gelesen, nicht das Gericht probiert.
Was Ihren Rechner verlässt
Bevor ein lokales Programm in die Nähe Ihrer Dokumente darf, stellen wir ihm vier Fragen: Was schickt es von sich aus hinaus, wen ruft es sonst noch, auf welcher Adresse lauscht es, und können Sie das selbst nachprüfen? Quasi ein Vorstellungsgespräch.
Telemetrie ab Werk
Keine eigene — es erbt die der Download-Bibliothek. Von uns an der Primärquelle geprüft
Wir haben das gesamte Paket mlx_lm durchsucht, den Hauptzweig, die veröffentlichte 0.31.3 und am 1. Oktober 2026 die neue 0.32.0, nach telemetry, analytics, posthog, sentry, mixpanel und usage stats: null Treffer in allen dreien. Ebenso im Framework mlx. Aber mlx-lm lädt über huggingface_hub herunter, und diese Bibliothek erhebt standardmäßig Daten. Das ist die übertragbare Erkenntnis der ganzen Vergleichstabelle: Die Telemetrie steckt nicht in der Laufzeitumgebung, sie steckt in der Download-Bibliothek. Ein vielsagendes Detail: mlx-lm identifiziert sich gegenüber Hugging Face gar nicht, sodass sein User-Agent-Kopf wörtlich mit „unknown/None“ beginnt.
«By default, some data is collected by HF libraries (transformers, datasets, gradio,..) to monitor usage […]. You can set HF_HUB_DISABLE_TELEMETRY=1 as environment variable to globally disable telemetry.»
So schaltet man es ab: HF_HUB_DISABLE_TELEMETRY=1 oder das herstellerübergreifende DO_NOT_TRACK=1. Für den Betrieb ganz ohne Netz HF_HUB_OFFLINE=1 — die Dokumentation von Hugging Face warnt, dass selbst bei bereits zwischengespeichertem Modell eine HTTP-Anfrage erfolgt, um auf eine neuere Dateiversion zu prüfen.
Quelle · abgerufen am 2026-08-25
Andere Rufe nach Hause
| Was | Wohin | Wann | Vermeidbar | Beleg |
|---|---|---|---|---|
| Modell-Download | huggingface.co (oder modelscope mit MLXLM_USE_MODELSCOPE) |
Wenn Sie ein Modell anfordern, das nicht im Cache liegt, und um bei zwischengespeicherten auf neuere Versionen zu prüfen. | HF_HUB_OFFLINE=1 | von uns geprüft |
| Kalibrierungsdatei zum Quantisieren | ein GitHub-Gist |
Ein einziges Mal, und nur wenn Sie mit AWQ, GPTQ oder dynamisch quantisieren. | Diese Verfahren nicht benutzen | von uns geprüft |
| Bilder, die eine Chat-Anfrage als Webadresse mitschickt | jede beliebige Webadresse aus der Anfrage |
Seit 0.32.1, wenn eine Chat-Anfrage an mlx_lm.server ein Bild als http(s)-Adresse enthält: Der Server lädt es selbst herunter (30 Sekunden Wartezeit), bevor er antwortet, egal welches Modell geladen ist. | Kein Schalter: eigene Bilder eingebettet (base64) senden und den Server nicht laufen lassen, während Sie surfen | von uns geprüft |
Quelle · abgerufen am 2026-08-25
Auf welcher Adresse es lauscht
| Einstellung | Ab Werk |
|---|---|
| Lauscht auf | 127.0.0.1:8080 |
| Authentifizierung ab Werk | keine |
| CORS ab Werk | Sperrangelweit offen: jeder Ursprung, jede Methode, jeder Kopf |
Es lauscht auf localhost, aber mit sperrangelweit offenem CORS — jeder Ursprung, jede Methode, jeder Kopf — und ganz ohne Authentifizierung: Die eigenen Beispiele schreiben api_key=”not-needed”. Der Server steckt in der Standardbibliothek von Python, nicht in einem Produktionsserver, und die Dokumentation sagt das auch. Dieselbe Warnung steckt auch im Code, den pip installiert: mlx_lm.server gibt sie bei jedem Start aus („mlx_lm.server is not recommended for production as it only implements basic security checks.“). Von uns an der Primärquelle geprüft
«The MLX LM server is not recommended for production as it only implements basic security checks.»
Quelle · abgerufen am 2026-08-25
Lässt es sich überprüfen?
Ja. MIT, Apple Inc., sowohl mlx als auch mlx-lm. Genau das erlaubt uns, „keine eigene Telemetrie“ als geprüfte Abwesenheit und nicht als Behauptung zu sagen — und vor allem, zu sagen, dass es genau zwei Gerätetypen gibt. Von uns an der Primärquelle geprüft
Quelle · abgerufen am 2026-08-25
Datenschutzerklärung
Es gibt keine Datenschutzerklärung, und das ist hier eher eine gute Nachricht als ein Mangel: Hinter dem Programm steht kein Dienst und kein Verantwortlicher, von dem man sie verlangen könnte. ungeprüft
Was es ausführt, und wo
Plattformen, Beschleuniger und Modellformate: die drei Wände, gegen die man schon am ersten Abend voller Vorfreude laufen kann. Besser, Sie entdecken sie hier als um Mitternacht mit einem halb heruntergeladenen Modell.
Wo es läuft
| Plattform | Unterstützung | Beleg |
|---|---|---|
| Windows | Teilweise und undokumentiert. Das Framework mlx veröffentlicht seit Juli 2026 offizielle Windows-Wheels (x64 und ARM64) und testet sie in der CI, aber seine Dokumentation erwähnt Windows nirgends, und mlx-lm deklariert seine Abhängigkeit nur für macOS: Außerhalb von macOS installiert `pip install mlx-lm` den Motor nicht. Ob mlx-lm unter Windows läuft, ist ungeprüft. | von uns geprüft |
| macOS Apple Silicon | Ja, das ist seine Plattform. macOS 14.0 oder neuer zur Installation; einige Funktionen für große Modelle verlangen macOS 15. | von uns geprüft |
| macOS Intel | Nein. Alle macOS-Wheels sind arm64; ein x86_64 existiert nicht. Vorsicht mit Python unter Rosetta: Der eigene Leitfaden warnt vor diesem Fall. | von uns geprüft |
| Linux | Ja für das Framework mlx, das ein CUDA-Backend und eine Nur-CPU-Version hat. Ob mlx-lm dort gut läuft, haben wir nicht überprüft: Sein README spricht nur von Apple Silicon. | Herstellerangabe |
Was es beschleunigt
| Backend | Status | Beleg |
|---|---|---|
| Metal | Ja: der native Weg auf Apple Silicon, mit vereinheitlichtem Speicher — CPU und GPU teilen sich denselben Speicher, ohne Daten zwischen ihnen zu kopieren. | Herstellerangabe |
| CUDA | Ja, im Framework mlx unter Linux, mit NVIDIA-Architektur SM 7.5 oder höher. | Herstellerangabe |
| CPU | Ja. Einer der einzigen zwei Gerätetypen, die es in MLX gibt. | von uns geprüft |
| ROCm | Konnten wir nicht überprüfen. Die Installationsdokumentation bietet nur Apple Silicon, CUDA und CPU an, doch nirgends erklären sie, AMD werde nicht unterstützt — wir melden also die Abwesenheit, kein „nein“. | ungeprüft |
| Vulkan | Konnten wir nicht überprüfen. Es taucht weder in der Dokumentation noch im Backend-Baum auf, und es gibt keine Aussage in irgendeine Richtung. | ungeprüft |
| Neural Engine | Nein, und diese Abwesenheit ist geprüft und keine fehlende Quelle: Die Aufzählung der Gerätetypen im Code hat genau zwei Werte, cpu und gpu, und die öffentliche Dokumentation sagt dasselbe. Viele nehmen an, MLX nutze die Neural Engine. Tut es nicht. | von uns geprüft |
«Currently supported device types are the CPU and GPU.»
Modellformate, die es ausführt
MLX-Format und safetensors von Hugging Face. Es kann kein GGUF ausführen. Es kann nur nach GGUF exportieren, nachdem ein Adapter verschmolzen wurde — und selbst dann nur für Modelle im Stil von Mistral, Mixtral und Llama in fp16. von uns geprüft
Quelle · abgerufen am 2026-08-25
Installieren und damit leben
Der Alltag: wie viele Schritte bis zum ersten Token, was es auf der Festplatte hinterlässt, unter welcher Lizenz und in welchem Tempo es sich ändert, wenn es erst einmal installiert ist.
Schritte bis zum ersten Token
2 Schritte. Paket installieren und mlx_lm.generate oder mlx_lm.chat ausführen: Es lädt das Standardmodell und antwortet. Herstellerangabe
Wenn etwas nicht läuft: 7 Fehler, die genaue Meldung zu jedem und die Lösung
Was es auf Ihre Festplatte schreibt
| Was | Wo | Beleg |
|---|---|---|
| Modelle: der Cache von Hugging Face | ~/.cache/huggingface/hub — der Cache von Hugging Face (HF_HOME · HF_HUB_CACHE) |
Herstellerangabe |
| Gesprächsverlauf: wird nicht gespeichert. Der Kontext lebt im Arbeitsspeicher und geht beim Beenden verloren. Keine Spur Ihrer Gespräche bleibt auf der Platte; von den fünf gilt das sonst nur für vLLM, das keine Chat-Oberfläche hat | Nirgends — es wird nichts geschrieben | von uns geprüft |
| Kalibrierungsdatei der Quantisierung: entsteht nur, wenn Sie mit AWQ, GPTQ oder dynamisch quantisieren | ~/.cache/mlx-lm/ |
von uns geprüft |
Lizenz
MIT, Apple Inc. Sowohl das Framework als auch mlx-lm. von uns geprüft
Quelle · abgerufen am 2026-08-25
Version und Veröffentlichungstakt
Historisch alle ein bis drei Wochen eine Version. Dann stand die Veröffentlichung mehr als fünf Monate still, vom 22. April bis zum 1. Oktober 2026, während weiterentwickelt wurde (134 Commits an 50 verschiedenen Tagen); die 0.32.0 hat die Lücke geschlossen. Das Framework mlx veröffentlicht regelmäßig: rund sechzehn Versionen im Jahr. von uns geprüft
Quelle · abgerufen am 2026-10-17
Was Sie vor der Installation wissen sollten
- Nach mehr als fünf Monaten ohne Version bewegt sich das Paket, das die Leute installieren, wieder. Vom 22. April bis zum 1. Oktober 2026 lieferte `pip install mlx-lm` die 0.31.3, während sich das Repositorium weiterbewegte: 134 Commits an 50 verschiedenen Tagen. Version 0.32.0, veröffentlicht am 1. Oktober, bringt diese Arbeit ins Paket: Ihr Ordner mit Modelldefinitionen wächst von 119 auf 135 Dateien (neu sind unter anderem
mistral4,kimi_k3undolmo_hybrid). Wer mlx-lm vor Oktober installiert hat, für den lohnt sich ein `pip install -U mlx-lm`. - MLX nutzt die Neural Engine nicht. Die Gerätetypen in seinem Code sind genau zwei: CPU und GPU.
- Es führt kein GGUF aus. Wenn Ihre Modellsammlung GGUF ist, nützt Ihnen MLX ohne Umwandlung nichts.
- Der Server lauscht auf localhost, aber mit sperrangelweit offenem CORS und ganz ohne Authentifizierung, und die eigene Dokumentation warnt, dass er nicht für den Produktivbetrieb gedacht ist. mlx_lm.server wiederholt diese Warnung bei jedem Start.
- Seit 0.32.1 holt sich der Server Bilder selbst. Enthält eine Chat-Anfrage ein Bild als Webadresse, lädt mlx_lm.server es herunter, bevor er antwortet, egal welches Modell geladen ist, auch eines, das gar nicht sehen kann. Praktisch, aber mit Schlupfloch: Wer mit dem Server sprechen kann, bestimmt, welche Adresse Ihr Mac aufruft, und dazu gehört jede geöffnete Webseite, ganz gleich, wie CORS eingestellt ist, sofern Ihr Browser nicht vorher nachfragt. Abschalten lässt es sich nicht, und
--allowed-originsverhindert es nicht (es regelt nur, wer die Antwort lesen darf): Schicken Sie eigene Bilder eingebettet (base64) und lassen Sie mlx_lm.server nicht laufen, während Sie surfen. - Es speichert keine Gespräche auf der Festplatte; von den fünf tut das sonst nur vLLM, das gar keine Chat-Oberfläche hat.