So starten Sie Ollama in Docker: docker run -d -v ollama:/root/.ollama -p 127.0.0.1:11434:11434 --name ollama ollama/ollama, danach docker exec -it ollama ollama run llama3.2. Das Volume behält Ihre Modelle, auch wenn der Container gelöscht wird; die Adresse 127.0.0.1 hält den Port auf Ihrem Rechner. Getestet mit v0.40.15: 3,4 GB Download, 8,5 GB auf der Platte.
Docker ist eine feine Art, Ollama zu betreiben: ein Befehl, nichts im System installiert, und ein Update heißt nur: neues Image. Das offizielle Image ist aber nicht einfach „Ollama in einer Kiste“: Es ändert die Adresse, auf der Ollama lauscht, und schaltet damit einen seiner 2 Schutzmechanismen ab. Deshalb haben wir am 6. November 2026 ollama/ollama:0.40.15 auf einen Linux-Server heruntergeladen (Docker 29.9.3, ufw aktiv, keine NVIDIA-Karte, eine integrierte AMD-GPU), ein winziges Modell mit 135 Millionen Parametern (smollm2:135m) geladen und gemessen, was jede Option bewirkt: Ports, Volumes, Variablen, GPU und Compose. Überall, wo hier „gemessen“ steht, stammt das aus diesen Läufen zwischen 15:52 und 16:01 UTC und aus einem weiteren am 7. November um 08:21 UTC mit dem Befehl aus dem ersten Abschnitt; was aus der Dokumentation kommt, ist als solches gekennzeichnet.
OllamaProgramm-Datenblatt
Ollama in Docker mit 1 Befehl (und die 2 Details, auf die es ankommt)
Das ist der Befehl, den wir empfehlen. Wir haben ihn am 7. November um 08:21 UTC ausgeführt, mit unserem winzigen Modell statt llama3.2 und einer einzelnen Frage („Name one planet.“) statt des Chats:
docker run -d -v ollama:/root/.ollama -p 127.0.0.1:11434:11434 --name ollama ollama/ollama
docker exec -it ollama ollama run llama3.2
curl http://127.0.0.1:11434/api/version
Die erste Zeile startet den Server im Hintergrund, die zweite lädt ein Modell herunter und öffnet im Container einen Chat damit (unseres holte sich seine 270 MB und antwortete, ohne einen einzigen Planeten zu nennen, was ungefähr das ist, was 135 Millionen Parameter hergeben), die dritte prüft, ob die API von Ihrem Rechner aus antwortet (bei uns: {"version":"0.40.15"}, und docker port zeigte nur 127.0.0.1:11434). Das 127.0.0.1: vor dem Port ist das erste Detail, auf das es ankommt; warum, zeigen die nächsten Abschnitte. Das zweite ist das -v: Ohne es leben und sterben Ihre Modelle mit dem Container.
Was im Image steckt, gelesen in seiner Konfiguration und im Dockerfile: Ubuntu 24.04, das Programm ollama (44,2 MB) und 4,64 GB GPU-Bibliotheken in /usr/lib/ollama – daher das Gewicht. Es läuft als root (keine USER-Zeile; id im Container meldete uid=0(root)), setzt OLLAMA_HOST=0.0.0.0:11434, damit der Server auf allen Schnittstellen des Containers lauscht, und deklariert kein Volume. Der Download waren 3,39 GB, gut eine Minute über die Glasfaser unseres Servers; auf der Platte belegt es 8,51 GB. Ihre Festplatte merkt das deutlicher als Ihre Stromrechnung.
| Tag (Stand 7.11.2026) | Was es enthält | Plattformen | Download |
|---|---|---|---|
latest = 0.40.15 |
Prozessor und NVIDIA (CUDA 12 und 13); Vulkan auf amd64, Jetson (JetPack) auf arm64 | amd64 und arm64 | 3,39 GB (amd64) · 2,87 GB (arm64) |
rocm = 0.40.15-rocm |
Prozessor und AMD ROCm 7.2.1 | nur amd64 | 1,46 GB |
Am 7.11.2026 war latest dasselbe Image wie 0.40.15 (gleicher Digest auf Docker Hub); seit dem 9.11.2026 zeigt es auf 0.40.16 (und rocm auf 0.40.16-rocm). Wenn Sie die Version ausschreiben, etwa ollama/ollama:0.40.15, entscheiden Sie selbst, wann aktualisiert wird, statt es nach einem docker pull festzustellen.

Im Video laufen Ollama und Open WebUI per Docker Compose in zwei Containern, mit NVIDIA-GPU. Die Compose-Datei, die wir selbst getestet haben, und die Frage, ob der Port nur an 127.0.0.1 hängt, finden Sie weiter unten.
Öffnet YouTube (ohne Cookies) erst, wenn Sie auf Play drücken.
Modelle behalten: benanntes Volume oder Ordner
Ohne -v landet ein heruntergeladenes Modell in der beschreibbaren Schicht des Containers selbst. Wir haben es geprüft: Modell in den Container kopiert, ollama list zeigte es, dann docker rm -f und derselbe docker run noch einmal – und ollama list war leer. Mit einem benannten Volume (-v ollama:/root/.ollama) blieb das Modell nach demselben Löschen und Neuanlegen an seinem Platz. Unter Linux legte Docker unser Test-Volume unter /var/lib/docker/volumes/<Name>/_data ab (Ihres: …/ollama/_data), Eigentümer root.
Die andere Möglichkeit ist ein eigener Ordner: -v /home/benutzer/ollama:/root/.ollama. Das funktioniert, mit einem Haken, den wir gesehen haben: Die angelegten Dateien gehören auf Ihrem Rechner root (uid 0), auch wenn der Ordner Ihnen gehört; zum späteren Löschen brauchen Sie also sudo. Sollen die Modelle im Container woanders liegen, verschiebt -e OLLAMA_MODELS=/datos/models sie dorthin, sofern das Volume auch dort eingehängt ist (-v ollama:/datos): So haben wir es getestet, und ollama list fand das Modell unter diesem Pfad.
Das Volume bewahrt außerdem eine kleine Datei auf, an die man selten denkt. Beim ersten Start legt der Server /root/.ollama/id_ed25519 an, den Schlüssel, mit dem sich dieses Ollama bei ollama.com ausweist. Ohne Volume bekommt jeder neue Container einen neuen Schlüssel.
Beim Aktualisieren erledigt das Volume die ganze Arbeit: docker pull ollama/ollama:<neue Version>, docker rm -f ollama und derselbe docker run mit dem neuen Tag. Die Modelle bleiben, wo sie waren. Alles entfernen: docker rm -f ollama, docker volume rm ollama und docker rmi ollama/ollama (oder das verwendete Tag), was den Platz wieder freigibt. Ein außerhalb von Docker installiertes Ollama entfernen Sie auf Mac, Windows oder Linux so: Ollama deinstallieren.
Der Port: 127.0.0.1 oder Ihr ganzes Netz (und ufw hält ihn nicht auf)
Diesen Abschnitt würden wir doppelt unterstreichen. Mit -p 127.0.0.1:11434:11434 haben wir gemessen, dass Docker den Port nur auf der lokalen Adresse öffnet: ss -ltn zeigte eine einzige Zeile 127.0.0.1, curl 127.0.0.1 lieferte die Version, und eine Anfrage an die Netzwerkadresse des Servers selbst wurde abgewiesen (diese letzte Prüfung auf einem hohen Port, 18434).
Die Kurzform -p 11434:11434 ist eine andere Geschichte. Wir haben sie mit einem kleinen Attrappen-Webserver statt Ollama getestet, 2 Sekunden lang, um kein Modell offen stehen zu lassen: docker port listete 0.0.0.0 und [::], also alle IPv4- und IPv6-Adressen des Rechners, und eine Anfrage an seine Netzwerkadresse bekam ein 200. Bei aktivem ufw und ohne jede Regel für diesen Port. Docker leitet diesen Verkehr über eigene Regeln (eine Umleitung in der nat-Tabelle und seine Ketten, die in FORWARD vor denen von ufw stehen), und die Docker-Dokumentation sagt es klar: Veröffentlichte Ports umgehen die ufw-Einstellungen. Unsere Anfrage kam vom Server selbst an seine Netzwerkadresse; dass ein anderer Rechner genauso hereinkommt, dokumentiert Docker, und die gelesenen Regeln sagen dasselbe.
Ein Detail aus der Docker-Dokumentation: Vor Docker 28.0.0 konnten Rechner im selben lokalen Netzsegment Ports erreichen, die auf 127.0.0.1 veröffentlicht waren. Prüfen Sie Ihre Version mit docker version; ab 28 bedeutet 127.0.0.1 genau das. Und wenn Sie Ollama tatsächlich von einem anderen Rechner aus nutzen möchten, bringt ein SSH-Tunnel (ssh -L 11434:127.0.0.1:11434 benutzer@server) die API dorthin, ohne etwas zum Netz hin zu öffnen.
Was sich im Container ändert: die Host-Prüfung und CORS
Mit seiner Standardadresse (127.0.0.1) hat Ollama 2 Schutzschranken gegen Webseiten, die Ihren lokalen Server erreichen wollen. Die erste prüft den Host-Header und weist unbekannte Namen ab; das stoppt den Trick mit einer Domain, die auf 127.0.0.1 zeigt (DNS-Rebinding). Die zweite ist CORS, die Liste der Ursprünge, die der Browser durchlässt. In unserer Anleitung zur Ollama-API haben wir die erste mit dem reinen Programm auf 127.0.0.1 getestet: ein 403.
Im offiziellen Image ist die erste abgeschaltet. Mit dem Image im Auslieferungszustand und dem Port auf 127.0.0.1 bekam unsere Anfrage mit einem erfundenen Host (atacante.example) ein 200. Dasselbe Image mit -e OLLAMA_HOST=127.0.0.1:11434, in einem Container ohne Netz und von innen abgefragt: 403. Mit -p bringt diese Variable nichts (der Server lauscht dann nur im Container). Der Grund steht im Code (server/routes.go): Lauscht der Server auf einer Adresse, die nicht Loopback ist, prüft er den Host nicht, und das Image setzt 0.0.0.0. CORS greift dagegen weiterhin: Ein fremder Ursprung (https://ejemplo.com) bekam ein 403, http://localhost:3000 ein 200.

Kein Grund zur Panik: Von 2 Schranken fällt eine weg, die andere bleibt. Wer unter Linux beide möchte, hat einen Weg, den wir getestet haben: --network host -e OLLAMA_HOST=127.0.0.1:11435 (wir haben 11435 genommen, um mit nichts zu kollidieren; ohne weiteres Ollama auf dem Rechner passt 11434). Der Container nutzt dann das Netz des Rechners, ss zeigte nur 127.0.0.1:11435, und der erfundene Host bekam wieder sein 403. Ohne -p: Mit --network host gibt es nichts zu veröffentlichen. Und nie --network host ohne diese Variable: Das OLLAMA_HOST=0.0.0.0 des Images würde dann auf allen Adressen Ihres Rechners lauschen.
Docker Compose: eine minimale Datei, die wir getestet haben
Dasselbe als Datei, die Sie aufbewahren können. Wir haben diese compose.yaml mit docker compose up -d gestartet (Compose v5.7.0):
services:
ollama:
image: ollama/ollama:0.40.15
ports:
- "127.0.0.1:11434:11434" # nur dieser Rechner; ohne IP davor offen auf allen Adressen
volumes:
- ollama:/root/.ollama # Modelle überstehen down/up und Versionswechsel
environment:
- OLLAMA_NO_CLOUD=1 # keine Cloud-Modelle und keine Cloud-Routen von Ollama
restart: unless-stopped
volumes:
ollama:
Was wir gesehen haben: den Port nur auf 127.0.0.1:11434, die API, die mit ihrer Version antwortet, die Neustart-Richtlinie unless-stopped (laut Docker startet er nach einem Absturz oder Docker-Neustart wieder, außer Sie haben ihn selbst gestoppt) und das Volume auf /root/.ollama. Ein docker compose down mit anschließendem up -d behielt das Modell, und es antwortete wieder. docker compose down -v löscht auch das Volume, Modelle inklusive: Heben Sie sich das -v für den Fall auf, dass Sie genau das wollen. Chatten mit einem Modell: docker compose exec ollama ollama run llama3.2. Und OLLAMA_NO_CLOUD=1 hindert Sie nicht am Herunterladen von Modellen: Am selben Morgen des 6. November haben wir in einem früheren Test mit dem reinen Programm eines mit gesetzter Variable von ollama.com heruntergeladen.
GPU in Docker: NVIDIA, AMD (ROCm), Vulkan und integrierte Grafik
Das Image ist für die Grafikkarte vorbereitet, aber Docker reicht sie nur durch, wenn Sie darum bitten. Was folgt, haben wir für NVIDIA und ROCm in der Ollama-Dokumentation zu v0.40.15 gelesen; den Teil zur integrierten Grafik haben wir getestet.
Workstation mit RTX 4090 24 GBHardware-Datenblatt
NVIDIA. Zuerst das NVIDIA Container Toolkit auf dem Host (aus dem apt- oder yum-Repository von NVIDIA), dann sudo nvidia-ctk runtime configure --runtime=docker und sudo systemctl restart docker, zuletzt derselbe docker run mit --gpus=all. Unter Windows geht das über WSL2 mit demselben Toolkit. In Compose verlangt die Docker-Dokumentation (gelesen am 7. November) einen deploy-Block im Dienst; capabilities ist Pflicht, und count nimmt eine Zahl oder all. Ausgeführt haben wir ihn nicht, mangels NVIDIA-Karte:
deploy:
resources:
reservations:
devices:
- driver: nvidia
count: all
capabilities: [gpu]

AMD mit ROCm. Das andere Image: docker run -d --device /dev/kfd --device /dev/dri -v ollama:/root/.ollama -p 127.0.0.1:11434:11434 --name ollama ollama/ollama:rocm. Es gibt es nur für amd64, gedacht für AMD-Karten, die mit ROCm laufen.
Vulkan und integrierte Grafik (getestet). Das normale Image für amd64 bringt auch Vulkan mit, standardmäßig an, sobald es die Geräte sieht. Auf unserem Server fand Ollama mit --device /dev/kfd --device /dev/dri die integrierte AMD-Grafik („AMD Radeon Graphics (RADV RENOIR)“) und verwarf sie gleich wieder: dropping integrated GPU; to enable, set OLLAMA_IGPU_ENABLE=1. Mit zusätzlichem -e OLLAMA_IGPU_ENABLE=1 zeigte das Log library=Vulkan, type=iGPU, und alle 31 Schichten des Modells lagen auf der GPU. Mit einem 135M-Modell war sie nicht schneller als der Prozessor: Lesen Sie das als „so schaltet man sie ein“, nicht als Tempo.
PC mit Ryzen AI Max+ 395 und 128 GB Unified MemoryHardware-Datenblatt

Auf dem Mac besser ohne Docker. Die Ollama-FAQ sagt es direkt: Docker Desktop unter macOS reicht die GPU nicht an den Container durch, der damit nur auf dem Prozessor rechnet. Die Ollama-App für den Mac nutzt die GPU des Chips dagegen, über Metal.
Mac mit M4 und 16 GB Unified MemoryHardware-Datenblatt
Läuft die GPU eine Weile und fällt das Modell dann auf den Prozessor zurück, ist das eine bekannte Docker-Falle (der cgroup-Treiber); wir erklären sie samt nvidia-smi-Test im Container in Ollama funktioniert nicht.
Öffnet YouTube (ohne Cookies) erst, wenn Sie auf Play drücken.
Dieses kurze Video (auf Englisch) zeigt die 4 Prüfungen außerhalb von Docker: ollama ps, das Server-Log, die Ausgabe von ollama serve und die Leistungsüberwachung des Systems. Im Container sind es dieselben, mit docker exec ollama davor, und das Log liefert docker logs ollama.
Offline und ohne Cloud: OLLAMA_NO_CLOUD, keep_alive und wohin es sich verbinden will
Variablen kommen per -e hinein, und wir haben geprüft, dass das Image sie übernimmt. Mit -e OLLAMA_NO_CLOUD=1 -e OLLAMA_KEEP_ALIVE=30s -e OLLAMA_MODELS=/datos/models listete das Server-Log alle 3 auf und meldete Ollama cloud disabled: true. /api/balance, eine Route, die bei ollama.com nach Ihrem Konto fragt, antwortete mit 403, ohne eine Verbindung zu versuchen. Und das Modell blieb nach der Antwort genau 30 Sekunden im Speicher (das expires_at von /api/ps) statt der voreingestellten 5 Minuten.
Wohin will es, wenn Sie nichts einstellen? Wir haben das Image ohne diese Variable und ohne Netz gestartet: In der ersten Millisekunde versuchte es 2 Aufrufe an ollama.com, den Katalog empfohlener Modelle und die Liste der Cloud-Modelle, und beide scheiterten mit „network is unreachable“. Mit OLLAMA_NO_CLOUD=1: keiner. Wer einen Container zu 100 % offline haben möchte, nimmt --network none, sofern die Modelle schon im Volume liegen; der Haken: Dann wird auch kein Port veröffentlicht, und hinein geht es per docker exec.
Wenn Sie Ollama lieber direkt im System installieren, beginnt unsere Anleitung Ollama lokal bei null, mit dem SSH-Tunnel Schritt für Schritt. Die Routen der API, die Sie gerade veröffentlicht haben, CORS und keep_alive stehen in der Ollama-API, und wenn Antworten abgeschnitten wirken, erklärt die Kontextlänge in Ollama, wie Sie sie erhöhen. Und wenn Sie über diesem Container ein Chatfenster im ChatGPT-Stil möchten: Open WebUI mit Ollama läuft in einem zweiten Container im selben Docker-Netzwerk; wir haben gemessen, wohin es sich verbindet und wie Sie das auf null bringen.