LLMs lokal ausführen 2026: Das 5-Minuten-Setup für jede GPU

Du kannst ein LLM jetzt sofort auf deiner eigenen Maschine ausführen -- ohne API-Schlüssel, ohne monatliche Gebühr, ohne dass Daten deine Hardware verlassen. Der lokale LLM-Bereich ist explodiert: 55 % der Enterprise-KI-Inferenz findet inzwischen lokal statt, gegenüber 12 % im Jahr 2023. Mit Tools wie Ollama dauert der Weg von null zu einem laufenden Modell unter 5 Minuten bei null API-Kosten.

Diese Anleitung fasst zusammen, was du normalerweise über fünf separate Artikel verteilt suchen würdest: Hardware-Anforderungen, Modellauswahl, Tool-Vergleich, Schritt-für-Schritt-Setup und Produktiv-Deployment -- alles an einem Ort.

Auf einen Blick: Lokale LLMs Kurzübersicht

Bevor wir in die Tiefe gehen, hier die Landschaft in 60 Sekunden:

Lass uns nun jeden dieser Punkte aufschlüsseln, damit du die richtigen Entscheidungen für dein Setup treffen kannst.

Warum solltest du ein LLM lokal ausführen?

Es gibt vier echte Gründe, LLMs auf eigener Hardware zu betreiben -- und einen ehrlichen Vorbehalt, wann du es nicht solltest.

Datenschutz und Datensouveränität

Wenn du lokal ausführst, berühren deine Prompts, deine Daten und deine Ausgaben niemals einen Drittanbieter-Server. Punkt. Das ist keine Marketing-Aussage -- es ist Architektur. Es gibt keinen Netzwerkaufruf zum Abfangen, keine Nutzungsbedingungen, die einem Anbieter Trainingsrechte an deinen Daten einräumen.

Das ist in regulierten Branchen enorm wichtig. Gesundheitsorganisationen benötigen HIPAA-Compliance. Finanzunternehmen verarbeiten vertrauliche Kundendaten. Behörden arbeiten mit klassifizierten Informationen. 55 % der Enterprise-KI-Inferenz findet inzwischen lokal statt, genau weil der Compliance-Aufwand für Cloud-KI enorm ist.

Kosteneliminierung

Cloud-API-Preise addieren sich schnell. Hier ist, was dieselbe Arbeitslast tatsächlich kostet:

Eine einmalige GPU-Investition von ~400 € ersetzt 18-90 €/Monat an API-Kosten. Als moderater Nutzer amortisiert sich das in 4-6 Monaten. Danach ist jedes Token kostenlos.

Geschwindigkeit für Einzelnutzer

Hier etwas, das viele überrascht: Lokale Inferenz ist für einen Einzelnutzer oft schneller als Cloud-APIs. Du überspringst den Netzwerk-Round-Trip komplett. Ein gut konfiguriertes lokales Setup liefert unter 40 ms First-Token-Latenz gegenüber 1-2 Sekunden über eine Cloud-API. Keine Rate Limits, keine Ausfälle, kein Warten in der Warteschlange zu Stoßzeiten.

Kontrolle und Anpassung

Trainiere Modelle auf deinen eigenen Daten fein ab. Erstelle benutzerdefinierte System-Prompts ohne Plattformbeschränkungen. Arbeite komplett offline -- im Flugzeug, im Feld, überall. Kein Vendor-Lock-in bedeutet, dass du Modelle oder Tools wechselst, sobald etwas Besseres kommt.

Der ehrliche Vorbehalt

Cloud-APIs gewinnen noch in drei Szenarien: Du brauchst GPT-4-Klasse-Reasoning (lokale Modelle kommen näher, sind aber noch nicht ganz da), du brauchst massiven Multi-User-Durchsatz ohne GPU-Management, oder du willst einfach keine Hardware verwalten. Für alles andere gewinnt lokal.

Fazit: Wenn du sensible Daten verarbeitest, vorhersehbare Kosten willst oder API-Rate-Limits hasst, ist lokales Ausführen eine einfache Entscheidung.

Welche Hardware brauchst du, um LLMs lokal auszuführen?

VRAM ist der Engpass. Punkt. Ein Modell, das vollständig in den GPU-Speicher passt, läuft ungefähr 10x schneller als eines, das in den System-RAM überläuft. Die Faustregel: rechne mit ~0,5-1 GB VRAM pro Milliarde Parameter bei Q4-Quantisierung.

PC-GPU-Empfehlungen

Leistungsdaten stammen aus Hardware Corner's GPU-Benchmarks auf Basis standardisierter llama.cpp llama-bench-Tests unter Ubuntu 24.04 mit CUDA 12.8.

Apple Silicon Empfehlungen

Apples Unified Memory ist hier ein echter Vorteil. GPU und CPU teilen sich denselben RAM-Pool, sodass ein M4 Max mit 128 GB Unified Memory Modelle ausführen kann, die auf einem PC eine 2.000 €+ dedizierte GPU erfordern würden.

Ein praktischer Hinweis: Modelle belegen 4-40 GB auf der Festplatte. Halte mindestens 100 GB auf einer SSD (NVMe bevorzugt) frei, wenn du mit mehreren Modellen experimentieren möchtest.

Fazit: Starte mit dem, was du hast -- selbst eine CPU kann ein 7B-Modell zum Testen ausführen. Für ernsthaften Alltagsgebrauch sind die RTX 4060 Ti 16 GB (~400 €) oder ein M4 Pro Mac die Sweet Spots.

Welche Modelle solltest du lokal ausführen?

Nicht alle Modelle sind gleich, und "das beste Modell" hängt völlig davon ab, was du damit machst. Hier ist eine Entscheidungstabelle, die den Überblick erleichtert:

All diese Modelle sind im GGUF-Format verfügbar -- dem universellen Standard für lokale LLM-Dateien. Du findest sie auf Hugging Face, dem primären Hub für den Download von Open-Weight-Modellen. Suche nach einem Modellnamen plus "GGUF", um quantisierte Versionen für den lokalen Einsatz zu finden.

Eine häufige Frage: "Kann ich ChatGPT lokal ausführen?" Nein -- ChatGPT ist das proprietäre Produkt von OpenAI. Aber Llama 3.3 und Qwen 3 liefern für die meisten Alltagsaufgaben vergleichbare Qualität und laufen vollständig auf deiner Hardware.

Fazit: Starte mit Llama 3.3 8B. Es deckt 80 % der Anwendungsfälle gut ab. Wechsle zu Qwen 3 für Coding oder Llama 3.3 70B, wenn du mehr Rechenleistung brauchst.

Was ist Quantisierung (und warum ist sie wichtig)?

Quantisierung ist das wichtigste Konzept für das lokale Ausführen von LLMs. Sie reduziert die Genauigkeit der Modellgewichte -- etwa von 16-Bit-Gleitkomma auf 4-Bit-Integer -- damit größere Modelle in weniger VRAM passen.

Stell es dir wie Audioqualität vor: Eine verlustfreie FLAC-Datei ist riesig, aber perfekt. Ein MP3 mit 320 kbps ist ein Bruchteil der Größe und für die meisten Hörer praktisch nicht zu unterscheiden. Q4_K_M-Quantisierung ist dein 320-kbps-MP3 -- 75 % weniger VRAM bei unter 3 % Qualitätsverlust auf Standard-Benchmarks.

GGUF (General GGML Universal Format) ist das Dateiformat, das das ermöglicht. Es löste das ältere GGML-Format ab und ist jetzt der universelle Standard, der von Ollama, LM Studio und llama.cpp verwendet wird. GGUF-Dateien sind eigenständig, architektur-agnostisch und speichermappbar -- d. h. Tools können sie effizient laden. Die vollständige Spezifikation ist offen und gut dokumentiert.

Wenn du ein Modell von Ollama herunterlädst, erhältst du standardmäßig Q4_K_M -- und das ist für die meisten Menschen die richtige Wahl. Power-User können die Quantisierung explizit angeben: ollama pull llama3.3:70b-q4_K_M.

Fazit: Verwende Q4_K_M für alles, es sei denn, du hast VRAM zu verschenken. Der Qualitätsunterschied ist bei 95 % der Aufgaben nicht wahrnehmbar.

Welches Tool solltest du verwenden, um LLMs lokal auszuführen?

Die Tool-Landschaft hat sich schnell entwickelt. Hier sind die sechs wichtigsten Tools im direkten Vergleich:

Ollama ist der Ausgangspunkt. Es hüllt llama.cpp in einen Go-Server, ergänzt durch Ein-Befehl-Modell-Pulling, automatisches GPU-Offloading und eine OpenAI-kompatible API. Es ist zum De-facto-Standard für lokale LLM-Entwicklung geworden, mit über 250.000 Sternen auf GitHub.

LM Studio ist das "Spotify für LLMs" -- durchsuche und lade Modelle über eine saubere GUI herunter. Großartig zum Erkunden und Testen, bevor du dich für einen Workflow entscheidest.

llama.cpp ist die rohe C/C++-Inferenz-Engine unter Ollama und LM Studio. Nutze es direkt, wenn du maximale Kontrolle, individuelle Builds oder Deployment auf Edge-Geräten benötigst.

vLLM ist die Produktionswahl. Sein PagedAttention-Speichermanagement liefert 19-fachen Durchsatz gegenüber Ollama im Mehrbenutzerbetrieb -- 793 TPS gegenüber 41 TPS in Benchmarks. Wenn du mehrere Benutzer bedienst, ist das die richtige Wahl.

Docker Model Runner ist Dockers native LLM-Integration, inzwischen GA. Führe LLMs als OCI-Artefakte aus. Wenn dein Team bereits in Docker lebt, eliminiert das ein weiteres Tool aus deinem Stack.

Jan AI ist eine Open-Source-Desktop-App (Apache 2.0) mit datenschutzorientiertem Design und einem Erweiterungssystem. Eine solide Alternative zu LM Studio, wenn du null Telemetrie möchtest.

Wann was verwenden

Fazit: Starte mit Ollama. Wirklich, fang einfach dort an. Es deckt 90 % der Anwendungsfälle ab. Wechsle zu vLLM für Produktionsbetrieb oder LM Studio, wenn du eine GUI bevorzugst.

Wie richtest du dein erstes lokales LLM ein?

Drei Schritte. Fünf Minuten. Los geht's.

Schritt 1: Ollama installieren

# macOS / Linux (ein Befehl):
curl -fsSL https://ollama.com/install.sh | sh

# Windows: Installer von https://ollama.com/download herunterladen

Schritt 2: Erstes Modell herunterladen und ausführen

# Llama 3.3 (~4,7 GB) herunterladen und Chat starten
ollama pull llama3.3
ollama run llama3.3

Das war's. Du führst ein hochmodernes LLM auf deiner eigenen Maschine aus. Stell eine Frage und du bekommst in Millisekunden eine Antwort.

Schritt 3: Die API verwenden (Drop-in-OpenAI-Ersatz)

Das ist der Teil, der lokale LLMs wirklich praktisch macht. Ollama stellt eine OpenAI-kompatible API auf localhost:11434 bereit. Jede Anwendung, die mit OpenAI funktioniert, kann stattdessen auf deinen lokalen Endpunkt verweisen -- null Code-Änderungen.

# API mit curl testen
curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "llama3.3",
    "messages": [{"role": "user", "content": "Erkläre Quantencomputing in 3 Sätzen"}]
  }'

# Python: Drop-in-Ersatz für OpenAI SDK
from openai import OpenAI

client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")

response = client.chat.completions.create(
    model="llama3.3",
    messages=[{"role": "user", "content": "Schreibe eine Python-Funktion zum Sortieren einer Liste"}]
)
print(response.choices[0].message.content)

Beachte, dass der Python-Code das Standard-OpenAI-SDK verwendet -- du änderst nur base_url. Jede Bibliothek, jedes Framework und jedes Tool, das die OpenAI-API unterstützt, funktioniert sofort mit Ollama.

Alternative: Docker Model Runner

Wenn dein Workflow Docker-nativ ist, ermöglicht Docker Model Runner dir, Ollama komplett zu überspringen:

# Modell über Docker herunterladen und ausführen
docker model pull ai/llama3.3
docker model run ai/llama3.3 "Hallo, wie geht es dir?"

Docker Model Runner ist jetzt GA und unterstützt CUDA, Metal und Vulkan GPU-Backends. Er führt Modelle als OCI-Artefakte aus und stellt eine OpenAI-kompatible API bereit -- gleiche Entwicklererfahrung, aber nativ im Docker-Ökosystem.

Fazit: Von null zu einem laufenden LLM dauert mit Ollama unter 5 Minuten. Die OpenAI-kompatible API bedeutet, dass dein bestehender Code ohne Änderungen funktioniert.

Wie erzielst du die beste Performance auf dem Mac?

Mac-Nutzer haben eine geheime Waffe, die die meisten Anleitungen völlig übergehen: MLX.

Alle Tools, die wir besprochen haben -- Ollama, LM Studio, llama.cpp -- funktionieren auf dem Mac über das Metal-Backend. Sie alle nutzen die GPU-Kerne von Apple Silicon und liefern solide Performance. Aber MLX, Apples eigenes ML-Framework, geht noch weiter.

MLX ist speziell für Apple Silicon entwickelt. Es nutzt die Unified-Memory-Architektur auf einer tieferen Ebene als Metal allein und liefert 20-30 % schnellere Inferenz als llama.cpp auf gleicher Hardware. Das mlx-lm-Paket macht es einfach, jedes kompatible Modell auszuführen:

# MLX-LM installieren
pip install mlx-lm

# Modell mit MLX ausführen (wird automatisch von Hugging Face heruntergeladen)
mlx_lm.generate --model mlx-community/Llama-3.3-8B-Instruct-4bit \
  --prompt "Erkläre den Unterschied zwischen Ollama und MLX"

Wann solltest du also MLX versus Ollama auf dem Mac verwenden?

• Ollama: Einfacheres Setup, eingebautes Modell-Management, OpenAI-kompatible API. Für die meisten Dinge verwenden -- besonders wenn andere Apps sich mit deinem lokalen LLM verbinden sollen.
• MLX: Schnellere rohe Inferenz, native Apple-Optimierung. Verwenden, wenn Geschwindigkeit wichtig ist -- Coding-Copiloten, Batch-Verarbeitung oder jeder Workflow, bei dem 20-30 % schnellere Generierung echte Zeit spart.

Beide Tools können gleichzeitig laufen. Viele Entwickler verwenden Ollama als täglichen Treiber und wechseln zu MLX für leistungskritische Aufgaben.

Apple präsentierte auch den M5-Chip auf der WWDC25 mit behaupteten 4-fachen Geschwindigkeitsverbesserungen gegenüber M4 für ML-Workloads. Wenn du neue Hardware speziell für lokale LLMs kaufst, bleibt Apple Silicon eines der besten Preis-Leistungs-Angebote -- besonders bei M4 Max und Ultra, wo 64-256 GB Unified Memory dir erlaubt, Modelle auszuführen, die bei diskreten GPUs Tausende kosten würden.

Fazit: Mac-Nutzer haben eine geheime Waffe in MLX. Für den täglichen Gebrauch funktioniert Ollama auf dem Mac einfach. Für maximale Geschwindigkeit ist MLX das zusätzliche Setup wert.

Wann solltest du über Ollama hinausgehen?

Ollama ist perfekt für Entwicklung, Prototyping und Einzelnutzer-Workloads. Aber es gibt klare Signale, dass du darüber hinausgewachsen bist:

vLLM ist das Produktions-Upgrade. Sein PagedAttention-Algorithmus verwaltet GPU-Speicher wie virtuelle Speicherseiten in einem Betriebssystem -- Speicher wird in Blöcken statt in zusammenhängenden Chunks allokiert und freigegeben. Das Ergebnis: 793 TPS gegenüber 41 TPS für Ollama in Multi-User-Benchmarks. Das ist keine marginale Verbesserung; es ist eine andere Klasse von Tool.

Das Hybrid-Muster ist ebenfalls überlegenswert: Verwende ein lokales LLM für sensible oder Routine-Aufgaben (Zusammenfassung, Klassifizierung, Code-Review) und leite komplexe Reasoning-Anfragen an eine Cloud-API weiter. Du erhältst die Datenschutz- und Kostenvorteile der lokalen Inferenz für 80 % deines Workloads, während du bei Bedarf Zugang zu Frontier-Modellqualität behältst.

Fazit: Die meisten Entwickler müssen Ollama nie verlassen. Wenn du ein Produkt baust, das mehrere Nutzer bedient, ist vLLM der offensichtliche nächste Schritt.

Was kannst du wirklich mit lokalen LLMs bauen?

Einen Chatbot zu betreiben ist der offensichtliche Anwendungsfall, aber nicht der interessante. Hier sind die Bereiche, in denen lokale LLMs wirklich glänzen:

Lokaler Coding-Copilot. Verbinde Qwen 3 über Ollama mit Continue.dev oder Tabby. Dein Code verlässt deine Maschine nie -- entscheidend für proprietäre Codebases. Das Setup dauert 10 Minuten und die Erfahrung ist für die meisten Aufgaben mit Cloud-basierten Copiloten vergleichbar. Wenn du eine KI-gestützte SaaS aufbaust, beschleunigt ein lokaler Copilot die Entwicklung, ohne deine Codebasis preiszugeben.

Privates RAG-System. Indiziere deine internen Dokumente und befrage sie dann mit einem lokalen LLM. Kombiniere LangChain + Ollama + ChromaDB und du hast eine private Wissensbasis, die vertrauliche Daten ohne Compliance-Kopfschmerzen verarbeitet. Gesundheits- und Rechtsunternehmen machen das bereits für HIPAA und Anwalt-Mandant-Privilegien.

Offline-Assistent. Kein Internet erforderlich. Feldforscher, militärische Operationen, abgelegene Arbeitsorte -- überall, wo Konnektivität unzuverlässig ist, arbeitet ein lokales LLM weiter.

Datenverarbeitungs-Pipeline. Zusammenfassen, klassifizieren oder Informationen aus Tausenden von Dokumenten extrahieren -- bei null Grenzkosten. Keine API-Rate-Limits drosseln deinen Durchsatz. Ein lokales 8B-Modell auf einer ordentlichen GPU kann Hunderte von Seiten pro Minute verarbeiten.

KI-gestützte Dev-Tools. Code-Review-Bots, Commit-Message-Generatoren, Test-Generierung -- alles läuft auf deiner Infrastruktur. Teams, die KI-Tools für Startups nutzen, beginnen oft mit Cloud-APIs und migrieren ihre hochvolumigen, wenig komplexen Aufgaben zu lokalen Modellen, wenn sie skalieren.

Enterprise Data Sovereignty. Das Hybrid-Architektur-Muster: Lokale LLMs verarbeiten sensible Daten (HIPAA, DSGVO, klassifiziert), Cloud-APIs verarbeiten nicht-sensible Anfragen, die Frontier-Reasoning erfordern. Du bekommst das Beste aus beiden Welten.

Sieh dir unseren Besten Tools zum lokalen Ausführen von LLMs [demnächst] für detaillierte Bewertungen jedes oben genannten Tools an.

Fazit: Der killer Anwendungsfall ist nicht Chat -- es ist das Ausführen von KI über sensible Daten, die du nicht an eine Cloud-API senden kannst. Coding-Copiloten und privates RAG sind die Bereiche, in denen lokale LLMs wirklich glänzen.

Wie Techsy lokale KI-Integration angeht

Wir haben lokale KI-Pipelines für Teams von 3-Personen-Startups bis hin zu Enterprise-Engineering-Organisationen gebaut. Hier ist, was wir gelernt haben:

1. Starte mit Ollama für Prototyping -- validiere den Anwendungsfall, bevor du in Infrastruktur investierst
2. Entwirf die Hybrid-Architektur früh -- entscheide, welche Aufgaben lokal bleiben und welche eine Cloud-API treffen
3. Verwende vLLM, wenn du über Ollama hinauswächst -- insbesondere wenn du mehr als eine Handvoll gleichzeitiger Nutzer bedienst
4. Containerisiere alles -- Docker Model Runner oder benutzerdefinierte Docker-Images machen Deployment in Umgebungen reproduzierbar
5. Budgetiere GPU-Hardware durchdacht -- eine RTX 4090 amortisiert sich innerhalb von Monaten, wenn sie Cloud-API-Kosten ersetzt

Für die meisten persönlichen und kleinen Team-Anwendungsfälle ist das Ollama-Setup in dieser Anleitung wirklich ausreichend. Unsere Dienstleistungen sind sinnvoll, wenn du lokale KI in den Produktionsbetrieb skalierst: Multi-Modell-Orchestrierung, benutzerdefinierte Fine-Tuning-Pipelines oder der Aufbau von Produkten, bei denen LLM-Inferenz eine Kernfunktion ist.

Brauchst du Hilfe bei der Integration lokaler LLMs in dein Produkt? Hol dir eine kostenlose Beratung.

Häufig gestellte Fragen

Wie führe ich ein LLM lokal aus?

Installiere Ollama, führe ollama pull llama3.3 aus, dann ollama run llama3.3. Drei Befehle und du führst ein hochmodernes LLM auf deiner eigenen Hardware aus. Der gesamte Prozess dauert unter 5 Minuten, einschließlich des Modell-Downloads.

Welche Hardware brauche ich, um ein LLM lokal auszuführen?

Minimum: 8 GB RAM und eine moderne CPU -- aber es wird schmerzhaft langsam sein. Empfohlen: eine GPU mit 12+ GB VRAM (RTX 3060 oder besser) oder ein Apple Silicon Mac mit 16+ GB Unified Memory. Die RTX 4060 Ti 16 GB für ~400 € ist für die meisten Menschen der Sweet Spot.

Kann ich ein LLM auf einem Mac ausführen?

Ja, und Macs sind hervorragend dafür geeignet. Apples Unified Memory gibt dir effektiv mehr VRAM als die meisten diskreten GPUs zum gleichen Preis. Ein M4 Pro mit 24 GB verarbeitet 7-13B-Modelle problemlos. Für noch bessere Performance verwende MLX -- Apples natives Framework, das auf demselben Chip 20-30 % schneller als llama.cpp ist.

Ist es kostenlos, ein LLM lokal auszuführen?

Die Software (Ollama, LM Studio, llama.cpp) und die Modelle (Llama, Qwen, Mistral) sind alle kostenlos und Open Source. Die einzigen Kosten sind Hardware, die du wahrscheinlich bereits besitzt. Sogar ein einfacher Laptop kann kleinere Modelle zum Testen ausführen.

Kann ich ChatGPT lokal ausführen?

Nein. ChatGPT ist das proprietäre Produkt von OpenAI und nicht für lokales Deployment verfügbar. Open-Weight-Alternativen wie Llama 3.3 und Qwen 3 liefern jedoch für viele Alltagsaufgaben vergleichbare Qualität und laufen vollständig auf deiner Hardware.

Was ist GGUF?

GGUF (General GGML Universal Format) ist das Standard-Dateiformat für quantisierte lokale LLMs. Es ist eigenständig, architektur-agnostisch und wird von Ollama, LM Studio und llama.cpp verwendet. Wenn du eine Modelldatei siehst, die auf .gguf endet, ist sie für lokale Inferenz bereit.

Was ist Quantisierung und warum ist sie wichtig?

Quantisierung reduziert die Modellpräzision (z. B. von 16-Bit auf 4-Bit), damit größere Modelle in weniger Speicher passen. Q4_K_M-Quantisierung reduziert den VRAM-Bedarf um ungefähr 75 %, während 97-98 % der Ausgabequalität erhalten bleibt. Deshalb kannst du ein 70B-Parameter-Modell auf einer einzelnen Consumer-GPU ausführen.

Was ist das beste lokale LLM-Modell in 2026?

Llama 3.3 8B ist der beste allgemeine Ausgangspunkt. Qwen 3 7B führt bei Coding- und mehrsprachigen Aufgaben. Phi-4-mini (3,8B) ist die Wahl für eingeschränkte Hardware. Llama 3.3 70B liefert das nächste, was du lokal an GPT-4-Klasse-Reasoning bekommst.

Wie schnell ist ein lokales LLM im Vergleich zu Cloud-APIs?

Für einen Einzelnutzer ist lokal oft schneller -- 30-50 ms First-Token-Latenz gegenüber 1-2 Sekunden über eine Cloud-API. Du eliminierst auch Rate Limits und Warteschlangenzeiten. Für High-Throughput-Multi-User-Szenarien übertreffen Cloud-APIs oder vLLM mit ordentlicher GPU-Infrastruktur ein einfaches Ollama-Setup.

Ist es sicher, ein LLM lokal für sensible Daten auszuführen?

Ja -- das ist einer der Hauptgründe für lokales Ausführen. Daten verlassen deine Maschine nie, also gibt es keine Drittanbieter-Exposition. Gesundheits- (HIPAA), Finanz- und Behördenorganisationen verwenden lokale LLMs speziell deshalb, weil kein Datenverarbeitungsvertrag mit einem Cloud-Anbieter den Datenschutz des Nicht-Sendens von Daten übertreffen kann.

Was ist der Unterschied zwischen Ollama und llama.cpp?

Ollama hüllt llama.cpp in einen Go-Server, ergänzt durch Modell-Management, automatisches GPU-Offloading und eine OpenAI-kompatible API. llama.cpp ist die rohe C/C++-Inferenz-Engine darunter. Verwende Ollama für Komfort; verwende llama.cpp direkt, wenn du maximale Kontrolle oder Edge-Deployment benötigst.

Kann ich ein 70B-Modell auf Consumer-Hardware ausführen?

Ja, mit Quantisierung. Ein 70B-Modell bei Q4_K_M benötigt ungefähr 24 GB VRAM -- erreichbar mit einer RTX 4090 oder einem M4 Max mit 48+ GB Unified Memory. Die Performance ist brauchbar (15-30 Tokens pro Sekunde), aber spürbar langsamer als ein 7B- oder 13B-Modell. Für den täglichen Gebrauch finden die meisten Menschen, dass 7-13B-Modelle das beste Geschwindigkeits-Qualitäts-Gleichgewicht treffen.

Quellen

• Ollama Offizielle Website
• Ollama GitHub Repository
• llama.cpp GitHub Repository
• vLLM Dokumentation
• vLLM Blog -- PagedAttention
• Apple MLX GitHub Repository
• MLX-LM GitHub Repository
• Docker Model Runner Dokumentation
• GGUF Format Spezifikation
• Hugging Face GGUF Dokumentation
• Hardware Corner GPU-Benchmarks für LLMs