Local LLMs vs. Cloud-KI — was für den Mittelstand wirklich sinnvoll ist

Die Frage ist nicht mehr, ob Ihr Unternehmen KI einsetzt, sondern wo die Daten dabei landen. Cloud-Dienste wie GPT-5 oder Claude liefern beeindruckende Ergebnisse, verarbeiten Ihre Eingaben aber auf Servern, die Sie nicht kontrollieren. Lokale Modelle wie Llama oder Mistral laufen auf eigener Hardware — mit spürbaren Kompromissen bei Leistung und Aufwand. Mit dem EU AI Act, dessen Pflichten für Hochrisiko-Systeme ab dem 2. August 2026 vollständig greifen, wird diese Entscheidung für Mittelständler zur echten Compliance-Frage — nicht nur zur technischen Vorliebe. Wer jetzt eine KI-Strategie aufsetzt, muss wissen, welches Modell wo laufen darf und welches wo laufen sollte.

Dieser Artikel ordnet beide Wege ehrlich ein: Was lokale LLMs heute wirklich leisten, was Cloud-KI liefert, welche sechs Kriterien für KMU zählen — und warum in der Praxis meist eine Kombination aus beidem die richtige Antwort ist.

Was heißt eigentlich "lokales LLM"?

Ein lokales LLM (Large Language Model) läuft vollständig auf Hardware, die Sie selbst betreiben — im eigenen Rechenzentrum, auf einem Server im Büro oder sogar auf einem leistungsfähigen Arbeitsplatzrechner. Keine Anfrage verlässt das Unternehmensnetz. Für den Einstieg haben sich drei Werkzeuge etabliert:

• Ollama — die einfachste Variante, ein Modell per Kommandozeile herunterzuladen und lokal zu betreiben. Läuft auf macOS, Linux und Windows, unterstützt eine Vielzahl offener Modelle.
• LM Studio — grafische Oberfläche für den lokalen Betrieb, eher für Einzelnutzer und Tests gedacht als für den produktiven Mehrbenutzerbetrieb.
• Docker-Deployment — für den produktiven Einsatz im Unternehmen: Modell-Server (z. B. vLLM oder Ollama im Container) hinter einer internen API, angebunden an bestehende Anwendungen.

Bei den Modellen selbst hat sich die Auswahl 2026 deutlich verbreitert. Llama 3.3 70B (Meta) gilt als solider Allrounder mit guter Mehrsprachigkeit, Mistral (in mehreren Größen, unter anderem Mistral Large) punktet bei europäischer Herkunft und effizientem Betrieb, Qwen (Alibaba) liefert bei Code- und Analyseaufgaben oft überraschend starke Ergebnisse, und Phi-4 (Microsoft) ist als kompaktes Modell auf schwächerer Hardware nutzbar.

Hardware-Anforderungen — konkrete Zahlen

Die Modellgröße bestimmt den Hardwarebedarf direkt. Als Faustregel: Ein Modell mit 70 Milliarden Parametern benötigt in einer für den Produktivbetrieb sinnvollen Quantisierung (4-Bit) rund 40–48 GB Arbeitsspeicher beziehungsweise Grafikspeicher, unkomprimiert deutlich mehr.

• Kleine Modelle (7–14 Mrd. Parameter, z. B. Phi-4, Mistral 7B): ab 16 GB RAM, laufen auch ohne dedizierte GPU nutzbar, mit GPU deutlich schneller.
• Mittlere Modelle (30–34 Mrd. Parameter): 24–32 GB VRAM empfehlenswert, etwa eine Nvidia RTX 4090 (24 GB) oder RTX 5090 (32 GB).
• Große Modelle (70 Mrd. Parameter, z. B. Llama 3.3 70B): 48–80 GB VRAM oder ein Mac Studio mit ausreichend Unified Memory (128 GB empfehlenswert), alternativ Server-GPUs wie A100 oder H100 mit 80 GB.

In der Praxis ist der Mac Studio mit Apple Silicon (M-Serie) für KMU derzeit ein attraktiver Einstiegspunkt, weil der Unified Memory große Modelle ohne mehrere Grafikkarten stemmt — bei deutlich geringerem Stromverbrauch als eine Server-GPU-Lösung. Wer stattdessen auf klassische GPU-Server setzt, etwa mit einer oder zwei Nvidia A100 (80 GB) oder H100, bewegt sich schnell im Bereich von 15.000 bis 30.000 Euro für die Hardware allein — das lohnt sich vor allem, wenn mehrere Nutzer gleichzeitig auf das Modell zugreifen sollen oder eine höhere Antwortgeschwindigkeit gefordert ist. Für ein KMU mit überschaubarer Nutzerzahl reicht in den meisten Fällen die deutlich günstigere Mac-Studio- oder Einzel-GPU-Lösung aus.

Was Cloud-KI heute liefert

Auf der anderen Seite stehen die großen Cloud-Modelle: Claude Sonnet (Anthropic), GPT-5 (OpenAI) und Gemini 2.5 (Google) definieren aktuell die Grenze dessen, was mit KI möglich ist — bei Textverständnis, Programmierung, mehrstufigem Schlussfolgern und Kontextlänge liegen sie vor allem, was lokal betreibbar ist. Für Unternehmen, die diese Modelle nicht direkt beim Anbieter, sondern über einen Enterprise-Kanal nutzen wollen, gibt es Managed-Service-Varianten: Azure OpenAI Service bindet GPT-Modelle in die Microsoft-Cloud-Infrastruktur ein, AWS Bedrock bietet mehrere Modellfamilien (darunter Claude) über eine gemeinsame API in der AWS-Umgebung an.

Der praktische Vorteil dieser Managed Services: Sie erhalten definierte Service-Level-Agreements, regionale Datenverarbeitung (etwa EU-Rechenzentren bei Azure), und die Skalierung übernimmt der Anbieter — von einer Anfrage pro Tag bis zu Tausenden pro Minute, ohne eigene Kapazitätsplanung. Die Latenz liegt bei guter Anbindung im niedrigen einstelligen Sekundenbereich für die erste Antwort-Token, was für die meisten Geschäftsanwendungen ausreichend ist. Der Kompromiss: Die Daten verlassen zumindest technisch das eigene Netz, auch wenn Anbieter vertraglich zusichern, sie nicht für Training zu verwenden.

Die sechs harten Kriterien für KMU

1. Datenschutz und DSGVO

Das ist für die meisten Mittelständler der Ausgangspunkt der Diskussion. Nach DSGVO ist die Verarbeitung personenbezogener Daten durch einen Cloud-KI-Anbieter grundsätzlich zulässig — aber nur mit einem gültigen Auftragsverarbeitungsvertrag (AVV) und, bei Anbietern außerhalb der EU, mit zusätzlichen Garantien wie Standardvertragsklauseln. Azure OpenAI mit EU-Datenverarbeitung reduziert das Risiko erheblich, eine direkte Nutzung von US-Diensten ohne geprüften AVV ist es nicht. Ein lokales LLM umgeht diese Fragestellung komplett: Es verarbeitet nichts außerhalb der eigenen Infrastruktur, es gibt keinen Drittanbieter, der Daten sieht. Für hochsensible Daten — Personalakten, Gesundheitsdaten, Mandantendaten — ist das der entscheidende Vorteil.

2. Kosten — die echten Zahlen

Ein Mac Studio mit ausreichend Speicher für ein 70B-Modell kostet einmalig rund 4.000 Euro, hinzu kommen Strom und gelegentliche Wartung — danach ist die Nutzung faktisch kostenlos, unabhängig vom Volumen. Ein vergleichbarer Cloud-Dienst wird nach Token abgerechnet: Je nach Nutzungsintensität liegen die laufenden Kosten für ein KMU mit mehreren aktiven KI-Anwendungsfällen realistisch zwischen 200 und 800 Euro pro Monat — bei sehr intensiver Nutzung (viele Nutzer, lange Dokumente, Agentensysteme) auch deutlich mehr. Die Rechnung kippt: Bei niedrigem, unregelmäßigem Bedarf ist Cloud günstiger, weil die Fixkosten der Hardware entfallen. Bei hohem, dauerhaftem Bedarf amortisiert sich die lokale Investition oft innerhalb von 6 bis 12 Monaten.

3. Leistung — ehrlich eingeordnet

Hier muss man klar sein: Frontier-Modelle wie GPT-5 oder Claude Sonnet sind bei komplexem Schlussfolgern, mehrsprachigen Nuancen und langen Kontexten den lokal betreibbaren Modellen aktuell überlegen. Llama 3.3 70B oder Mistral Large liefern für viele Alltagsaufgaben — Textzusammenfassung, Klassifikation, einfache Analyse, interne Dokumentensuche — eine Qualität, die für den Geschäftsbetrieb ausreicht. Bei anspruchsvollen Aufgaben wie komplexer Vertragsauslegung, mehrstufiger Codegenerierung oder kreativer Textarbeit auf hohem Niveau bleibt eine Lücke, die sich nicht wegdiskutieren lässt.

4. Betrieb und Wartung

Ein Cloud-Dienst ist mit einem API-Schlüssel nutzbar, Updates und Skalierung übernimmt der Anbieter. Ein lokales LLM braucht Betrieb: Modell-Updates einspielen, Hardware überwachen, Backup-Strategie für die Infrastruktur, im Zweifel eigenes Know-how für Fehlerdiagnose. Für ein Unternehmen ohne eigene IT-Abteilung ist das ein spürbarer Mehraufwand, der oft unterschätzt wird — oder externe Unterstützung erfordert.

5. Compliance — EU AI Act und NIS2

Der EU AI Act stuft KI-Anwendungen nach Risikoklassen ein; ab dem 2. August 2026 greifen die Pflichten für Hochrisiko-Systeme vollständig — Risikomanagement, Datenqualität, Dokumentation, menschliche Aufsicht. Diese Pflichten bestehen unabhängig davon, ob das Modell lokal oder in der Cloud läuft — aber die Nachweisbarkeit ist bei lokalem Betrieb oft einfacher, weil Sie die vollständige Kontrolle über Datenfluss und Modellversion haben. Für Unternehmen, die zusätzlich unter NIS2 fallen, gilt: KI-Systeme müssen im Risikomanagement erfasst werden, unabhängig vom Betriebsmodell — ein Cloud-Anbieter in der Lieferkette bringt aber ein zusätzliches Lieferkettenrisiko mit, das eigenständig bewertet werden muss.

6. Vendor-Lock-in

Wer seine Prozesse eng an die API eines einzelnen Cloud-Anbieters bindet, ist bei Preisänderungen, Modell-Abschaltungen oder geopolitischen Verschiebungen exponiert. Lokale, offene Modelle wie Llama oder Mistral lassen sich austauschen, ohne die gesamte Architektur umzubauen — solange die Schnittstelle im eigenen System offen gehalten wird. Das ist kein Argument gegen Cloud-KI, aber ein Grund, die Integration von Anfang an so zu bauen, dass ein Anbieterwechsel möglich bleibt.

Der Hybrid-Ansatz — die richtige Antwort für die meisten KMU

Keines der beiden Modelle gewinnt in jeder Kategorie. Die Praxis zeigt: Der Hybrid-Ansatz — nicht-sensitive Aufgaben in der Cloud, sensitive und regulierte Aufgaben lokal — ist für den Großteil der Mittelständler die wirtschaftlich und rechtlich sinnvollste Lösung.

In meiner eigenen KI-Plattform AuditShield setze ich genau dieses Prinzip um: Bausteine, die mit personenbezogenen Daten, internen Auditunterlagen oder vertraulichen Risikobewertungen arbeiten, laufen auf in Deutschland gehosteter, DSGVO-konformer Infrastruktur — ohne Umweg über einen externen Frontier-Anbieter. Für Aufgaben, die keine sensitiven Unternehmensdaten berühren — etwa allgemeine Recherche zu neuen regulatorischen Entwicklungen oder das Formulieren generischer Textbausteine — kommt punktuell leistungsfähigere Cloud-KI zum Einsatz, weil die höhere Modellqualität dort einen echten Unterschied macht und kein Datenschutzrisiko entsteht. Diese Aufteilung ist keine Ausnahme, sondern die Grundregel: Erst die Datenklasse bestimmen, dann das Modell wählen — nicht umgekehrt.

Ein RAG-System (Retrieval Augmented Generation) verstärkt diesen Effekt zusätzlich: Es ergänzt ein Modell — lokal oder Cloud — um unternehmensspezifisches Wissen, ohne dass die zugrunde liegenden Dokumente das Modell selbst trainieren müssen. Gerade bei lokalen Modellen mit begrenzter Frontier-Leistung ist das ein wirksamer Hebel, um die Qualität für konkrete, firmeneigene Fragestellungen deutlich zu steigern.

Wichtig ist dabei, die Grenze nicht statisch zu ziehen. Ein Unternehmen, das heute mit einem lokalen Mistral-Modell für die interne Dokumentensuche arbeitet, kann morgen für eine neue, unkritische Anwendung problemlos einen Cloud-Dienst hinzunehmen — solange die Klassifizierung der Daten vorher klar definiert ist und dokumentiert bleibt, welches System welche Datenklasse verarbeiten darf. Diese Flexibilität ist der eigentliche Vorteil des Hybrid-Ansatzes: Er ist kein Kompromiss aus Verlegenheit, sondern eine bewusste Architekturentscheidung, die mit den Anforderungen wachsen kann.

Praxis-Empfehlung — Entscheidungsmatrix nach Use Case

• Interne Wissenssuche, Dokumentenanalyse mit Personalbezug: lokal, mit RAG auf firmeneigener Wissensbasis.
• Kundenservice-Chatbot mit Zugriff auf Kundendaten: lokal oder Managed Service mit EU-Hosting und geprüftem AVV.
• Allgemeine Marktrecherche, Textentwürfe ohne sensiblen Bezug: Cloud-KI (Claude, GPT-5, Gemini) — Qualität und Geschwindigkeit überwiegen.
• Code-Unterstützung ohne Zugriff auf proprietären Quellcode: Cloud-KI, sofern Unternehmensrichtlinie das zulässt.
• Verarbeitung von Gesundheits-, Personal- oder Mandantendaten: ausschließlich lokal oder zertifizierter EU-Dienst mit vollständiger Dokumentation.
• Hochrisiko-Anwendungen im Sinne des EU AI Act (z. B. HR-Screening): lokal bevorzugt, in jedem Fall mit vollständiger Risikodokumentation — siehe KI-Sicherheitsberatung.
• Automatisierung wiederkehrender interner Prozesse: abhängig vom Datenbezug — Details dazu in der Prozessautomatisierung-Beratung.

Fazit

Local LLMs und Cloud-KI schließen sich nicht aus — sie ergänzen sich, wenn man die Entscheidung sauber an der Datenklasse und dem Anwendungsfall ausrichtet, statt an Trends. Wer heute eine KI-Strategie aufsetzt, sollte nicht fragen "Cloud oder lokal", sondern "welche Daten dürfen wohin". Mit dem EU AI Act, der ab August 2026 für Hochrisiko-Systeme vollständig greift, wird diese Sauberkeit zur Pflicht, nicht mehr zur Kür. Unternehmen, die jetzt eine durchdachte, dokumentierte Hybrid-Architektur aufbauen, sparen sich später teure Nachbesserungen — und haben ein KI-Setup, das sowohl wirtschaftlich als auch rechtlich trägt.