Was für Hardware braucht Ollama?

Entscheidend ist der Grafikspeicher: Kleine Modelle laufen ab etwa 8 GB VRAM ordentlich, die brauchbaren Mittelklasse-Modelle fühlen sich mit 16 bis 24 GB wohl. Ohne Grafikkarte läuft es auch auf dem Prozessor, dann aber spürbar langsam. Für den Test reicht ein leistungsstarker Arbeitsplatzrechner, für den Team-Betrieb gehört ein kleiner Server mit GPU ins Haus.

Ist lokale KI so gut wie ChatGPT oder Claude?

Nicht durchgehend. Die großen Cloud-Modelle bleiben bei komplexen Aufgaben vorn. Für die Routinearbeit im Unternehmen, also Anfragen sortieren, Texte zusammenfassen, Dokumente durchsuchen, Entwürfe schreiben, sind aktuelle offene Modelle aber längst gut genug, und genau dort entsteht im Alltag die meiste Zeitersparnis.

Was heißt das für den Datenschutz?

Bei lokalem Betrieb verlassen Eingaben und Dokumente das eigene Netz nicht, es gibt keinen Cloud-Anbieter als Auftragsverarbeiter und keine Übermittlung in Drittländer. Das macht die DSGVO-Bewertung deutlich einfacher, gerade bei Mandanten- und Patientendaten. Die Verantwortung für Zugriffe und Absicherung des Servers bleibt, wie bei jedem System im Haus, bei Ihnen.

KI lokal betreiben: Wann Ollama im Unternehmen die richtige Wahl ist

Von IT Service Wagner · 15. Juli 2026

Ollama ist eine Open-Source-Software, mit der KI-Sprachmodelle wie Llama, Mistral oder Qwen direkt auf einem eigenen Rechner oder Server laufen, ohne Cloud und ohne dass Texte das Haus verlassen. Für Unternehmen mit vertraulichen Daten (Mandanten, Patienten, Verträge) ist das der sauberste Weg, KI zu nutzen. Dafür braucht es eigene Hardware mit ausreichend Grafikspeicher, und lokale Modelle sind den großen Cloud-Modellen nicht in allem ebenbürtig.

Passende Leistung dazu: Zu den KI-Agenten

Was Ollama ist

Ollama ist eine kostenlose Open-Source-Software, die KI-Sprachmodelle auf eigener Hardware ausführt: auf einem kräftigen PC, einem Server im Unternehmen oder einem gemieteten dedizierten Server. Ein Befehl lädt ein Modell wie Llama, Mistral oder Qwen, danach beantwortet es Fragen und verarbeitet Texte, ohne dass irgendetwas an einen Cloud-Dienst geschickt wird.

Für Ihr Unternehmen heißt das, die Daten bleiben im Haus. Kein Vertrag mit einem KI-Anbieter, keine Übermittlung von Kundendaten an Dritte, keine Frage, in welchem Rechenzentrum ein Prompt landet.

Für wen sich lokale KI lohnt

Kanzleien und Praxen, die mit Mandanten- oder Patientendaten arbeiten und Cloud-KI dafür zu Recht ausschließen
Unternehmen mit Verträgen und Kalkulationen, die nicht in fremde Systeme gehören, aber trotzdem durchsucht und zusammengefasst werden sollen
Wiederkehrende Routinearbeit in festen Abläufen: Anfragen vorsortieren, Dokumente verschlagworten, Antwortentwürfe schreiben. Genau dafür reichen offene Modelle heute gut aus.

Eine Grenze gibt es. Wer das absolut stärkste Modell für komplexe Einzelaufgaben braucht, fährt mit den großen Cloud-Anbietern besser. In der Praxis bewährt sich oft die Mischung: Unkritisches darf in die Cloud, Vertrauliches bleibt lokal.

Was es wirklich kostet

Die Software ist frei, bezahlt wird die Hardware und die Einrichtung. Als Faustregel: Für erste Tests reicht ein vorhandener PC mit ordentlicher Grafikkarte. Für den Dauerbetrieb im Team gehört ein kleiner Server mit ausreichend Grafikspeicher ins Haus, dessen Dimensionierung sich nach den Modellen richtet, die laufen sollen. Danach fallen, anders als bei Cloud-KI, keine laufenden Gebühren pro Nutzer oder Anfrage an, nur Strom und Pflege.

Genau diese Rechnung, Cloud-Abo gegen eigene Hardware über die Nutzungsdauer, machen wir im Potenzial-Check der KI-Automation auf, mit Ihren Zahlen statt mit Prospektwerten.

KI nutzen, ohne Daten aus dem Haus zu geben?

Wir richten Ihren Agenten auf der eigenen Hardware ein, mit einem Modell, das zur vorhandenen Grafikkarte passt. Ihre Eingaben verlassen dabei kein einziges Mal das Gebäude.

Zu den KI-Agenten Sofort anrufen

IT Service Wagner

IT-Dienstleister für Unternehmen zwischen Koblenz, Neuwied und Bonn, mit Sitz in Rheinbrohl. Hinter IT Service Wagner stehen über 15 Jahre IT-Erfahrung, davon mehr als fünf auf Führungsebene im Mittelstand. Mehr über uns

Ihr nächster Schritt

Im kostenlosen Erstgespräch klären wir, wo Ihre IT steht und was Ihr Unternehmen als Nächstes braucht. Sie sprechen direkt mit Ihrem festen Ansprechpartner.

Sie erreichen uns Montag bis Freitag von 8 bis 18 Uhr, bei akuten Ausfällen rund um die Uhr.