Lokale KI-Tools

Wenn persönliche Daten besonders geschützt werden sollen oder kein Internetzugang möglich ist, dann empfiehlt sich die Nutzung eines lokalen KI-Tools. Beispiele freiverfügbarer Systeme:

Die oben aufgeführten KI-Tools haben den Vorteil sehr einfach in der Installation und Nutzung zu sein. Allerdings muss deutlich darauf hingewiesen werden, dass lokale Sprachmodelle

a) sehr viel Platz auf der lokalen Festplatte brauchen (8..20 GB) b) nur dann performant laufen, wenn viel Arbeitsspeicher und eine leistungsfähige Grafikkarte zur Verfügung stehen.

Dem kann Rechnung getragen werden, wenn das zu nutzende Sprachmodell (Größe in GB) ausgesucht werden soll.

Hier soll die Nutzung von Ollama besprochen werden.

Ollama

Installation

Ollama ist frei verfügbar und bietet eine Vielzahl von Sprachmodellen zur freien Nutzung an. Die Installation ist sehr einfach und weitgehend automatisch.

Download Ollama

Einstellungen

Es gibt einige Einstellung, die angepasst werden können.

Wichtig ist dabei der Ort, an dem Ollama die Modelle speichern soll, da sie sehr viel Festplattenplatz benötigen. Wenn mehrer Festplatten im System zur Verfügung stehen, dann empfiehlt sich die Auswahl mit dem größten freien Speicherplatz.

Sollen zusätzlich auch Cloud-Modelle und Web-Suche genutzt werden, dann ist diese Option zu aktivieren. Allerdings braucht es dann einen Account bei Ollama.

Die "Context lenght" kann angepasst werden, wenn z.B. größere Texte verarbeitet bzw. generiert werden sollen.

Modelle installieren

Zuerst muss ein Modell auf den lokalen Rechner geladen werden. Dazu ist wie folgt vorzugehen:

Es gibt eine Vielzahl von Modellen. Hier seien nur eine kleine Auswahl gelistet:

Modell	Größe	Urheber	Modell-Größe	Bemerkung
qwen 3.5:latest	6.6 GB	Alibaba	8b	Thinking, Text+Image,
llama3.2:latest	2.0 GB	Meta	3b	klein, schnell
gpt-oss:latest	14.0 GB	OpenAI	20b	Thinking, Agenten,

Arbeiten mit Ollama

Die Nutzung läuft genau wie bei den webbasierten KI-Tools wie ChatGPT u.a. auch, als wäre man angemeldet. Es lassen sich neue Chats generieren oder bereits durchgeführte Chats wieder aufrufen (alles wird lokal gespeichert!)

Reihenfolge:

Neuen Chat anlegen
Modell wählen
Prompt-Eingabe
Abschicken