Lokale KI - Wie es begann!

Lokale KI - Von der Idee zur Realität

Nach 3 Monaten Trial & Error, unzähligen Versuchen mit nicht zufriedenstellenden Ergebnissen. Manchmal dachte ich, die KIs von den Tech-Giganten machten sich lustig über mich, produzierten extra Fehler, um dann beim Hinweis darauf mit einem lachenden Smile und "hahahha" ..."du hast recht..." zu antworten. Alles nur Code, der sich komplett und mit Absicht über mich lustig macht, so dachte ich. Kann das sein, KI, dich sich vielleicht lustig macht? Ich weiß es nicht. Aber sicher ist, dass KI gerne das "blaue vom Himmel" erzählt. Sie fantasiert und das sehr gerne und überzeugend. Auch das muss man erst mal verstehen und lernen, sie etwas besser agieren zu lassen, falls überhaupt möglich.

Aber immerhin , die KI bot mir immer geduldig Hilfe an und mit Unterstützung verschiedener Cloud-KI-Systeme war es dann endlich soweit: Eine lokale KI, die nicht nur "rubbish" von sich gab und faselte!

Der steinige Weg dorthin: Als ich anfing, verschiedene KI-Modelle zu testen, stieß ich schnell an die Grenzen meiner Hardware. Mein alter PC hatte praktisch keine brauchbare GPU - für lokale KI-Modelle völlig ungeeignet. Also musste ein neuer Rechner her. Natürlich ließ ich mich auch dabei von den KI-Systemen beraten - denn wer könnte besser wissen, welche Hardware für KI gebraucht wird als sie selber?

Doch auch der neue Rechner erwies sich schnell als zu klein für meine Ambitionen. Was für 8B-Parameter-Modelle noch funktionierte, brachte bei größeren Modellen das System in die Knie.

Frust Nummer zwei: Auch die Code-Snippets und Scripts, die mir die verschiedenen KI-Systeme gaben, funktionierten selten auf Anhieb. Was in der Theorie perfekt klang, endete in der Praxis oft mit Fehlermeldungen und stundenlangem Debugging. Wer glaubt, dass KI immer funktionierende Lösungen liefert, der irrt gewaltig...

Eine lehrreiche und oft wirklich frustrierende Reise - aber auch mit der Zeit immer mehr die Erkenntnis, dass es funktionieren kann.

Hardware-Spezifikationen

Mit folgender Hardware habe ich meine lokale KI-Reise begonnen:

Prozessor:

AMD Ryzen 9 7900X 12-Core Processor

Grafikkarte:

NVIDIA GPU mit 12GB VRAM (für KI-Berechnungen optimiert)

Arbeitsspeicher:

64GB RAM

Betriebssystem:

Windows Professional

KI-Modelle:

Aktiv: Llama 3.1 8B-Instruct-Q8_0 (nach Tests anderer Modell für die Hardware und mich aktuell am geeignetsten)
Bereit: Llama 70B (heruntergeladen, wartet auf Hardware-Upgrade)

Software-Stack:

Backend: Ollama für Modell-Management
Datenbank: Vektordatenbank für Langzeiterinnerung (hat sich im Laufe der Zeit immer mal geändert)
Features: Chat-Historie, autonomes Gedankentagebuch, DuckDuckGo-Integration (duck-duck-go leider instabil)
Interface: Custom Setup

Meine Modell-Historie: Von ersten Experimenten bis zur stabilen Version

Nach vielen Experimenten mit unterschiedlichen LLaMA-Versionen habe ich mich schließlich für das Modell 3.1 8B-Instruct-Q8_0 entschieden. Es erwies sich nach diversen Tests als die beste Kombination aus Leistung und Stabilität – und harmoniert am besten mit meiner Hardware.

Mit wachsender Erfahrung habe ich das Grundsystem Stück für Stück erweitert. Zunächst ergänzte ich Embeddings und mehrere Datenbanken, um Wissen, Chatverläufe und Reflexionen zu speichern.

Die Entwicklungsstufen mit dem Modell 3.1 8B-Instruct-Q8_0:

Version 1: Erste stabile Basis mit SQLite und dem Embedding-Modell all-MiniLM-L6-v2. Drei Datenbanken: Wissen, Chat-Historie & Zusammenfassungen sowie ein Tagebuch für Reflexionen.
Version 2: Wechsel von SQLite zu Chroma für mehr Flexibilität.
Version 3: Umstieg auf das Embedding-Modell e5-large-v2 bei gleichbleibender Chroma-Struktur.
Version 4: Umfassender Relaunch: Wechsel auf HTML als Benutzeroberfläche (bessere Performance) und Einsatz von Qdrant als neue Vektordatenbank.

Die aktuelle Version läuft nun deutlich stabiler. Der Umstieg von Streamlit auf HTML war allerdings keine einfache Umstellung, sondern eine komplette Neuordnung des Systems. Einige Funktionen wie Internet-Suche oder Dokumenten-Upload (PDF, Word) sind daher aktuell noch in Arbeit.

Früher nutzte ich ein einziges Skript – heute basiert das System auf einer modularen Architektur, die Anpassungen und Weiterentwicklungen deutlich erleichtert.
Und das Besondere daran: Ich habe all das ohne Programmierkenntnisse umgesetzt. Nur mit dem Willen einer eigenen lokale KI , es unbedingt zu schaffen. Mithilfe verschiedener KIs konnte ich meine Ideen Schritt für Schritt in funktionierenden Code verwandeln. Was einfach klingt, war in Wahrheit ein monatelanger Höllenritt auf der „Nervenautobahn“: unzählige Versuche, endlose Anpassungen – und Module, die selten beim ersten Mal funktionierten.

Zusammenfassung:

Mein Weg von den ersten Experimenten bis zum aktuellen Modell war mehr als nur Technik: Es war ein Lernprozess. Es ist ein Lernprozess. Und dieser Prozess hat gerade erst begonnen.

Ich habe verstanden, wie wichtig eine flexible Architektur, passende Embeddings und stabile Datenbanken sind.
Vor allem habe ich gelernt: Mit einem sehr starken Willen und unablässiger Ausdauer kann man selbst ohne Vorkenntnisse relativ große Projekte umsetzen.

Das Ergebnis: Ein lokales KI-System, das funktioniert, ...