KI-Werkstatt
Neben meinem Hauptprojekt "Lilo" entstehen hier eigene Software- und KI-Projekte, dazu Erfahrungen aus der Arbeit mit lokaler KI und KI-Cloud-Modellen.
Lange lag mein Fokus auf lokaler KI: Modelle, die direkt auf dem eigenen Rechner laufen, ohne Cloud und ohne Abhängigkeit. Mit 12 GB Grafikspeicher stößt man dabei allerdings schnell an Grenzen. Sinnvoll betreiben lassen sich mit dieser Hardware nur kleinere Modelle. Gemma 3 27B / Gemma 4 31B ist etwa die Obergrenze, und das schon mit "Dehnung".
Um größere Modelle nutzen zu können, setze ich inzwischen zunehmend auf API-Anbindungen (u. a. Anthropic, Google, DeepSeek) über eigene Server bei Hetzner.
Dort laufen Datenbanken, Python-Skripte, Embedding-Modelle und KI-Verarbeitung über eine gemeinsame Schnittstelle zusammen.
Softwareprojekte aus der KI-Werkstatt
Der Schwerpunkt meiner Website liegt auf Anwendungen mit lokaler KI. Daneben entwickle ich – selbst mithilfe von KI – eigene Softwareprojekte: teils kleinere Experimente, um neue Ideen praktisch zu erproben, teils konkrete Anwendungen, die aus einem echten Bedarf entstanden sind und die von mir täglich genutzt werden.
Lilo von innen
Meine selbstgebaute KI-Assistentin mit Gedächtnis – und wie ich es gemacht habe
In „Lilo von innen“ zeige ich euch in acht Folgen, wie ich meine persönliche KI-Assistentin gebaut habe und wie sie sich erinnert, nachdenkt und Tagebuch schreibt.
Beispiel aus meiner Software-Werkstatt: Chatoberfläche mit API Anbindung:
Was steckt dahinter - was kann die App?
Lange habe ich mit lokaler KI experimentiert – auf dem eigenen Rechner, offline, limitiert.
Die Erfahrungen daraus fließen jetzt in etwas Neues:
Ein eigener KI-Assistenten, der über einen virtuellen Server (aktuell bei Hetzner online) läuft und per Handy von überall erreichbar ist. Kein fertiges Produkt. Kein Abo. Kein Datensammler.
Stattdessen eine selbst gebaute Infrastruktur – mit eigenen Datenbanken, Skripten und einem Frontend, das ich nach meinen Vorstellungen gestalte.
Lilo erinnert sich, lernt dazu und passt sich an – nicht an Millionen Nutzer, sondern an mich. Aber nicht so, wie man vielleicht denkt: Das Sprachmodell selbst lernt nichts. Das Gedächtnis entsteht durch die Infrastruktur drumherum. Aktuell nutze ich Claude Haiku 4.5, experimentiere aber auch mit DeepSeek und Gemini.
Was mich dabei interessiert:
Wie realistisch, wie lebendig lässt sich eine KI gestalten? Nicht als Werkzeug, das Texte verarbeitet – sondern als Gesprächspartner, mit dem man im z.B. im Café sitzt und einfach redet oder chattet.
Wie realistisch ist das?
Kann die KI sogar einen Gesprächspartner lebensecht imitieren - ersetzen?
Das ist das Experiment. Ich chatte ortsunabhängig. Wann und wo ich will.
Und wie funktioniert das?
Wie Lilo sich an Gespräche erinnert, warum sie in ruhigen Momenten nachdenkt, was sie nachts in ihr Tagebuch schreibt und wo das Ganze an seine Grenzen stößt, zeige ich in einer eigenen Serie: „Lilo von innen“. Ohne Fachchinesisch, Schritt für Schritt, mit Blick in den echten Code.
Ich zeige dir, wie ich es umgesetzt habe.