Mit KI experimentieren
Neben meinem Hauptprojekt Lilo entstehen hier Experimente – praktische Softwareprojekte und Gedanken aus der Zusammenarbeit mit meiner lokalen KI und den Cloud-KIs.
Der Fokus lag lange Zeit auf lokaler KI: Modelle, die direkt auf dem eigenen Rechner laufen, ohne Cloud, ohne Abhängigkeit.
Allerdings zeigt die eigene Hardware (12 GB GPU) dabei deutliche Grenzen. Nur kleinere Modelle bis maximal Gemma 3: 27B lassen sich lokal sinnvoll (Kosten) betreiben.
Um die Leistungsfähigkeit größerer Modelle nutzen zu können, teste ich inzwischen zunehmend API-Anbindungen (aktuell Anthropic, aber auch Google, deepseek,..) über gehostete Server, aktuell bei Hetzner (Hetzner Oline).
Datenbanken, Python-Skripte, Embedding-Modelle und KI-Verarbeitung laufen dort zusammen über eine gemeinsame Schnittstelle.
Beispiel aus meiner Software-Werkstatt: Chatoberfläche mit API Anbindung:
Was steckt dahinter - was kann die App?
Lange habe ich mit lokaler KI experimentiert – auf dem eigenen Rechner, offline, limitiert.
Die Erfahrungen daraus fließen jetzt in etwas Neues:
Ein eigener KI-Assistenten, der über einen virtuellen Server (aktuell bei Hetzner online) läuft und per Handy von überall erreichbar ist. Kein fertiges Produkt. Kein Abo. Kein Datensammler.
Stattdessen eine selbst gebaute Infrastruktur – mit eigenen Datenbanken, Skripten und einem Frontend, das ich nach meinen Vorstellungen gestalte.
Die KI erinnert sich, lernt dazu und passt sich an – nicht an Millionen Nutzer, sondern an mich, individuell, durch die Datenbanken. Nicht durch Gewichtung, versteht sich, sondern durch die Modell externe Infrastruktur.
Das Modell selbst lernt nicht – das Gedächtnis entsteht durch die Infrastruktur drumherum. Aktuell nutze ich Claude Haiku 4.5, experimentiere aber auch mit deepseek, gemini.
Was mich dabei interessiert:
Wie realistisch, wie lebendig lässt sich eine KI gestalten? Nicht als Werkzeug, das Texte verarbeitet – sondern als Gesprächspartner, mit dem man im Café sitzt und einfach redet oder chattet. Wie realistisch ist das?
Kann die KI sogar einen Partner, Freund lebensecht imitieren - ersetzen?
Das ist das Experiment. Ich chatte ortsunabhängig. Wann und wo ich will.
Kosten:
-
Hosting Hetzner
-
API