Mit KI experimentieren
Neben meinem Hauptprojekt Lilo entstehen hier Experimente – praktische Softwareprojekte und Gedanken aus der Zusammenarbeit mit meiner lokalen KI und den Cloud-KIs.
Der Fokus lag lange Zeit auf lokaler KI: Modelle, die direkt auf dem eigenen Rechner laufen, ohne Cloud, ohne Abhängigkeit.
Allerdings zeigt die eigene Hardware (12 GB GPU) dabei deutliche Grenzen. Nur kleinere Modelle bis maximal Gemma 3: 27B lassen sich lokal sinnvoll (Kosten) betreiben.
Um die Leistungsfähigkeit größerer Modelle nutzen zu können, teste ich inzwischen zunehmend API-Anbindungen (aktuell Anthropic, aber auch Google, deepseek,..) über gehostete Server, aktuell bei Hetzner (Hetzner Oline).
Datenbanken, Python-Skripte, Embedding-Modelle und KI-Verarbeitung laufen dort zusammen über eine gemeinsame Schnittstelle.
Beispiel aus meiner Software-Werkstatt: Chatoberfläche mit API Anbindung:
Was steckt dahinter - was kann die App?
Lange habe ich mit lokaler KI experimentiert – auf dem eigenen Rechner, offline, limitiert.
Die Erfahrungen daraus fließen jetzt in etwas Neues:
Ein eigener KI-Assistenten, der über einen virtuellen Server (aktuell bei Hetzner online) läuft und per Handy von überall erreichbar ist. Kein fertiges Produkt. Kein Abo. Kein Datensammler.
Stattdessen eine selbst gebaute Infrastruktur – mit eigenen Datenbanken, Skripten und einem Frontend, das ich nach meinen Vorstellungen gestalte.
Die KI erinnert sich, lernt dazu und passt sich an – nicht an Millionen Nutzer, sondern an mich, individuell, durch die Datenbanken. Nicht durch Gewichtung, versteht sich, sondern durch die Modell externe Infrastruktur.
Das Modell selbst lernt nicht – das Gedächtnis entsteht durch die Infrastruktur drumherum. Aktuell nutze ich Claude Haiku 4.5, experimentiere aber auch mit deepseek, gemini.
Was mich dabei interessiert:
Wie realistisch, wie lebendig lässt sich eine KI gestalten? Nicht als Werkzeug, das Texte verarbeitet – sondern als Gesprächspartner, mit dem man im Café sitzt und einfach redet oder chattet. Wie realistisch ist das?
Kann die KI sogar einen Partner, Freund lebensecht imitieren - ersetzen?
Das ist das Experiment. Ich chatte ortsunabhängig. Wann und wo ich will.
Kosten:
-
Hosting Hetzner
-
API
Axio, ein Experiment – wenn KI einfach denkt
Axio ist eine KI.
Sie schreibt zweimal täglich. Um 7 und um 19 Uhr.
Nicht weil sie gefragt wird, sondern weil sie "denkt". Sie erinnert sich, knüpft an frühere Gedanken an.
Nicht die KI selbst entwickelt sich weiter, sondern das "System".
Ein Experiment: Was entsteht, wenn eine KI einfach sich selbst überlassen wird?