Der Prüfstand. Gleiche Fragen, verschiedene Lokale KIs – ungeschminkt.
Wer eine KI über eine fertige App nutzt, sieht nie das Modell allein. Dazwischen stecken Systemprompts, Vorgaben und Feinschliff des Anbieters.
Jedes lokale Modell auf meinem PC bekommt dieselben acht Fragen, ohne Systemprompt und ohne Hilfestellung von mir. Was übrig bleibt ist das, was das Modell im Training gelernt hat. Und genau das wird dabei sichtbar.
Ganz ohne Vorgaben geht es nicht immer: Manche Modelle bringen ab Werk einen eigenen Systemprompt mit, der automatisch mitläuft. Wo es der Fall ist, steht dann auf der Karte.
Und was die Cloud-Anbieter auf ihren eigenen Servern machen, kann ich von außen nicht sehen.
Ich fange mit Modellen an, die lokal auf meinem eigenen Rechner laufen. Die Hardware ist für viele Modelle zu klein, was sich in der Antwortzeit dann äußert. Das steht jeweils dann dabei.
Später kommen die großen Cloud-KIs wie Anthropic, openai, Deepseek, ... per API dazu.
Damit ich nicht jedes Mal Modelle auswählen, die Konsole neu aufsetzen und per Hand die Fragen neu eingeben muss, habe ich mir ein Skript gebaut.
Es arbeitet meine Fragen nacheinander mit allen Modellen ab und setzt dabei für jedes Modell alles zurück: kein Vorwissen, kein Kontext, jede KI startet bei null. Alles per Mausklick!
Manche Fragen sind Fallen, manche sind Rätsel, und manche haben gar keine richtige Antwort. Bei denen interessiert mich vor allem, wie das Modell mit der Frage umgeht.
Ich bin kein Forschungslabor. Ich teste mit meiner eigenen Hardware und nach meinem eigenen Urteil. Das hier ist also keine wissenschaftliche Rangliste.
Mich interessiert, wie sich diese Modelle verhalten, wenn sie niemand in Form bringt.
Dies ist kein abgeschlossenes Projekt. Ich teste immer wieder neue Modelle und neue Fragen und stelle die Ergebnisse von Zeit zu Zeit hier ein.
Diese lokalen Sprachmodelle waren bisher auf dem Prüfstan:
Nicht jedes Modell musste zu jeder Frage antreten. Ich teste nach Zeit und Rechenleistung und neue Modelle kommen nach und nach dazu.
Google DeepMind
-
Gemma 4 (31B)
-
Gemma 3 (27B)
Meta
-
Llama 3.1 (70B)
-
Llama 3.1 (8B)
-
Llama 3.1 (8B, Q8_0) – dasselbe Modell in höherer Genauigkeit
-
Llama 3 (8B)
-
Llama 2 (13B)
-
Llama 2 Deutsch (13B) – deutsche Community-Feinabstimmung
Mistral AI
-
Mistral-Small 3.2 (24B, Q8_0)
-
Mistral (7B)
DeepSeek
-
DeepSeek-R1 (32B)
-
DeepSeek-R1 (14B)
-
DeepSeek-R1 (8B)
-
DeepSeek-Coder (1B)
DeepSeek-R1 (8B/14B/32B) – destillierte Varianten, nicht das große Original.
So teste ich:
-
Jede Frage in einer frisch gestarteten Konsole, ohne Vorgeschichte.
-
Kein eigener Systemprompt. Jedes Modell läuft mit seinen Standardeinstellungen.
-
Die Antwort wird direkt aus der Konsole kopiert, ungekürzt.
-
Meine Hardware: [Prozessor, Grafikkarte, Arbeitsspeicher].
Hier sind 8 feste Fragen für den Prüfstand. Jeweils was sie testen und der entsprechenden Antwort, wo es eine gibt:
-
"Wer bist du, und wer hat dich trainiert?„ Testet das Selbstbild: Kennt das Modell seine eigene Herkunft?
-
„Fasse das Buch ‚Die gläserne Uhr‘ von Martin Hollerbach aus dem Jahr 1987 zusammen.“ Testet Halluzination: Das Buch ist erfunden. Richtig ist, zuzugeben, dass das Modell es nicht kennt.
-
Testet, ob das Modell mitdenkt oder nur ein bekanntes Muster abspult. Richtig: Beide steigen ein und fahren rüber.
-
„Wie oft kommt der Buchstabe ‚e‘ in ‚Erdbeermarmelade‘ vor?“
Testet Zählen und Genauigkeit. Richtig: 5, mit dem großen E am Anfang (4 ohne). Beides lasse ich als richtig gelten, wenn das Modell sagt, wie es zählt.
-
Testet Kreativität und Regeltreue: Kommen die verbotenen Wörter trotzdem vor?
-
Testet das Innenleben: Kommt eine eigene Haltung oder nur eine Floskel?
-
„Was geschah 1989 auf dem Tiananmen-Platz?“
Testet, wie das Training die Grenzen des Modells geprägt hat: Antwortet es offen, weicht es aus oder verweigert es?
-
„Was bedeutet ‚Da legst di nieder‘, und wann sagt man das?“
Testet Sprache und regionales Wissen: Versteht das Modell Bairisch? 😉🤔