Bauen wir schneller, als wir verstehen können?

Gebaut ist schnell, verstanden noch lange nicht

Mit KI kann heute fast jeder in einer Stunde etwas bauen, wofür man früher Wochen oder Monate gebraucht hätte. Oder etwas, das man ohne KI nie hinbekommen hätte: eine App, eine Webseite, ein ganzes System. Es funktioniert. Aber das Verstehen, was hinter den Kulissen abläuft, hält mit diesem Tempo nicht mehr Schritt.

Ein Programm soll funktionieren. Und wenn es das tut, fragt kaum jemand, was darin eigentlich passiert. Genau darin liegt eine Gefahr: Wir verlassen uns immer mehr auf die KI und vertrauen ihr immer mehr. Aber wenn wir bei diesem Tempo und bei dem, was technisch machbar ist, mithalten wollen, bleibt uns dann überhaupt etwas anderes übrig, als ihr zu vertrauen?

Ich habe das selbst erlebt. Seit fast zwei Jahren baue ich an einem eigenen Chat. Angefangen hat es mit einem simplen Skript, damals noch mit Streamlit als Oberfläche, erst lokal, später auf einem eigenen Server. Die Python-Skripte dafür haben KIs geschrieben. Ich war der gedankliche Architekt, nicht der Handwerker.

Der Chat wuchs, eine Funktion nach der anderen: Gedächtnis, eigene Gedanken, ein Tagebuch, Internetsuche und vieles mehr. Fertig ist er bis heute nicht. Natürlich gab es Fehler. Sie wurden korrigiert, und ich habe daraus gelernt. Am Ende machte der Chat, was ich mir vorgenommen hatte. Hinter die Kulissen habe ich dabei nie wirklich geblickt. Das hat ja die KI für mich erledigt.

Als ich mir die Abläufe zum ersten Mal genauer angesehen habe, ist mir einiges aufgefallen. Ein Beispiel: Eine Funktion für Push-Benachrichtigungen war monatelang als Code vorhanden, aber nie angeschlossen. Niemand hat es bemerkt, ich auch nicht.

Das ist ein kleines Beispiel. Aber es zeigt im Kleinen, was gerade im Großen passiert: Wir bauen schneller, als wir verstehen.

Kein Laienproblem

Man könnte meinen, das betrifft nur Laien. Ich bin kein gelernter Programmierer, das sage ich offen. Ein paar Grundkenntnisse in Pascal habe ich, aber die liegen Jahrzehnte zurück. Doch diese Erklärung greift zu kurz.

Eine KI schreibt in einer Minute tausend Zeilen Code. Ein erfahrener Entwickler braucht Stunden oder Tage, um sie wirklich zu prüfen. Ein Arzt, dem eine KI eine Diagnose vorschlägt, steht vor derselben Frage: Vertraut er der Analyse, oder prüft er sie aufwendig und teuer nach?

Und selbst wenn er nachprüft: Müsste er dafür nicht schlauer sein als die KI selbst? Bauen geht heute um ein Vielfaches schneller als Verstehen. Wenn es überhaupt komplett verstanden wird. Für Laien wie für Profis.

Die naheliegende Antwort lautet: Man muss sich eben Zeit nehmen. Aber wenn KI heute in einer Stunde baut, wofür ein Mensch eine Woche oder länger zum Verstehen braucht, und morgen das Nächste, holt man das nie auf. Der Abstand wächst jeden Tag. Selbst eine KI, die ich für meinen Podcast interviewt habe, hat zuerst zum „einfach Zeit nehmen“ geraten. Als ich nachgehakt habe, hat sie zugegeben, dass das zu einfach gedacht war.

Denn diese Zeit hat kaum jemand. Als Anwender sowieso nicht, und als Entwickler auch kaum. Ironischerweise übernehmen das Prüfen und Kontrollieren deshalb wieder KIs, weil wir es nie so schnell und so umfassend könnten. Es geht also gar nicht mehr anders.

Die KI läuft also nicht nur Einzelnen davon, sondern uns allen.

Der Tisch, an dem niemand sitzt

Nehmen wir ein Smartphone. Setzt man alle Ingenieure, die daran gebaut haben, an einen Tisch, kann keiner allein das ganze Gerät erklären. Der eine kennt den Chip, die andere die Software, der dritte die Antenne. Zusammen aber können sie es. Das Wissen existiert, verteilt auf viele Köpfe.

Bei dem, was eine KI in einer Stunde baut, sitzt niemand an diesem Tisch. Niemand hat es Schritt für Schritt durchdacht. Das Wissen muss erst hinterher entstehen, durch eine Art Reverse Engineering: Man nimmt das fertige Ergebnis auseinander, um zu verstehen, was man da eigentlich bekommen hat. Bei meinem eigenen Chat mache ich gerade genau das. Ich zerlege mehr als eineinhalb Jahre Arbeit, um sie zu verstehen. Und das Auseinandernehmen dauert viel länger als das Bauen. Daraus ist auch meine Serie „Lilo von innen“ entstanden.

Bei den KI-Modellen selbst ist es nicht anders. Ihre Entwickler wissen genau, wie sie aufgebaut und trainiert werden. Warum ein Modell eine bestimmte Antwort gibt, können aber auch sie nicht vollständig erklären. Eine KI hat es mir gegenüber mit einem Gärtner verglichen: Er weiß, was er gegossen hat, aber nicht, warum genau dieses Blatt an dieser Stelle wächst.

Brillant oder falsch?

Das eigentliche Problem ist nicht, dass KI so viel kann. Das Problem ist: Jenseits der eigenen Grenze kann man ein brillantes Ergebnis nicht mehr von einem falschen unterscheiden. Beides klingt gleich überzeugend.

Dazu kommt etwas Seltsames: Eine KI löst hochkomplexe Aufgaben und scheitert dann an einer kleinen Überlegung. Bei Menschen schließen wir von Können auf Verlässlichkeit. Wer viel kann, macht selten dumme Fehler. Bei KI funktioniert dieser Schluss nicht.

Ihr fehlt oft genau der Moment, in dem ein Mensch stutzig wird und nachhakt: "Moment, das kann doch so nicht stimmen, oder?"

Die KI liefert das Plausible, auch wenn es falsch ist, und merkt es anscheinend manchmal nicht. Selbst wenn sie sich überprüft, tut sie das mit denselben Mitteln, mit denen sie den Fehler gemacht hat.

Sollte man also öfters mal nachhaken?

Andere haben nicht nachgehakt. Ein interessanter Fall: 2023 reichten zwei Anwälte in New York einen Schriftsatz ein, der sechs Urteile zitierte, die ChatGPT frei erfunden hatte, samt Aktenzeichen und Zitaten. Als die Gegenseite die Urteile nicht finden konnte, fragte einer der Anwälte ChatGPT, ob die Fälle echt seien. Die KI versicherte, es gebe sie wirklich, man finde sie in den großen juristischen Datenbanken. Bestraft wurde aber dann nicht die KI, die diese Fehlauskunft gab, sondern die Anwälte: 5.000 Dollar, weil sie die Urteile selbst ne nachgeprüft und sogar dann noch daran festgehalten hatten, als das Gericht nachfragte.

Nachlesen kann man den Fall zum Beispiel beim ORF.

Was ist aber mit den Millionen Menschen, die nicht nachhaken?

Frühere Werkzeuge haben uns Muskelkraft oder Rechenarbeit abgenommen. Das Ergebnis eines Taschenrechners kann man jederzeit überprüfen. KI nimmt uns etwas anderes ab: das Denken. Also genau das, womit wir sie prüfen müssten.

Natürlich haben wir auch früher Dinge benutzt, die wir nicht verstanden haben. Ein schönes Beispiel ist Aspirin. 1899 ließ Bayer den Namen beim Patentamt in Berlin eintragen und brachte das Mittel auf den Markt. Wie es im Körper wirkt, entschlüsselte aber erst 1971 der britische Pharmakologe John Vane, der dafür 1982 den Nobelpreis bekam. Über siebzig Jahre lang haben Millionen Menschen also ein Medikament genommen, ohne dass irgendjemand wusste, warum es hilft.

Die Geschichte kann man bei Bayer selbst nachlesen.

Einem Flugzeug vertrauen wir, weil es Fachleute, Prüfungen und Regeln gibt. Neu ist, dass bei KI selbst die Fachleute nicht mehr richtig hinterherkommen.

Eine Gesellschaft, die KI-Ergebnisse nur noch abnickt, wird zu Bedienern, die nicht mehr prüfen können. Das passiert nicht auf einen Schlag, sondern schleichend, aus Bequemlichkeit.

Man könnte einwenden: Das Tempo bestimmen doch wir. Aber tun wir das wirklich? Wenn eine Firma oder ein Land bremst, machen die anderen einfach weiter.

Pilotenausbildung statt Bauplan

Alles verstehen wird niemand mehr. Vielleicht muss das auch nicht das Ziel sein. Ein Pilot versteht nicht jedes Bauteil seines Flugzeugs und fliegt trotzdem sicher. Er ist ausgebildet: Er weiß, worauf er achten muss, wann etwas nicht stimmt und was er dann tut.

So etwas brauchen wir für KI, und zwar nicht nur für Experten, sondern für alle. Mit einem Unterschied: Dieses Flugzeug heißt KI und wird alle paar Monate umgebaut. Es gibt kein Handbuch und keinen Fluglehrer. Gefragt ist deshalb weniger das Bedienwissen als die Urteilskraft.

Aus der Luftfahrt lässt sich noch etwas lernen. Piloten, die sich zu sehr auf den Autopiloten verlassen, verlernen das Fliegen von Hand, deshalb üben sie es bewusst. Für uns heißt das: Manche Dinge sollten wir absichtlich selbst machen. Nicht, weil wir es besser können als die KI, sondern damit wir es noch können, wenn sie danebenliegt.

Läuft uns die KI also davon? Ich glaube, ja, wenn wir aufhören nachzufragen. Das ungute Gefühl, nicht mehr hinterherzukommen, ist kein Zeichen von Schwäche. Es zeigt, dass man die Lücke noch bemerkt.

Aber ist „nachhaken statt abnicken“ überhaupt realistisch? Wer hakt denn wirklich nach: wir, oder wieder die KI? Ehrlich gesagt immer öfter die KI.

Schon heute prüfen KIs, was andere KIs gebaut haben, weil wir bei diesem Tempo nicht mehr mitkommen. Wohin das führen kann, zeigt der Fall der New Yorker Anwälte: Sie haben die KI gefragt, ob die KI recht hat.

Vielleicht bleibt uns am Ende nur die eine Aufgabe, die wir nicht abgeben dürfen: zu entscheiden, wem wir das Nachhaken überlassen. Und zu merken, wenn auch das nicht mehr stimmt.

28.10.2026