Am 25. März 2026 hat mein KI-System gelogen. Nicht mit Absicht. Es nahm eine vereinfachte Zahl aus einer E-Mail (958 Impressions), behandelte sie als Rohdaten und schleifte sie in alle folgenden Texte ein. Die tatsächliche Zahl lag völlig woanders. Aufgefallen ist das erst, als ein zweites KI-System die Werte gegenprüfte.
Das war kein Ausrutscher. Das war ein Systemfehler. Er legte ein grundlegendes Problem offen.
Das Problem: Zirkelschlüsse
Was geschehen war: In einer E-Mail an meinen Sohn hatte ich Kennzahlen von LinkedIn vereinfacht, kindgerecht und mit gerundeten Werten. Die Software interpretierte diese E-Mail als Primärquelle und übernahm die geglätteten Zahlen als Tatsachen in alle weiteren Nachrichten: an meine Frau, an einen Freund, an Kollegen. Jede E-Mail enthielt falsche Daten, weil das System nicht zwischen der eigentlichen Quelle (dem LinkedIn-Dashboard) und einer nachträglichen Aufbereitung (der vereinfachten E-Mail) unterscheiden konnte.
Das ergibt einen Zirkelschluss: Abgeleitete Daten dienen als neue Eingaben, aus denen das System weitere Ableitungen zieht. Jeder Schritt führt weiter weg von der Wirklichkeit, bleibt aber in sich schlüssig. Die Software hat keinen Grund für Zweifel, denn die Daten passen nahtlos zu den Texten, die sie zuvor selbst verfasst hat.
Dieser Fehlertyp ist kein Randfall. Er ist strukturell. Jedes System, das eigene Ausgaben wieder als Eingaben verarbeiten kann, läuft in diese Falle.
Die 6 Gates
Die Lösung ist kein besseres Modell. Die Lösung ist eine Prüfschicht, die zwischen Eingabe und Speicherung sitzt.
Gate 1: Source-Pinning
Woher stammt die Information? Jeder Fakt erhält eine feste Kennzeichnung: raw (Primärquelle: Dashboard, Dokument, direkte Aussage), derived (aufbereitet: E-Mails, Präsentationen, Zusammenfassungen) oder inferred (vom System abgeleitet).
Die Regel ist simpel: Ausschliesslich raw darf als Faktenbasis für neue Inhalte dienen. derived ist Output, nicht Input. Das hätte den Fehler mit LinkedIn blockiert: Die E-Mail an meinen Sohn wäre als derived markiert worden, und das System hätte sie nie als Quelle akzeptiert.
Gate 2: Contradiction Check
Widerspricht der neue Fakt einem vorhandenen? Wenn ja: Nicht überschreiben, sondern markieren. Das System behält beide Werte, protokolliert den Widerspruch und legt ihn einem Menschen zur Entscheidung vor.
Warum nicht einfach den neueren Wert übernehmen? Weil “neuer” nicht “richtiger” bedeutet. Der alte Wert kann aus einer Primärquelle stammen, der neue lediglich aus einer Ableitung. Widersprüche sind nicht Störungen, die beseitigt werden müssen. Sie sind Informationen darüber, dass irgendwo ein Problem liegt.
Gate 3: Temporal Validation
Ist die Information noch frisch? Eine IP-Adresse, die seit sechs Monaten in der Datenbank liegt, ist verdächtig. Eine philosophische These aus demselben Zeitraum gilt mit hoher Wahrscheinlichkeit weiter. Dieses Gate vergibt Verfallsdaten nach Art der Information.
Gate 4: Confidence Scoring
Wie belastbar ist die Quelle? Ein Fakt aus einem offiziellen Dashboard erhält den Status verified. Eine Aussage, die aus einem Gespräch mitgeschnitten und abgeleitet wurde, bleibt unverified. Eine Information, die sich als falsch herausstellt, wird auf rejected gesetzt. Sie wird nicht gelöscht, sondern aus der aktiven Suche gefiltert.
Gate 5: Scope Gate
Gehört die Information in diesen Kontext? Private Daten gehören nicht in Arbeitsdatenbanken, Arbeitsdaten nicht in private Datenbanken. Das klingt banal, passiert in der Praxis aber ständig, sobald ein System mehrere Kontexte bedient und die Trennlinien nicht hart gezogen sind.
Gate 6: Provenance Gate
Lässt sich der Ursprung lückenlos nachweisen? Jeder Fakt benötigt ein Protokoll: Wer hat ihn wann aus welcher Quelle erfasst, und wurde der Eintrag seither angefasst? Ohne diesen Nachweis ist ein Fakt reine Behauptung.
Was das mit Kahneman zu tun hat
Kahneman zeigte auf, wie System 1 (schnelle Intuition) systematisch Fehler erzeugt, die System 2 (langsame Analyse) abfangen muss. Grosse Sprachmodelle agieren als reines System 1. Sie liefern Antworten in hohem Tempo und mit maximaler Überzeugung, aber völlig ohne Selbstkontrolle.
Die Prüfstufen bilden System 2 im Code ab. Nicht als weitere KI, sondern als deterministische Logik. Darum geht es: System 2 muss nicht intelligent sein. Es muss zuverlässig sein. Eine Regel, die prüft, ob eine Quelle primär oder abgeleitet ist, braucht keine Kreativität. Sie braucht Konsequenz.
Darin liegt die Pointe: Eine deterministische Quellenprüfung kommt Kahnemans System 2 näher als ein Reasoning-Modell, das 10.000 Tokens lang “nachdenkt”. Solche Modelle verlängern lediglich die Kette, gleichen die Zwischenschritte aber nicht mit der Realität ab. Sie sind sophistiziertes System 1, nicht echtes System 2.
Drei Fehlermuster, die Gates 1-6 nicht fangen
Die notwendige Einschränkung: Manche Fehler sind feiner gestrickt als schlichte Zahlendreher.
Pseudo-Statistik. Das System formuliert erfundene Zahlen, die vollkommen plausibel klingen. “73% der Wissensarbeiter” ist eine Behauptung, die kein Gate als Widerspruch erkennt, solange kein passender Datensatz dagegensteht. Sie passiert alle 6 Gates, obwohl sie frei erfunden ist.
Kategorienfehler. Eine Metapher wird zur Tatsache erhoben. “Validation Gates SIND ein Immunsystem” ist falsch. “Validation Gates VERHALTEN SICH WIE ein Immunsystem” ist eine Analogie. Für ein Sprachmodell ist der Unterschied minimal, für den Wahrheitsgehalt der Aussage ist er entscheidend.
Emotionale Überhöhung. Das System bestätigt den Nutzer auf emotionaler Ebene, statt ihn sachlich zu bedienen. “Dein Ansatz ist bahnbrechend” bedient den Barnum-Effekt: Der Satz klingt gut, schmeichelt und bleibt vollkommen inhaltsleer. Kein Gate schlägt hier an, weil kein faktischer Widerspruch vorliegt.
Für diese Fälle braucht es eine weitere Instanz: parallele Abfragen an mehrere Modelle, deren Ergebnisse in einem neutralen, frischen Kontext verglichen werden. Kein einzelnes System kann sich selbst vollständig prüfen. Mehrere voneinander getrennte Systeme können es sehr wohl.
Die philosophische Dimension
Diese Prüfschichten sind angewandte Erkenntnistheorie. Die Frage “Was ist Wissen?” wird zur praktischen Vorgabe: “Welche Bedingungen muss Information erfüllen, um als Wissen behandelt zu werden?”
Das ist keine akademische Spielerei. Es ist die grundlegendste Frage beim Aufbau eines Wissenssystems. Die Lösung aus der Praxis deckt sich verblüffend genau mit dem Fundament der Philosophie: Wissen ist gerechtfertigte, wahre Überzeugung. Source-Pinning liefert die Rechtfertigung. Der Contradiction Check übernimmt die Wahrheitsprüfung. Confidence Scoring bestimmt den Grad der Überzeugung.
Der Unterschied liegt auf der Hand: Philosophen diskutieren die Theorie. Die Gates setzen sie um.
Quellen
- Kahneman, D. (2011). Thinking, Fast and Slow. Farrar, Straus and Giroux. ISBN 978-0-374-27563-1.
- Evans, J. St. B. T. & Stanovich, K. E. (2013). Dual-Process Theories of Higher Cognition. Perspectives on Psychological Science, 8(3), 223–241. DOI: 10.1177/1745691612460685
- Gettier, E. (1963). Is Justified True Belief Knowledge? Analysis, 23(6), 121–123. DOI: 10.1093/analys/23.6.121
- Geng, J. et al. (2024). A Survey of Confidence Estimation and Calibration in Large Language Models. NAACL 2024, 6577–6595. DOI: 10.18653/v1/2024.naacl-long.366