Ein Sprachmodell erzeugt Text, der zum Zusammenhang passt. Wo es nichts weiß, entsteht deshalb kein „weiß ich nicht“, sondern etwas, das genauso aussieht wie eine richtige Antwort: eine erfundene Rechtsnorm, ein Datum, das es nicht gibt, ein Ansprechpartner, den niemand kennt.
Der Fachbegriff dafür ist Halluzination. Er ist etwas irreführend, weil er nach Störung klingt. Tatsächlich ist es dieselbe Fähigkeit, die das Modell nützlich macht — nur ohne Deckung durch Tatsachen.
Woran man es erkennt: Halluzinationen sind besonders häufig bei Zahlen, Zitaten, Quellenangaben, Namen und allem Aktuellen. Sie werden im selben ruhigen Ton vorgetragen wie alles andere; Unsicherheit sieht man der Antwort nicht an.
Was hilft, ist nicht Misstrauen gegenüber der Technik, sondern eine Arbeitsweise: dem Modell die Quelle mitgeben, statt es aus dem Gedächtnis antworten zu lassen, und alles, was nach außen geht, von einem Menschen gegenlesen lassen. Für Entwürfe ist es hervorragend; als letzte Instanz ist es die falsche Wahl.