Halluzinationen bei KI verständlich erklärt: Ursachen und Lösungen

Als Halluzination bezeichnet man im Bereich der künstlichen Intelligenz das Phänomen, dass ein Sprachmodell (LLM) eine Antwort generiert, die zwar grammatikalisch korrekt, äusserst plausibel und überzeugend klingt, inhaltlich aber faktisch falsch ist oder keine Entsprechung in den realen Trainingsdaten findet. Halluzinationen gehören zu den grössten Hürden beim produktiven Einsatz von KI in Unternehmen.

Wer die Ursachen versteht, kann gezielt gegensteuern: Die wirksamsten Hebel sind sauberes Prompt Engineering und Grounding über abgerufene Fakten. Beides setzt nicht am Modell selbst an, sondern an der Art, wie wir es einsetzen.

Warum halluzinieren Sprachmodelle?

Um zu verstehen, warum KI-Modelle Fakten erfinden, muss man sich ihre Funktionsweise vor Augen führen:

1. Statistische Wortvorhersage: Ein LLM ist kein Suchsystem und keine Enzyklopädie. Es ist ein hochkomplexer Autovervollständiger. Es berechnet basierend auf dem bisher geschriebenen Text, welches Wort (bzw. Token) als nächstes am besten passt. es priorisiert dabei Stil, Fluss und Plausibilität vor faktischer Korrektheit.
2. Kein Verständnis für Realität: Ein Sprachmodell hat kein inneres Modell der physikalischen Welt. Es „weiss“ nicht, wer der aktuelle Schweizer Bundespräsident ist – es berechnet lediglich, welcher Name statistisch am häufigsten in ähnlichen Textkontexten auftaucht.
3. Gefälligkeits-Verhalten (Pleasing-Effekt): Sprachmodelle wurden im Training (durch RLHF) darauf optimiert, hilfreich zu sein. Wenn ein Modell nach einem obskuren, nicht existierenden historischen Ereignis gefragt wird, tendiert es dazu, eine Geschichte dazu zu erfinden, anstatt die Antwort zu verweigern, weil „Nichts-Wissen“ im ursprünglichen Training oft schlechter bewertet wurde.

---

Die zwei Arten der Halluzination

• Intrinsische Halluzinationen: Der generierte Text widerspricht direkt den vom Benutzer bereitgestellten Eingabedaten. Wenn Sie dem Modell einen Text übergeben, in dem steht, dass die Firma Allerate 2024 gegründet wurde, das Modell in der Zusammenfassung aber „2020“ schreibt, halluziniert es intrinsisch.
• Extrinsische Halluzinationen: Die Antwort kann anhand des bereitgestellten Kontexts weder bestätigt noch widerlegt werden. Das Modell ergänzt eigenständig Details aus seinem allgemeinen Trainingswissen, die sich nicht verifizieren lassen oder falsch sind.

---

Strategien zur Vermeidung von Halluzinationen

Im professionellen Unternehmenseinsatz können Halluzinationen durch technische Vorkehrungen auf ein Minimum reduziert werden:

1. Temperatur-Parameter steuern

Die Temperatur steuert die Kreativität eines LLMs bei der Wortwahl.

• Eine Temperatur von 0.0 macht das Modell deterministisch: Es wählt immer das Wort mit der allerhöchsten Wahrscheinlichkeit. Dies ist zwingend erforderlich für Programmieraufgaben, Datenextraktion oder Sachfragen.
• Eine hohe Temperatur (z. B. 0.9 oder höher) macht die Ausgaben abwechslungsreicher und kreativer, erhöht jedoch die Halluzinationsrate drastisch.

2. Prompt Engineering Leitplanken

Geben Sie dem Modell im System-Prompt klare Verhaltensregeln mit:

„Beantworte die Frage ausschliesslich auf Basis des bereitgestellten Kontexts. Wenn du die Antwort im Kontext nicht finden kannst, antworte höflich mit: Ich kann diese Frage leider nicht beantworten.“

3. Retrieval-Augmented Generation (RAG)

RAG ist die effektivste Methode zur Bekämpfung von Halluzinationen. Statt das Modell aus seinem Gedächtnis antworten zu lassen, sucht ein vorgeschaltetes System (z. B. über eine Vektordatenbank) relevante Textabschnitte aus Ihren Firmenunterlagen heraus und übergibt diese dem Modell als Kontext. Das Modell arbeitet dann wie ein menschlicher Analyst, der ein Open-Book-Examen schreibt: Es liest die Fakten ab und formuliert daraus die Antwort. Wie dieser Ablauf im Detail aussieht, beschreibt die RAG-Architektur.

4. No-Answer-Gate und Quellenangaben

Ein No-Answer-Gate prüft vor der Ausgabe, ob die abgerufenen Dokumente die Frage überhaupt beantworten. Reicht die Trefferqualität nicht, antwortet das System bewusst mit «keine Information gefunden» statt zu raten. Ergänzend zwingen Citations (Quellenangaben) das Modell, jede Aussage mit einer belegbaren Fundstelle zu verknüpfen.

---

Massnahmen im Vergleich: Wirkung und Aufwand

Nicht jede Massnahme ist gleich wirksam. Die folgende Übersicht ordnet die gängigen Verfahren ein:

Massnahme	Wirkung gegen Halluzinationen	Aufwand
Temperature senken	Gering bis mittel	Sehr gering
Prompt-Leitplanken	Mittel	Gering
RAG / Grounding	Hoch	Mittel
No-Answer-Gate	Hoch (verhindert Raten)	Mittel
Citations / Quellenprüfung	Hoch (macht Fehler sichtbar)	Mittel

In der Praxis kombiniert man mehrere Ebenen: niedrige Temperature plus RAG plus No-Answer-Gate ergibt einen mehrstufigen Schutz.

---

Vorher/Nachher: dieselbe Frage mit und ohne Grounding

Das folgende Mini-Szenario zeigt den Effekt von RAG bei einer Faktenfrage:

Ohne Grounding (reines LLM):

Frage: Wie lange ist die Kündigungsfrist in unserem Arbeitsvertrag?
Antwort: Die Kündigungsfrist beträgt üblicherweise drei Monate zum Quartalsende.

Das Modell rät einen plausiblen Standardwert – möglicherweise völlig falsch.

Mit Grounding (RAG):

Frage: Wie lange ist die Kündigungsfrist in unserem Arbeitsvertrag?
Kontext: § 7 Arbeitsvertrag: «Die Kündigungsfrist beträgt zwei Monate zum Monatsende.»
Antwort: Laut § 7 Ihres Arbeitsvertrags beträgt die Kündigungsfrist zwei Monate zum Monatsende. [Quelle: Arbeitsvertrag, § 7]

Mit Kontext antwortet das System belegbar korrekt und nennt die Fundstelle.

[!TIP] RAG reduziert Halluzinationen drastisch, da es dem Sprachmodell eine feste Informationsbasis zuweist und Quellenbelege einfordert. Testen Sie die Zuverlässigkeit von RAG in der RAG-Demo auf allerate.dev.