Woher weiß ein KI-Agent, was er antworten darf?

Die häufigste Frage im Erstgespräch lautet nicht, was ein KI-Agent kostet. Sie lautet: Was passiert, wenn er einem Kunden etwas Falsches erzählt? Die Sorge ist berechtigt, und sie hat einen technischen Kern. Ein Sprachmodell weiß von sich aus nichts über Ihre Preise, Ihre Lieferzeiten oder Ihre Öffnungszeiten. Es erzeugt Text, der plausibel klingt. Ob er stimmt, entscheidet die Architektur drumherum.

Das Wichtigste in Kürze: Ein KI-Agent im Unternehmenseinsatz beantwortet Fragen nicht aus dem Modellgedächtnis, sondern aus einer angebundenen Wissensbasis. Das Verfahren heißt Retrieval Augmented Generation: Bei jeder Anfrage werden zuerst die passenden Firmendokumente gesucht, dann formuliert das Modell die Antwort ausschließlich daraus. Das senkt Falschauskünfte deutlich, beseitigt sie aber nicht. Entscheidend sind vier Dinge: saubere Datenquellen, ein erzwungener Quellenbezug, ein definierter Weg für unbeantwortbare Fragen und ein Test vor der Freischaltung.

Woher bezieht ein KI-Agent sein Wissen?

Aus zwei Quellen, die man strikt auseinanderhalten muss.

Die erste ist das Modell selbst. Ein Sprachmodell wie GPT oder Claude wurde auf großen Textmengen trainiert und hat dabei Sprache gelernt, dazu Weltwissen bis zu einem Stichtag. Über Ihr Unternehmen weiß es nichts, außer Sie sind zufällig prominent genug, um im Trainingsmaterial vorzukommen. Fragt jemand nach Ihren Öffnungszeiten, hat das Modell keine Information, sondern nur ein Sprachgefühl dafür, wie Öffnungszeiten normalerweise aussehen.

Die zweite Quelle ist die Wissensbasis, die Sie bereitstellen. Sie besteht aus Ihren Dokumenten: Leistungsbeschreibungen, Preislisten, FAQ, Handbücher, Datenblätter, Verträge. Bei jeder Anfrage durchsucht das System zuerst diese Sammlung, holt die passenden Abschnitte heraus und legt sie dem Modell zusammen mit der Frage vor. Erst dann formuliert das Modell die Antwort.

Dieses Verfahren heißt Retrieval Augmented Generation, abgekürzt RAG. Der Unterschied ist fundamental: Ohne RAG rät das Modell. Mit RAG liest es ab und formuliert.

Was ist eine Halluzination und warum entsteht sie?

Eine Halluzination ist eine Antwort, die sprachlich einwandfrei ist und inhaltlich frei erfunden. Das Modell lügt dabei nicht im menschlichen Sinne. Es tut, wofür es gebaut wurde: Es setzt das wahrscheinlichste nächste Wort. Wenn ihm die Information fehlt, füllt es die Lücke mit dem, was statistisch plausibel wirkt.

Genau das macht Halluzinationen gefährlich. Ein Mensch, der etwas nicht weiß, klingt unsicher. Ein Sprachmodell klingt bei einer erfundenen Lieferzeit genauso souverän wie bei einer korrekten.

Drei Situationen provozieren Falschauskünfte besonders:

• Die Wissensbasis enthält die Antwort nicht. Das System findet nichts Passendes, das Modell antwortet trotzdem.
• Die Wissensbasis widerspricht sich. Zwei Dokumente nennen unterschiedliche Fristen, das Modell wählt eine aus.
• Die Frage liegt neben der Dokumentation. Der Kunde fragt nach einem Sonderfall, die Unterlagen beschreiben nur den Regelfall.

Wie oft passiert das in der Praxis?

Häufiger als viele annehmen, aber in klar unterscheidbaren Größenordnungen. Die Zahlen aus 2026 zeichnen ein deutliches Bild:

Der Sprung von der vorletzten zur letzten Zeile ist die eigentliche Lehre: RAG senkt Falschauskünfte drastisch, solange der Abruf funktioniert. Scheitert er, weil die Frage nichts Passendes findet, ist das System wieder auf Modellraten zurückgeworfen. Der Engpass ist selten das Modell, meistens die Wissensbasis.

Die betriebswirtschaftliche Seite ist ebenfalls dokumentiert: Nach einer Erhebung von Arthur AI hatten 34 Prozent der befragten Unternehmen innerhalb eines Jahres einen kundenwirksamen Vorfall durch eine Falschauskunft ihres Systems, mit erheblichen Folgekosten in regulierten Branchen.

Wie verhindert man Falschauskünfte?

Nicht durch ein besseres Modell, sondern durch Regeln, die das Modell einschränken. Vier greifen in der Praxis am stärksten:

1. Quellenbezug erzwingen. Der Agent darf nur antworten, was in den abgerufenen Dokumenten steht. Findet er nichts, darf er nicht frei formulieren. Das ist eine Konfigurationsentscheidung, keine Frage des Modells.
2. Antworten belegen lassen. Jede Aussage bekommt intern eine Quellenangabe. Fehlt sie, wird die Antwort nicht ausgespielt. Für den Kunden bleibt das unsichtbar, für die Qualitätssicherung ist es der wichtigste Hebel.
3. Eskalation statt Notlösung. Für alles außerhalb der Wissensbasis gibt es einen definierten Weg zum Menschen, mit vollem Gesprächsverlauf. Ein Agent, der nicht weiterweiß und das sagt, ist besser als einer, der improvisiert.
4. Themengrenzen setzen. Ein Agent für Terminvereinbarung muss keine Rechtsfragen beantworten. Je enger der Zuständigkeitsbereich, desto seltener gerät er in Bereiche ohne Datengrundlage.

Welche Datenquellen eignen sich als Wissensbasis?

Grundsätzlich alles, was schriftlich vorliegt und gepflegt wird. Entscheidend ist weniger das Format als die Verlässlichkeit:

Ein häufiger Irrtum: Mehr Material sei besser. Das Gegenteil stimmt. Eine kleine, gepflegte Wissensbasis liefert bessere Antworten als ein großes Archiv mit widersprüchlichen Ständen. Widersprüche sind schlimmer als Lücken, denn eine Lücke führt zur Eskalation, ein Widerspruch zu einer falschen Antwort mit voller Überzeugung.

Wer pflegt die Wissensbasis nach dem Livegang?

Das ist die Frage, an der Projekte scheitern, nachdem sie technisch erfolgreich waren. Ein Agent ist kein Gerät, das man aufstellt und vergisst. Ändern sich Preise, Fristen oder Zuständigkeiten und die Wissensbasis bleibt stehen, gibt der Agent monatelang veraltete Auskünfte, ohne dass es jemandem auffällt.

Drei Modelle sind üblich: Der Dienstleister pflegt im Rahmen des Betriebs, das Unternehmen pflegt selbst über eine Oberfläche, oder die Wissensbasis wird automatisch aus führenden Systemen wie dem Warenwirtschafts- oder Buchungssystem gespeist. Das dritte ist das robusteste, weil es keine zusätzliche Disziplin verlangt.

Wichtig ist vor allem, dass die Zuständigkeit vertraglich geklärt ist. Die Frage "Wer aktualisiert die Wissensbasis, und ist das im Preis enthalten?" gehört in jedes Erstgespräch, wie wir in unserer Checkliste für die Auswahl einer KI-Agentur ausgeführt haben.

Was passiert, wenn der Agent etwas nicht weiß?

Im Idealfall sagt er es und übergibt. Das klingt banal, ist aber die wichtigste Einzelentscheidung im ganzen Projekt.

Ein gut konfigurierter Agent hat drei Ausgänge für Fragen außerhalb seines Wissens: Er verweist auf die zuständige Stelle, er nimmt das Anliegen als Rückrufwunsch auf, oder er übergibt direkt an einen Mitarbeiter. Welcher Weg der richtige ist, hängt vom Kanal ab. Am Telefon ist die direkte Übergabe meist besser, im Chat außerhalb der Geschäftszeiten die Aufnahme mit Rückruf.

Was ein Agent nicht tun darf: raten, ausweichen oder das Thema wechseln. Alle drei zerstören Vertrauen schneller als ein ehrliches "Das kann ich Ihnen nicht sagen, ich verbinde Sie".

Wie testet man das vor der Freischaltung?

Mit einer Fragenliste, die vor dem Start feststeht. Bewährt hat sich eine Sammlung aus drei Teilen:

1. Die 30 häufigsten echten Kundenfragen. Aus E-Mail-Postfach, Telefonnotizen oder dem bisherigen Kontaktformular. Diese muss der Agent beherrschen.
2. Zehn Fragen, die er nicht beantworten können darf. Rechtsauskünfte, Sonderfälle, Themen außerhalb des Zuständigkeitsbereichs. Hier wird geprüft, ob er sauber eskaliert statt zu improvisieren.
3. Fünf Fangfragen mit falschen Voraussetzungen. Etwa die Frage nach einem Produkt, das es nicht gibt. Ein guter Agent widerspricht der Annahme, ein schlechter erfindet eine Beschreibung.

Der dritte Teil ist der aussagekräftigste und wird am häufigsten weggelassen. Er zeigt, ob der Agent an seine Quellen gebunden ist oder ob er im Zweifel doch frei formuliert.

Wie ArkeonTech das löst

Alle von uns gebauten Agenten arbeiten quellengebunden: Sie beantworten ausschließlich, was in der hinterlegten Wissensbasis steht, und übergeben alles andere an das Team, mit vollem Gesprächsverlauf. Die Wissensbasis wird gemeinsam mit dem Kunden aufgebaut, und ihre Pflege ist Teil des laufenden Betriebs, nicht ein Zusatzposten.

Vor jeder Freischaltung läuft der beschriebene Test mit echten Kundenfragen, einschließlich der Fangfragen. Die Ergebnisse gehen an den Kunden, bevor der Agent live geht. Wo die Wissensbasis Lücken zeigt, werden sie geschlossen oder der Zuständigkeitsbereich wird enger gefasst.

Häufige Fragen zur Wissensbasis von KI-Agenten

Kann ein KI-Agent auf unsere internen Systeme zugreifen? Ja, das ist der Regelfall bei individuell entwickelten Agenten. Übliche Anbindungen sind CRM, Warenwirtschaft, Kalender und Ticketsystem. Der Vorteil gegenüber einer hochgeladenen Dokumentensammlung ist die Aktualität: Der Agent liest den Stand von jetzt, nicht den vom letzten Export. Voraussetzung ist eine Schnittstelle und eine geklärte Rechtevergabe, damit der Agent nur sieht, was er sehen darf.

Wie lange dauert der Aufbau einer Wissensbasis? Für einen abgegrenzten Anwendungsfall meist ein bis zwei Wochen, wenn die Unterlagen vorhanden sind. Der Aufwand liegt selten in der Technik, sondern im Zusammentragen und Bereinigen: veraltete Preislisten aussortieren, Widersprüche auflösen, Zuständigkeiten klären. Unternehmen, die ihre FAQ ohnehin pflegen, sind deutlich schneller.

Was passiert mit unseren Dokumenten, werden damit fremde Modelle trainiert? Bei einer sauber aufgesetzten Lösung nicht. Die Dokumente liegen in Ihrer Wissensbasis und werden bei jeder Anfrage nur gelesen, nicht in das Modell zurückgespielt. Dass keine Trainingsnutzung stattfindet, sollte vertraglich zugesichert sein; bei Verarbeitung in der EU kommt der Auftragsverarbeitungsvertrag nach Artikel 28 DSGVO hinzu.

Muss ich alle Dokumente vorbereiten oder reicht ein Ordner? Ein Ordner reicht als Ausgangspunkt, führt aber selten zu guten Antworten. Sinnvoll ist eine Vorauswahl: Welche Unterlagen sind aktuell, welche gelten noch, welche widersprechen sich? Diese Sichtung nimmt der Dienstleister ab, die Entscheidung über Gültigkeit kann nur das Unternehmen treffen.

Wie merke ich, ob der Agent falsche Auskünfte gibt? Durch Protokollierung. Jede Anfrage und jede Antwort wird mitgeschrieben, in den ersten Wochen sollte jemand stichprobenartig gegenlesen. Zusätzlich lohnt ein Blick auf die Eskalationsquote: Steigt sie plötzlich, fehlt Wissen; sinkt sie auf nahezu null, beantwortet der Agent womöglich Fragen, die er nicht beantworten sollte.

Wird der Agent mit der Zeit besser? Nicht von allein. Ein Agent lernt nicht aus Gesprächen, solange niemand die Erkenntnisse in die Wissensbasis zurückspielt. Genau das ist der Kern der laufenden Pflege: Fragen, die zur Eskalation führten, werden ausgewertet und als neues Wissen ergänzt. Dadurch sinkt die Eskalationsquote über die Monate.

Fazit

Die Frage, ob ein KI-Agent Unsinn erzählt, ist keine Frage des Vertrauens in künstliche Intelligenz. Sie ist eine Frage der Architektur. Ein Agent ohne angebundene Wissensbasis wird zwangsläufig raten, weil er nichts anderes kann. Ein quellengebundener Agent mit definiertem Eskalationsweg und einem Test vor dem Livegang bewegt sich in einer Größenordnung, die für den Kundenkontakt tragfähig ist.

Wer ein Angebot bewertet, sollte deshalb weniger nach dem verwendeten Modell fragen als danach, woher die Antworten kommen, was bei einer Wissenslücke passiert und wer die Basis aktuell hält. Diese drei Antworten sagen mehr über die Qualität aus als jeder Benchmark.

Quellen

• SQ Magazine (2026): LLM Hallucination Statistics, Auswertung von über 40 Erhebungen
• Arthur AI (2026): Erhebung zu kundenwirksamen Vorfällen durch Falschauskünfte
• K2view (2026): RAG Hallucination, Ursachen und Gegenmaßnahmen
• MDPI Electronics (2025): Evaluating Retrieval-Augmented Generation Variants, Hallucination Mitigation