RAG: Wenn KI in eigenen Dokumenten nachschlägt

Wissen suchen, dann antworten

Ein Chatbot soll erklären, welche Reisekostenregel im Unternehmen gilt. Allgemeines Sprachwissen reicht dafür nicht. Bei Retrieval-Augmented Generation, kurz RAG, sucht ein System zunächst passende Inhalte in einer zugänglichen Dokumentensammlung. Die gefundenen Ausschnitte erhält das Sprachmodell zusammen mit der Frage. Daraus formuliert es eine Antwort. Die grundlegende Forschungsarbeit von Patrick Lewis und Kollegen aus dem Jahr 2020 verbindet Sprachgenerierung mit einem externen Wissensspeicher.

Das Dokument wird zum Arbeitsmaterial

Für das Reisekostenbeispiel könnte die Suche den Abschnitt über Bahnfahrten und eine aktuelle Ergänzung zu Hotelkosten liefern. Das Modell kann diese Informationen zusammenführen und die Fundstellen nennen. Das ist keine Garantie, dass es sämtliche relevanten Unterlagen gesehen hat. RAG verändert auch nicht automatisch das trainierte Modell: Die nachgeschlagenen Inhalte dienen zunächst als Kontext für die konkrete Antwort.

In einer praktischen Umsetzung werden längere Dokumente häufig in Abschnitte zerlegt. Suchverfahren wählen daraus möglichst passende Treffer aus. Überschriften, Versionsstände und gut lesbarer Text helfen. Eine Sammlung voller doppelter, veralteter oder schlecht gescannter Dateien erschwert die Aufgabe.

Die Suche entscheidet mit

Microsoft beschreibt in seiner RAG-Dokumentation mehrere typische Hürden: unklare Fragen, verteilte Datenquellen, begrenzten Platz für Kontext und notwendige Zugriffskontrollen. Eine fachlich passende Fundstelle darf nur dann in die Antwort gelangen, wenn die fragende Person sie sehen darf. Eine korrekte Sucharchitektur muss deshalb auch Berechtigungen berücksichtigen.

Selbst mit passenden Quellen kann eine Antwort Details falsch verbinden. Sinnvoll ist eine klare Trennung zwischen dem, was die Unterlagen ausdrücklich sagen, und einer Interpretation. Fehlt eine passende Quelle, sollte die Anwendung genau das anzeigen.

Ein guter erster Test

Für einen überschaubaren Pilotversuch eignen sich freigegebene, aktuelle Unterlagen und typische Fragen aus dem Arbeitsalltag. Eine Testfrage sollte bewusst unbeantwortbar sein. So wird sichtbar, ob das System Wissenslücken eingesteht. Bewertet werden anschließend sowohl die gefundenen Belege als auch die daraus erzeugte Antwort. Ein überzeugend formulierter Text allein genügt nicht.