LOKALE KI – WENN DOKUMENTE ANTWORTEN

---

Lokale KI – Wissen bleibt unter Kontrolle

Künstliche Intelligenz entfaltet ihren größten Nutzen nicht nur beim Erzeugen von Texten. Besonders interessant wird sie dort, wo sie auf eigenes Wissen zugreifen kann. Dokumentationen, Handbücher, technische Unterlagen, Betriebsanweisungen oder interne Informationen enthalten häufig wertvolles Wissen. Dieses Wissen ist jedoch über viele Dateien verteilt und mit klassischen Suchfunktionen oft nur umständlich zugänglich.

In meinem CloudLab habe ich deshalb AnythingLLM mit Ollama zu einer selbst betriebenen KI-Wissensplattform verbunden.

Ziel war nicht, einfach einen weiteren Chatbot bereitzustellen. Vielmehr sollte eine Umgebung entstehen, in der eigene Dokumente als Wissensbasis genutzt und in natürlicher Sprache abgefragt werden können – und bei vollständig lokaler Konfiguration, ohne dass diese Informationen zwingend an externe KI-Dienste übertragen werden müssen.

Die eigentliche Stärke entsteht dabei durch das Zusammenspiel mehrerer Komponenten:

• AnythingLLM übernimmt die Verwaltung der Dokumente, Workspaces und den RAG-Prozess.
• Ollama stellt lokal ausführbare Sprach- und bei Bedarf auch Embedding-Modelle bereit.
• Eine Vektordatenbank ermöglicht die semantische Suche innerhalb der aufbereiteten Dokumente.

So entsteht aus einem klassischen Dokumentenbestand eine Wissensbasis, mit der sich über natürliche Sprache interagieren lässt.

Was ist AnythingLLM?

AnythingLLM ist eine Open-Source-Plattform für KI-Assistenten, RAG-Anwendungen und den Aufbau eigener Wissensbereiche.

Die Plattform verbindet Large Language Models mit eigenen Dokumenten und ermöglicht dadurch eine Chat-ähnliche Interaktion mit persönlichen oder organisatorischen Wissensbeständen. AnythingLLM unterstützt dabei unterschiedliche Sprachmodelle, Embedding-Modelle und Vektordatenbanken. Auch Ollama kann direkt als lokales Backend eingebunden werden.

Im Gegensatz zu einem klassischen Chatbot muss sich eine solche Anwendung nicht ausschließlich auf das allgemeine Trainingswissen eines Sprachmodells verlassen. Eigene Dokumente können zusätzlich als Wissensquelle verwendet werden.

Dafür werden die Inhalte zunächst aufbereitet und in kleinere Textabschnitte – sogenannte Chunks – zerlegt. Aus diesen Abschnitten werden mithilfe eines Embedding-Modells numerische Repräsentationen erzeugt.

Diese Embeddings werden in einer Vektordatenbank gespeichert und ermöglichen später eine semantische Suche.

Bei einer Benutzerfrage sucht AnythingLLM nach inhaltlich passenden Dokumentabschnitten und stellt diese dem Sprachmodell als zusätzlichen Kontext zur Verfügung.

Dieses Verfahren wird als Retrieval Augmented Generation (RAG) bezeichnet.

Ziel des Projekts

Das Ziel meines Projekts war der Aufbau einer privaten KI-Wissensplattform für technische Dokumentationen und eigene Unterlagen. Statt lange Dokumente manuell durchsuchen zu müssen, soll ein Anwender beispielsweise Fragen stellen können wie:

„Welche Einstellungen benötigt der PostgreSQL-Backup-Agent?“

oder:

„Fasse die wichtigsten Sicherheitsmaßnahmen aus dieser Dokumentation zusammen.“

Die Wissensplattform sucht daraufhin relevante Stellen innerhalb der hinterlegten Dokumente und übergibt diese gemeinsam mit der Frage an das Sprachmodell. Das LLM formuliert daraus die Antwort. Der entscheidende Unterschied zu einer normalen LLM-Anfrage besteht darin, dass dem Modell zusätzlicher Kontext aus der eigenen Wissensbasis zur Verfügung steht.

Die beteiligten Komponenten

AnythingLLM als KI-Wissensplattform

AnythingLLM bildet die zentrale Benutzeroberfläche und koordiniert die Wissensverarbeitung. Dokumente werden sogenannten Workspaces zugeordnet. Dadurch können unterschiedliche Wissensbereiche getrennt verwaltet werden.

Beispiele:

• PostgreSQL-Dokumentation
• Docker-Handbücher
• Sicherheitsrichtlinien
• Projektunterlagen
• technische Betriebsdokumentationen

Jeder Workspace besitzt seinen eigenen Kontext und kann mit einem passenden Sprachmodell verwendet werden.

Ollama als LLM-Backend

Ollama stellt die eigentlichen Sprachmodelle bereit. Der Vorteil dieser Architektur liegt in der Trennung zwischen Anwendung und Modell.

AnythingLLM kümmert sich um:

• Dokumente
• RAG-Verarbeitung
• Workspaces
• Benutzerinteraktion

Ollama übernimmt:

• Sprachmodell
• Antwortgenerierung
• Interpretation des bereitgestellten Kontextes

Ollama übernimmt dagegen die Ausführung des ausgewählten Sprachmodells und damit die Interpretation der Anfrage sowie die Generierung der Antwort. AnythingLLM unterstützt Ollama sowohl für Sprachmodelle als auch für lokale Embedding-Modelle. Dadurch können unterschiedliche LLMs ausprobiert werden, ohne die gesamte Plattform austauschen zu müssen.

Ein wichtiger Unterschied besteht allerdings zwischen Sprachmodell und Embedding-Modell

Wird lediglich das LLM gewechselt, kann die vorhandene Wissensbasis normalerweise weiterverwendet werden. Wird dagegen das Embedding-Modell geändert, sollten beziehungsweise müssen die Dokumente in der Regel neu eingebettet werden, da unterschiedliche Embedding-Modelle nicht zwangsläufig denselben Vektorraum verwenden.

Diese Trennung ist beim Aufbau einer RAG-Umgebung wichtig.

RAG – die Verbindung zwischen Dokument und KI

Ein Large Language Model kennt zunächst nur sein Trainingswissen. Eigene Dokumente werden deshalb nicht direkt in das Modell geladen. Stattdessen erfolgt eine Verarbeitung:

Aufbereitung der Dokumente	Verarbeitung der Benutzerfrage
1. Dokumente werden eingelesen	1. Benutzer stellt eine Frage
2. Text wird aufbereitet	2. Frage wird aufbereitet
3. Text wird in Chunks aufgeteilt	3. Frage wird an das Embedding-Modell übergeben
4. Chunks werden an das Embedding-Modell übergeben	4. Embedding-Modell wandelt die Frage in einen Vektor um
5. Embedding-Modell wandelt jeden Chunk in einen Vektor um	5. Fragevektor wird mit den Dokumentvektoren verglichen
6. Vektoren und Textabschnitte werden in der Vektordatenbank gespeichert	6. Ähnlichkeitssuche ermittelt relevante Dokument-Chunks
7. Dokumente stehen für die Suche bereit	7. Benutzerfrage und relevante Textabschnitte werden dem LLM übergeben
	8. LLM formuliert die Antwort

Der entscheidende Schritt ist die Suche nach den relevantesten Textabschnitten. Nicht das gesamte Dokument wird bei jeder Frage an das Sprachmodell übertragen. Stattdessen werden möglichst passende Ausschnitte aus der Wissensbasis ermittelt und als Kontext verwendet. Das reduziert den benötigten Kontext und ermöglicht auch die Verarbeitung größerer Dokumentbestände. RAG verändert dabei nicht das Sprachmodell selbst.

Das Modell wird also nicht mit den eigenen Dokumenten neu trainiert. Die Informationen werden ihm erst zum Zeitpunkt der Anfrage als zusätzlicher Kontext zur Verfügung gestellt.

Semantische Suche statt klassischer Stichwortsuch

Ein wesentlicher Vorteil einer RAG-basierten Wissensplattform ist die semantische Suche. Eine klassische Volltextsuche sucht vor allem nach konkreten Begriffen. Eine semantische Suche versucht dagegen, die inhaltliche Bedeutung einer Anfrage zu erfassen.

Steht beispielsweise in einer Dokumentation:

„Die Sicherung der PostgreSQL-Datenbank erfolgt täglich um 02:00 Uhr.“

kann eine semantische Suche unter Umständen auch bei einer Frage wie:

„Wann läuft das Datenbank-Backup?“

die passende Textstelle finden, obwohl die Formulierungen nicht identisch sind. Gerade bei umfangreichen technischen Dokumentationen ist das ein erheblicher Vorteil.

Betrieb in Docker

AnythingLLM wird im CloudLab als Docker-Anwendung betrieben.

Die Vorteile:

• einfache Bereitstellung
• klare Trennung der Komponenten (AnythingLLM, Ollama-mit Modells und Vektordatenbank)
• reproduzierbare Konfiguration
• einfache Updates

Die einzelnen Komponenten können dadurch unabhängig voneinander betrieben und aktualisiert werden.

Lokal ist nicht automatisch vollständig lokal

Ein wichtiger Punkt beim Aufbau einer privaten KI-Plattform ist die Frage, welche Komponenten tatsächlich lokal betrieben werden. Nur weil das Sprachmodell über Ollama lokal läuft, bedeutet dies noch nicht automatisch, dass jede Verarbeitung innerhalb der eigenen Infrastruktur erfolgt.

Für eine möglichst vollständig lokale RAG-Architektur müssen auch die weiteren Komponenten betrachtet werden:

• Sprachmodell (LLM)
• Embedding-Modell
• Vektordatenbank
• Dokumentverarbeitung
• gegebenenfalls weitere angebundene Dienste

AnythingLLM unterstützt sowohl lokale als auch externe Anbieter für Sprachmodelle, Embeddings und Vektordatenbanken. Werden beispielsweise Cloud-Embeddings eingesetzt, müssen Inhalte für die Erzeugung der Embeddings an diesen Dienst übertragen werden. Eine tatsächlich lokale Konfiguration sollte daher bewusst auf lokale Komponenten setzen.

Lokale und cloudbasierte Modelle mit Ollama

Ollama unterstützt sowohl lokale als auch cloudbasierte KI-Modelle. Lokale Modelle werden direkt auf dem eigenen Computer oder Server ausgeführt. Dadurch bleiben die eingegebenen Daten im eigenen Netzwerk, allerdings hängt die Leistung von der vorhandenen CPU, GPU und dem Arbeitsspeicher ab. Cloud-Modelle werden auf der Infrastruktur von Ollama ausgeführt. Damit lassen sich auch große Modelle verwenden, für die die eigene Hardware nicht ausreichen würde. Die Bedienung und API sind bei beiden Varianten weitgehend identisch; für Cloud-Modelle werden eine Internetverbindung und ein Ollama-Konto benötigt.

Zusätzlich muss zwischen Sprach- und Embedding-Modellen unterschieden werden. Ein Sprachmodell versteht und erzeugt Texte, beantwortet Fragen oder fasst Inhalte zusammen. Ein Embedding-Modell erzeugt dagegen keinen Antworttext, sondern wandelt Texte in Zahlenvektoren um. Dadurch können Anwendungen inhaltliche Ähnlichkeiten erkennen und passende Dokumente finden. Bei einer RAG-Lösung sucht zunächst das Embedding-Modell relevante Informationen; anschließend formuliert das Sprachmodell daraus die Antwort.

Sicherheitsaspekte

Bei einer privaten KI-Wissensplattform ist der Schutz der eingebundenen Dokumente entscheidend.

Eigene Infrastruktur

Durch den Betrieb innerhalb des eigenen Docker-Stacks lassen sich Dokumente und KI-Komponenten innerhalb der kontrollierten Infrastruktur betreiben.

Damit kann selbst entschieden werden:

• wo Dokumente gespeichert werden,
• welches Sprachmodell verwendet wird,
• welches Embedding-Modell eingesetzt wird,
• welche Komponenten das Internet erreichen dürfen,
• welche externen Dienste gegebenenfalls eingebunden werden.

Gerade bei internen oder sensiblen Informationen ist diese Kontrolle ein wesentlicher Vorteil.

Vollständig lokale Verarbeitung

Bei einer vollständig lokalen Konfiguration können:

• Dokumente
• Embeddings
• Prompts
• gefundene Kontextinformationen
• Antworten

innerhalb der eigenen Infrastruktur verarbeitet werden.

Das setzt allerdings voraus, dass tatsächlich alle beteiligten Komponenten lokal betrieben werden und keine externen Dienste in die Verarbeitungskette eingebunden sind. Cloud-Modelle können zusätzliche Leistungsreserven oder leistungsfähigere Modelle bereitstellen. Ihr Einsatz sollte jedoch bewusst erfolgen und sich nach Datenschutz, Schutzbedarf und Datenklassifizierung richten.

Erfahrungen aus dem Projekt

Der größte Vorteil von AnythingLLM liegt für mich in der vergleichsweise einfachen Verbindung zwischen Dokumenten und KI. Während klassische Suchsysteme häufig stark von den verwendeten Suchbegriffen abhängen, ermöglicht RAG eine wesentlich natürlichere Interaktion mit dem vorhandenen Wissen. Besonders interessant ist die Möglichkeit, unterschiedliche Wissensbereiche getrennt aufzubauen. Eine technische Dokumentation kann beispielsweise einen eigenen Workspace erhalten, während Projektunterlagen oder persönliche Notizen separat verwaltet werden. Dadurch entsteht nicht einfach ein großer Dokumentenpool, sondern eine strukturierte Wissenslandschaft.

Ein weiterer Vorteil ist die Trennung zwischen Wissensbasis und Sprachmodell. Das LLM kann ausgetauscht werden, ohne sämtliche Dokumente neu erfassen zu müssen – solange das verwendete Embedding-System unverändert bleibt. Damit lassen sich unterschiedliche Modelle vergleichsweise einfach gegeneinander testen.

Grenzen von RAG

RAG verbessert den Zugriff auf eigenes Wissen erheblich, garantiert aber keine fehlerfreien Antworten. Das System kann nur dann eine gute Antwort erzeugen, wenn die benötigten Informationen in der Wissensbasis vorhanden sind und bei der Suche auch gefunden werden.

Mögliche Fehlerquellen sind beispielsweise:

• relevante Dokumentstellen werden nicht gefunden,
• Dokumente enthalten veraltete Informationen,
• verschiedene Dokumente widersprechen sich,
• Tabellen oder komplexe PDFs werden nicht optimal extrahiert,
• die gewählten Chunks sind zu klein oder zu groß,
• das Sprachmodell interpretiert den bereitgestellten Kontext falsch.

Auch mit RAG können Sprachmodelle falsche Aussagen erzeugen. Gerade bei technischen, sicherheitsrelevanten oder geschäftskritischen Informationen sollte deshalb nachvollziehbar bleiben, auf welchen Dokumenten beziehungsweise Quellen eine Antwort basiert.

Eine KI-Wissensplattform ersetzt damit keine saubere Dokumentation. Sie macht vorhandenes Wissen vor allem leichter zugänglich.

AnythingLLM zeigt sehr anschaulich, wie sich moderne KI mit eigenen Daten verbinden lässt.

Die Kombination aus:

• AnythingLLM als Wissensplattform
• Ollama als lokalem Modell-Backend
• einem Embedding-Modell für die semantische Suche
• einer Vektordatenbank
• eigenen Dokumenten als Wissensquelle

ermöglicht den Aufbau eines privaten KI-Assistenten, der nicht nur allgemeine Fragen beantwortet, sondern gezielt mit dem eigenen Wissen arbeiten kann.

Besonders überzeugend finde ich:

• lokale Verarbeitung eigener Daten
• Unterstützung unterschiedlicher LLMs
• semantische Dokumentensuche
• RAG-basierte Antworten mit eigenem Kontext
• getrennte Wissensbereiche über Workspaces
• modulare Architektur
• flexible Erweiterbarkeit

AnythingLLM ist damit für mich weniger ein klassischer Chatbot als vielmehr eine KI-basierte Schnittstelle zum eigenen Wissen. Genau darin liegt der eigentliche Mehrwert.

Ausblick: Weitere Datenquellen und KI-Agenten

Der nächste Schritt ist die Verbindung mit weiteren Datenquellen. Denkbare Erweiterungen sind beispielsweise:

• technische Wikis
• Git-Repositories
• interne Dokumentationen
• PDF-Archive
• Betriebsdokumentationen
• Ticketsysteme
• Wissensdatenbanken
• Dateiablagen

Damit kann aus einer Sammlung einzelner Dokumente schrittweise eine umfassende KI-Wissensplattform entstehen.

Eine zentrale Frage wird dabei sein, wie das bereitgestellte Wissen aktuell gehalten werden kann. Dokumente ändern sich, neue Informationen kommen hinzu und veraltete Inhalte müssen entfernt oder ersetzt werden. Langfristig wird deshalb nicht nur das einmalige Einlesen von Dokumenten wichtig sein, sondern auch deren automatisierte Aktualisierung und Synchronisation.

Ein weiterer Entwicklungsschritt ist die Anbindung von KI-Agenten wie Hermes über das Model Context Protocol (MCP). MCP ist ein standardisiertes Verfahren, mit dem KI-Anwendungen auf externe Datenquellen und Werkzeuge zugreifen können. Die einzelnen Systeme werden dafür über sogenannte MCP-Server bereitgestellt. Ein MCP-Server kann beispielsweise den kontrollierten Zugriff auf ein Wiki, ein Git-Repository, ein Ticketsystem oder eine Dateiablage ermöglichen.

Hermes könnte diese MCP-Server verwenden, um benötigte Informationen abzurufen und freigegebene Funktionen auszuführen. Dadurch müssen die verschiedenen Systeme nicht jeweils individuell in den Agenten integriert werden. Die einheitliche Schnittstelle erleichtert außerdem das Hinzufügen, Austauschen und Aktualisieren weiterer Datenquellen.

Die verfügbaren MCP-Funktionen sollten klar begrenzt werden. Zugriffsrechte, erlaubte Aktionen und verwendete Datenquellen müssen zentral kontrolliert und nachvollziehbar protokolliert werden. Schreibende oder verändernde Aktionen benötigen dabei strengere Berechtigungen als reine Lesezugriffe.

Auf diese Weise kann sich die Plattform langfristig von einer reinen Dokumentensuche zu einem unterstützenden Assistenzsystem entwickeln, das Informationen nicht nur findet, sondern sie auch kontextbezogen verarbeitet und für definierte Arbeitsabläufe nutzbar macht.

Aus verteilten Informationen wird so nicht nur zugängliches Wissen, sondern eine intelligente Plattform, die versteht, unterstützt und mit den zukünftigen Anforderungen wächst.

Von der Dokumentensuche zur Wissensplattform – und langfristig zu einem kontrollierten Assistenzsystem, das Informationen nicht nur findet, sondern sie im richtigen Kontext nutzbar macht.

Hinweis: Bei der Erstellung dieses Artikels wurde KI zur sprachlichen und redaktionellen Unterstützung eingesetzt. Inhalt, technische Angaben und Ergebnisse wurden geprüft und redaktionell bearbeitet.