Eigene KI im Teamchat: So arbeiten Mattermost, Hermes Agent und Ollama zusammen
Künstliche Intelligenz muss nicht zwangsläufig über externe Cloud-Dienste bereitgestellt werden. In meinem CloudLab habe ich deshalb eine Lösung aufgebaut, bei der ein lokal beziehungsweise kontrolliert betriebenes Large Language Model direkt aus Mattermost heraus genutzt werden kann.
Ziel war es nicht, einen weiteren Chatbot bereitzustellen, sondern eine KI-Plattform zu schaffen, die sich nahtlos in bestehende Prozesse integrieren lässt und dabei die Kontrolle über Daten und Infrastruktur in der eigenen Hand behält.
Die eigentliche Intelligenz der Lösung entsteht jedoch erst durch das Zusammenspiel dieser Komponenten: Mattermost übernimmt die Kommunikation, Hermes Agent orchestriert den gesamten Ablauf und Ollama stellt flexibel lokale oder Cloud-basierte Sprachmodelle bereit.
Ziel des Projekts
Das Ergebnis ist ein KI-Assistent, der über normale Mattermost-Nachrichten angesprochen werden kann und sich trotzdem vollständig in die eigene Infrastruktur integrieren lässt.
Das Ziel war es, die Bedienung eines KI-Agenten möglichst einfach zu gestalten. Anwender sollten keine Kommandozeile, keine separate KI-Oberfläche und keinen direkten Zugriff auf den Ollama-Server benötigen.
Stattdessen sollte die Kommunikation dort stattfinden, wo Teams ohnehin bereits zusammenarbeiten: in Mattermost. Eine Frage wird als Direktnachricht oder innerhalb eines freigegebenen Kanals an den Hermes-Bot gestellt. Hermes verarbeitet die Nachricht, ergänzt den notwendigen Kontext, übergibt die Anfrage an das ausgewählte Sprachmodell und sendet die Antwort anschließend wieder an Mattermost zurück.
Die beteiligten Komponenten
Mattermost als Benutzeroberfläche
Mattermost bildet die Kommunikationsplattform. Für Hermes wurde ein eigener Bot-Benutzer eingerichtet, der Nachrichten empfangen und Antworten veröffentlichen darf. Die Nutzung kann sowohl über Direktnachrichten als auch über definierte Kanäle erfolgen.
Hermes Agent als Vermittler
Hermes Agent übernimmt die zentrale Steuerung der Kommunikation. Er ist nicht lediglich ein einfacher Chatbot, sondern fungiert als Orchestrator zwischen Benutzer, Sprachmodell und möglichen zusätzlichen Werkzeugen.
Hermes kann dabei zwischen einer normalen Frage und einem Arbeitsauftrag unterscheiden. Je nach Konfiguration kann der Agent beispielsweise Dateien analysieren, Informationen aus Schnittstellen abrufen oder Systemkommandos ausführen.
Ollama als LLM-Backend
Ollama stellt das eigentliche Sprachmodell bereit. Der große Vorteil besteht darin, dass unterschiedliche Modelle relativ einfach geladen, getestet und ausgetauscht werden können. Hermes spricht Ollama über eine OpenAI-kompatible API an. Dadurch verhält sich das lokale Modell aus Sicht des Agenten ähnlich wie ein externer KI-Dienst.
Abhängig von Hardware, Arbeitsspeicher und gewünschter Antwortqualität können unterschiedliche Modelle eingesetzt werden. Kleine lokale Modelle reagieren schneller und benötigen weniger Ressourcen. Größere lokale Modelle liefern häufig bessere Antworten, benötigen dafür aber deutlich mehr Arbeitsspeicher oder GPU-Leistung.
Zusätzlich bietet Ollama inzwischen auch Cloud-Modelle an. Dadurch können leistungsfähigere Modelle genutzt werden, ohne dass die dafür erforderliche Rechenleistung vollständig auf der eigenen Hardware bereitgestellt werden muss. Hermes kann je nach Konfiguration somit sowohl auf lokal betriebene Ollama-Modelle als auch auf Ollama-Cloud-Modelle zugreifen. Dabei ist jedoch zu beachten, dass Anfragen bei der Nutzung eines Cloud-Modells die eigene Infrastruktur verlassen und an den jeweiligen Cloud-Dienst übertragen werden.
Die Trennung zwischen Hermes und Ollama hat einen weiteren Vorteil: Das Sprachmodell kann gewechselt werden, ohne die Mattermost-Anbindung neu entwickeln zu müssen.
Betrieb in Docker
Alle beteiligten Dienste lassen sich in Containern betreiben. Dabei sollten Mattermost, Hermes und Ollama nach Möglichkeit nicht unkontrolliert im selben offenen Docker-Netz liegen.
Sicherheitsaspekte
Ein KI-Agent kann wesentlich mehr Rechte besitzen als ein gewöhnlicher Chatbot. Sobald Werkzeuge, Dateien, APIs oder Systembefehle eingebunden werden, sollte Hermes wie ein privilegierter Dienst behandelt werden.
Benutzer und Kanäle begrenzen
Die Listen der erlaubten Benutzer und Kanäle sollten möglichst eng gehalten werden. Ein öffentlicher Mattermost-Kanal ist für administrative Agentenfunktionen in der Regel ungeeignet.
Werkzeuge gezielt freigeben
Nicht jeder Benutzer benötigt Zugriff auf Terminalfunktionen, Dateien, interne APIs oder Monitoring-Systeme. Werkzeuge sollten deshalb nur einzeln und nach dem Prinzip der minimal erforderlichen Rechte aktiviert werden.
Protokollierung und Datenschutz
Mattermost und Hermes erzeugen Protokolldaten. Darin können Benutzeranfragen, Antworten, technische Fehler und eventuell vertrauliche Informationen enthalten sein.
Erweiterungsmöglichkeiten
Die Architektur lässt sich schrittweise erweitern. Hermes kann als zentrale Vermittlungsschicht weitere Systeme anbinden.
Denkbare Erweiterungen sind:
- Auswertung von Logdateien
- Zugriff auf interne Dokumentationen
- Suche in technischen Handbüchern
- Erstellung von Statusberichten
- Einbindung einer Wissensdatenbank
- automatisierte Unterstützung bei wiederkehrenden Administrationsaufgaben
Erfahrungen aus dem Projekt
Die Mattermost-Anbindung hat sich als besonders komfortabel erwiesen. Anwender müssen keine zusätzliche Oberfläche kennenlernen und können die KI innerhalb ihres gewohnten Arbeitsumfelds nutzen.
Direktnachrichten eignen sich gut für persönliche Anfragen. Private Teamkanäle ermöglichen dagegen eine gemeinsame Nutzung und machen Antworten auch für andere berechtigte Personen sichtbar.
Die Thread-Funktion verhindert, dass umfangreiche Dialoge den Hauptkanal unübersichtlich machen. Durch die Begrenzung der Benutzer und Kanäle bleibt der Zugriff kontrollierbar.
Die Qualität und Geschwindigkeit der Antworten hängen erwartungsgemäß stark vom verwendeten Ollama-Modell und von der verfügbaren Hardware ab. Die eigentliche Verbindung zwischen Mattermost, Hermes und Ollama funktioniert jedoch zuverlässig und nachvollziehbar.
Positives Fazit
Die Kombination aus Mattermost, Hermes Agent und Ollama zeigt eindrucksvoll, wie sich moderne KI-Funktionen in eine selbst betriebene Kommunikationsplattform integrieren lassen.
Mattermost stellt die vertraute Benutzeroberfläche bereit. Hermes übernimmt Kontextverwaltung, Werkzeugsteuerung und Kommunikation. Ollama liefert flexibel austauschbare Sprachmodelle.
Besonders überzeugend sind:
- die einfache Bedienung über den Teamchat
- die zentrale Verwaltung des Agenten
- die Nutzung eigener oder kontrolliert bereitgestellter Modelle
- die Möglichkeit, Benutzer und Kanäle gezielt einzuschränken
- die flexible Erweiterbarkeit um interne Werkzeuge und Datenquellen
- die weitgehende Kontrolle über Infrastruktur und Daten
Das Projekt ist damit mehr als ein technischer Versuch. Es bildet eine solide Grundlage für einen internen KI-Assistenten, der sich in bestehende Abläufe integrieren und schrittweise um weitere Funktionen erweitern lässt.
Bei einer sorgfältigen Absicherung entsteht eine leistungsfähige Verbindung aus Teamkommunikation, KI und Automatisierung – ohne dass dafür zwangsläufig sämtliche Daten an einen externen Cloud-Anbieter übertragen werden müssen.
Ausblick
Die eigentliche Stärke des Hermes Agent liegt in seiner Erweiterbarkeit. Künftig können neben dem Sprachmodell auch interne Werkzeuge und Datenquellen eingebunden werden. So lassen sich beispielsweise Monitoring-Systeme, Dokumentationen oder Wissensdatenbanken direkt aus Mattermost heraus nutzen.
Ein möglicher Dialog könnte dann so aussehen:
Administrator: „Hermes, zeige mir die aktuell kritischen Hosts aus Checkmk und fasse die Ursachen zusammen.“
Hermes Agent: „Es wurden drei kritische Hosts erkannt, die wahrscheinlichste Ursache ist ……“
„Die Zukunft der Unternehmens-KI ist nicht nur intelligent – sie ist lokal, sicher und offen. Mattermost, Hermes Agent und Ollama zeigen eindrucksvoll, wie moderne KI ohne Abhängigkeit von proprietären Cloud-Diensten erfolgreich in den Arbeitsalltag integriert werden kann. Die Reise in eine offene, selbst betriebene Unternehmens-KI hat gerade erst begonnen.“
