Interne KI mit RAG: Ein praxistaugliches Konzept für FM-Dienstleister

Letzte Woche hat mich ein Objektleiter angerufen. Er suchte seit 40 Minuten die Wartungsanleitung für eine RLT-Anlage. Das Dokument lag irgendwo auf dem Fileserver, vergraben zwischen 2.000 anderen PDFs, in einem Ordner, den vor drei Jahren jemand angelegt hat und dessen Namenslogik niemand mehr versteht. Am Ende hat er den Hersteller angerufen.

Das ist Alltag im Facility Management. Seit Monaten teste ich dafür Retrieval-Augmented Generation, kurz RAG: eine KI, die nicht im Internet sucht, sondern in euren eigenen Dokumenten.

Was RAG bedeutet

RAG klingt kompliziert, ist im Kern aber simpel. Bevor die KI antwortet, durchsucht sie eure internen Dokumente: Wartungsanleitungen, Verträge, Betriebshandbücher, Ticket-Historien, alles, was ihr in die Datenbank einspeist. Sie antwortet dann auf Basis eurer Daten und nicht auf Basis ihres allgemeinen Trainings.

Der Unterschied zu ChatGPT oder Claude im Browser: Die Daten verlassen euer Netzwerk nicht, denn eine selfhosted RAG-Lösung läuft auf eurer eigenen Hardware. Für einen FM-Dienstleister mit Kundendaten, Vertragsinformationen und Wartungsprotokollen ist das Grundvoraussetzung.

Ab Tag eins perfekt funktioniert RAG allerdings nicht. Die Qualität hängt an euren Dokumenten und daran, wie ihr sie aufbereitet. Dazu gleich mehr.

Die Architektur

Nach monatelangem Testen verschiedener Setups empfehle ich einem mittelgroßen FM-Dienstleister Folgendes.

Als Sprachmodell dient Ollama als Inference-Server, darauf läuft ein Llama 3 mit 8 Milliarden Parametern. Ollama ist Open Source, läuft stabil und braucht für die Einrichtung keine DevOps-Experten. Für den Einstieg reicht eine einzelne Grafikkarte. Eine NVIDIA RTX 4060 Ti mit 16 GB Grafikspeicher kostet um die 500 Euro und ist schnell genug für 50 bis 100 gleichzeitige Nutzer.

Für die Dokumentensuche indexiert LlamaIndex eure Dokumente, Qdrant dient als Vektor-Datenbank. LlamaIndex zerlegt PDFs, Word-Dokumente und Handbücher in sinnvolle Abschnitte und wandelt sie in numerische Repräsentationen um, sogenannte Embeddings. Qdrant speichert diese Embeddings und findet bei einer Frage blitzschnell die relevantesten Stellen.

Wer es erst einmal ausprobieren will, nimmt Chroma statt Qdrant. Chroma läuft embedded, braucht keinen eigenen Server und ist in 30 Minuten einsatzbereit. Für einen Proof-of-Concept mit 50 bis 100 Dokumenten reicht das völlig.

Dazu kommt eine einfache Web-Oberfläche, in der Objektleiter, Techniker und Projektleiter ihre Fragen stellen, ohne Kommandozeile und ohne technisches Vorwissen. Open-Source-Frameworks wie Open WebUI leisten das.

Der entscheidende Faktor: Dokumentenaufbereitung

Hier passieren 80 Prozent aller Fehler. Die meisten RAG-Projekte scheitern daran, wie Dokumente zerteilt werden, nur selten am Sprachmodell oder an der Hardware.

Ein Beispiel: Ihr speist ein 50-seitiges Wartungshandbuch für eine Kälteanlage ein. Wenn das System das Dokument alle 500 Wörter zerschneidet, landen zusammengehörige Informationen in verschiedenen Fragmenten. Auf die Frage „Wie tausche ich den Kältemittelfilter?” findet die KI dann einen Abschnitt über allgemeine Wartungsprinzipien, aber nicht die konkrete Anleitung auf Seite 34.

Die Lösung heißt semantisches Chunking. Dokumente werden nach inhaltlichen Einheiten zerlegt statt nach Zeichenzahl: Jedes Kapitel, jeder Arbeitsschritt, jede Checkliste wird ein eigenes Fragment. LlamaIndex bietet dafür einen semantischen Splitter, der Überschriften und Absatzstrukturen erkennt.

Dazu kommt die Filterung über Metadaten. Jedes Fragment bekommt Tags für Anlagentyp, Standort, Hersteller und Dokumentenart. Fragt ein Techniker nach dem Kältemittelfilter, durchsucht das System nicht 2.000 Dokumente, sondern nur die mit dem Tag „Kältetechnik”. Das verbessert die Trefferquote deutlich.

Kosten und ehrliche Einschätzung

Für einen Proof-of-Concept mit 50 bis 100 Dokumenten braucht ihr einen Rechner mit Grafikkarte (Hardware ab 500 Euro), Ollama und LlamaIndex (kostenlos, Open Source) und einen halben Tag Einrichtungszeit, sofern jemand im Team sich mit Linux und Docker auskennt.

Eine produktive Lösung für 500 und mehr Nutzer kostet mehr: Hardware für circa 5.000 bis 8.000 Euro, laufende Kosten von 500 bis 800 Euro im Monat für Strom und Wartung und, als größter Posten, eine halbe bis ganze Stelle für jemanden, der das System pflegt, Dokumente aktualisiert und die Qualität überwacht.

Das klingt nach viel, aber rechnet dagegen: Verbringen eure 20 Techniker täglich zwei Stunden mit Dokumentensuche, sind das 40 Personenstunden pro Tag. Spart das RAG-System nur die Hälfte davon, rechnet sich die Investition in unter sechs Monaten.

Die ersten drei Monate sind allerdings frustrierend. Die Antwortqualität ist anfangs mittelmäßig, weil die Dokumentenaufbereitung Zeit braucht. Techniker vertrauen dem System nicht sofort, und das zu Recht, denn Halluzinationen kommen vor. Es dauert sechs bis zwölf Monate, bis ein RAG-System wirklich rund läuft.

Datenschutz

Für FM-Dienstleister mit Kundendaten ist Selfhosting Pflicht. Verträge, Wartungsprotokolle, Kostendaten und Mitarbeiterinformationen dürfen nicht über externe Server laufen. Eine selfhosted RAG-Lösung verarbeitet alles lokal: kein Datenabfluss, volle DSGVO-Konformität, komplette Kontrolle.

Anonymisiert trotzdem personenbezogene Daten vor dem Einspeisen. Mitarbeiternamen raus aus Incident Reports, E-Mail-Adressen ersetzen, Standortdaten codieren. Das ist DSGVO-Pflicht und verbessert nebenbei die Antwortqualität, weil sich das Modell auf Sachinformationen konzentriert.

Fazit

Interne KI mit RAG ist keine Zukunftsmusik mehr. Die Technologie ist da, die Kosten sind überschaubar, die Vorteile für FM-Dienstleister sind real. Ein Plug-and-Play-Produkt ist es aber nicht: Es braucht jemanden im Team, der sich reinfuchst, saubere Dokumente und Geduld.

Mein Tipp: Startet mit einem Pilotprojekt. Nehmt 20 eurer wichtigsten Dokumente, am besten die Wartungsanleitungen, die am häufigsten gesucht werden. Setzt Ollama mit Llama 3 auf einem Testrechner auf, füttert die Dokumente über LlamaIndex in Chroma und lasst fünf Kollegen zwei Wochen damit arbeiten. Danach wisst ihr, ob und wie ihr weitermacht.

Wer hat schon Erfahrung mit internen KI-Systemen im FM? Oder steht gerade vor der Entscheidung? Ich bin gespannt auf eure Erfahrungen.