Der BTU-Transferbot in Aktion — lokaler Chatbot für die Transferwebsite der Brandenburgischen Technischen Universität Cottbus-Senftenberg

Wissen auffindbar machen mit KI:
Chatbots für die eigene Website— datenschutzkonform und lokal

Der BTU-Transferbot in Aktion — lokaler Chatbot für die Transferwebsite der Brandenburgischen Technischen Universität Cottbus-Senftenberg

Viele Unternehmen haben ihr Wissen längst dokumentiert — auf der Website, in Handbüchern, in Formularen und Merkblättern. Trotzdem landen dieselben Fragen immer wieder im Postfach oder am Telefon. Ein KI-Chatbot, der auf den eigenen Inhalten arbeitet, kann hier entlasten. Die entscheidende Frage für viele Betriebe lautet dabei: Muss ich dafür meine Daten aus dem Haus geben? Die Antwort ist nein. Wir zeigen an einem Praxisbeispiel, wie ein solcher Assistent funktioniert, warum er sich vollständig im eigenen Netzwerk betreiben lässt — und worauf es beim Einstieg ankommt.

Das eigentliche Problem: Wissen ist da, aber nicht auffindbar

In den meisten kleinen und mittleren Unternehmen fehlt es nicht an Informationen. Es fehlt an Auffindbarkeit. Die Öffnungszeiten stehen auf der Website, die Garantiebedingungen im PDF, die richtige Ansprechperson auf einer Unterseite, die drei Klicks tief liegt. Wer die Antwort nicht in wenigen Sekunden findet, greift zum Telefon — und bindet damit Arbeitszeit für eine Frage, die eigentlich längst beantwortet ist.

Klassische Suchfunktionen helfen dabei nur bedingt. Sie finden Wörter, keine Bedeutungen. Wer nach „Was mache ich, wenn das Gerät nicht anspringt?" sucht, findet nichts, wenn im Handbuch von „Störungsbehebung bei ausbleibendem Motorstart" die Rede ist. Genau an dieser Lücke setzen KI-gestützte Assistenzsysteme an.

Wie ein Chatbot mit den eigenen Daten arbeitet

Der entscheidende Unterschied zu allgemeinen Chatbots wie ChatGPT liegt in der Wissensquelle. Ein allgemeines Sprachmodell antwortet aus dem, was es beim Training gelernt hat — über Ihr Unternehmen weiß es nichts, und wo es nichts weiß, erfindet es im Zweifel etwas dazu. Für den betrieblichen Einsatz ist das oftmals unbrauchbar.

Das Verfahren, das hier weiterhilft, heißt Retrieval-Augmented Generation, kurz RAG. Es besteht aus zwei getrennten Phasen: einer einmaligen Vorbereitung des Wissens und dem eigentlichen Frage-Antwort-Vorgang.

Ablauf eines RAG-Systems

① Aufnahme — die Vorbereitung des Wissens

Dieser Teil läuft im Hintergrund, lange bevor die erste Frage gestellt wird, und wiederholt sich nur, wenn sich Inhalte ändern.

Am Anfang steht das Dokument — eine Webseite, ein PDF, ein Handbuch. Bei der Extraktion wird daraus der eigentliche Text herausgelöst: Navigationsleisten, Menüs und Layout-Elemente fallen weg, Überschriften und Tabellen bleiben in ihrer Struktur erhalten.

Beim Chunking wird der Text in sinnvolle Abschnitte zerlegt. Das klingt banal, ist aber entscheidend: Die Abschnitte müssen groß genug sein, um für sich verständlich zu bleiben, und klein genug, um präzise auffindbar zu sein. Ein Absatz, der mitten im Satz abgeschnitten wird, liefert später keine brauchbare Antwort.

Das Embedding übersetzt jeden Abschnitt in eine Zahlenfolge (Vektoren), die seine Bedeutung abbildet. Texte mit ähnlichem Inhalt erhalten ähnliche Zahlenfolgen — unabhängig von der konkreten Wortwahl. Genau deshalb findet das System später auch dann die richtige Stelle, wenn jemand nach dem Gerät fragt, das nicht anspringt, im Handbuch aber vom ausbleibenden Motorstart die Rede ist.

Abgelegt wird das Ergebnis in der Vektordatenbank — vergleichbar mit einem Karteikartenschrank, der nicht alphabetisch sortiert ist, sondern nach inhaltlicher Nähe.

② Frage — was bei jeder Anfrage passiert

Stellt jemand eine Frage, wird sie auf dieselbe Weise in eine Zahlenfolge übersetzt. Beim Retrieval sucht das System in der Vektordatenbank die Abschnitte heraus, die dieser Bedeutung am nächsten kommen.

Erst danach kommt das Sprachmodell ins Spiel: Es formuliert die Antwort — ausschließlich auf Basis der gefundenen Textstellen — und gibt die Quelle mit an, aus der die Information stammt.

Dieser letzte Schritt macht den Unterschied. Das Modell antwortet nicht aus dem, was es irgendwann einmal gelernt hat, sondern aus dem, was nachweislich in den hinterlegten Dokumenten steht. Und weil die Quelle mitgeliefert wird, können Nutzerinnen und Nutzer mit einem Klick selbst nachlesen, worauf die Auskunft beruht.

Ein Praxisbeispiel aus der Region

Um zu zeigen, wie so ein System in der Praxis funktioniert, haben wir im Mittelstand-Digital Zentrum Spreeland einen Demonstrator aufgebaut. Als Wissensbasis dienen die Transfer-Webseiten einer Hochschule — ein umfangreicher, verzweigter Bestand mit Informationen zu Förderprogrammen, Kooperationsmöglichkeiten, Patenten und Ansprechpartnern.

Wer wissen möchte, welche Förderprogramme für ein gemeinsames Forschungsprojekt infrage kommen, muss sich nicht mehr durch die Menüstruktur arbeiten, sondern fragt in normaler Alltagssprache. Die Antwort kommt in wenigen Sekunden, mit Verweis auf die zugrunde liegende Seite.

Ebenso aufschlussreich ist das Verhalten bei Fragen, die das System nicht beantworten kann. Fragt man nach dem Wetter oder nach Themen außerhalb des hinterlegten Wissens, erfindet der Chatbot keine Antwort, sondern sagt offen, dass er dazu nichts weiß — und verweist auf das Kontaktformular. Diese Fähigkeit, die eigene Grenze zu erkennen, ist in der Praxis genauso wichtig wie die Fähigkeit, gute Antworten zu geben.

Datenschutz: warum der Betrieb im eigenen Haus einen Unterschied macht

Ein Punkt, der für viele Unternehmen den Ausschlag gibt: Der Demonstrator läuft vollständig auf lokaler Hardware. Weder die hinterlegten Inhalte noch die gestellten Fragen verlassen das eigene Netzwerk. Es gibt keinen externen Dienstleister, der Daten verarbeitet, keine Übermittlung in Drittstaaten und keine offene Frage, ob eingegebene Inhalte später zum Training fremder Modelle verwendet werden.

Besonders relevant wird das dort, wo nicht nur die hinterlegten Dokumente, sondern schon die Fragen selbst sensibel sind. Wenn eine Mitarbeiterin den internen Assistenten nach dem Umgang mit einer Krankmeldung fragt oder ein Servicetechniker nach einem Konstruktionsdetail, dann steckt in dieser Anfrage bereits schützenswerte Information — unabhängig davon, was in der Antwort steht.

Möglich wird der lokale Betrieb durch frei verfügbare Open-Source-Sprachmodelle. Diese sind in den vergangenen zwei Jahren so leistungsfähig geworden, dass sie für Anwendungen wie eine Wissensrecherche völlig ausreichen — und sie lassen sich auf handelsüblicher Hardware betreiben. Ein einzelner Rechner mit leistungsfähiger Grafikkarte genügt für die meisten KMU-Szenarien. Hier nutzen wir die qwen-Sprachmodelle für Embedding und Abfrage.

Lokal oder Cloud? Ein kurzer Überblick

Vorweg eine wichtige Klarstellung: Cloud-KI ist nicht automatisch datenschutzwidrig. Auch mit externen Diensten lässt sich DSGVO-konform arbeiten — es braucht dafür aber einen Auftragsverarbeitungsvertrag, eine Prüfung des Serverstandorts und die vertragliche Zusicherung, dass Eingaben nicht zu Trainingszwecken verwendet werden. Beim lokalen Betrieb entfallen diese Prüfschritte schlicht, weil keine Daten übermittelt werden. Der Unterschied liegt also weniger im „erlaubt oder nicht", sondern im Prüf- und Vertragsaufwand — und in der Frage, wie viel Kontrolle im Haus bleibt.

Welcher Weg passt, hängt weniger von der Unternehmensgröße ab als von der Art der Daten. Als grobe Orientierung: Je sensibler die Inhalte und je regelmäßiger die Nutzung, desto eher lohnt sich der lokale Betrieb. Für erste Gehversuche mit unkritischen, ohnehin öffentlichen Inhalten ist der Einstieg über einen Cloud-Dienst dagegen oft der schnellere Weg — und eine gute Möglichkeit, den eigenen Bedarf kennenzulernen, bevor in Hardware investiert wird.

Unabhängig vom gewählten Weg gilt ein Grundsatz, der auch durch die europäische KI-Verordnung an Bedeutung gewinnt: Nutzerinnen und Nutzer sollten jederzeit erkennen können, dass sie mit einem KI-System sprechen und nicht mit einem Menschen.

Worauf es in der Praxis ankommt

Aus der Arbeit an solchen Systemen lassen sich einige Erfahrungen ableiten, die für den Einstieg hilfreich sind.

Die Qualität der Quellen entscheidet über die Qualität der Antworten. Ein Chatbot kann nur so gut sein wie das Wissen, auf dem er aufsetzt. Veraltete Seiten, widersprüchliche Angaben oder unvollständige Dokumentation schlagen unmittelbar auf die Antwortqualität durch. Häufig ist die Einführung deshalb ein guter Anlass, den eigenen Informationsbestand einmal gründlich aufzuräumen.

Der Umgang mit Unsicherheit muss geregelt sein. Wie das Praxisbeispiel zeigt, ist ein System, das im Zweifel lieber schweigt und weiterverweist, im Betrieb deutlich wertvoller als eines, das immer irgendeine Antwort produziert. Prüfmechanismen, die unsichere Fälle erkennen und an einen Menschen übergeben, gehören zum Konzept dazu.

Wissen veraltet — das System muss mitwachsen. Ändern sich Inhalte auf der Website oder im Handbuch, muss der Wissensbestand aktualisiert werden. Das lässt sich automatisieren, sollte aber von Anfang an mitgedacht werden.

Klein anfangen lohnt sich. Ein Chatbot, der einen klar abgegrenzten Bereich zuverlässig abdeckt, bringt mehr als einer, der alles ein bisschen kann. Häufige Standardfragen aus dem Kundenkontakt sind ein guter Startpunkt.

Für wen lohnt sich das?

Besonders geeignet ist der Ansatz überall dort, wo sich Fragen wiederholen und die Antworten grundsätzlich schon irgendwo dokumentiert sind. Das betrifft den Kundenservice ebenso wie die interne Wissensweitergabe — etwa wenn neue Mitarbeitende sich in Prozesse einarbeiten oder Servicetechnikerinnen unterwegs schnell in ein Handbuch schauen müssen.

Weniger geeignet ist die Technologie für Auskünfte mit rechtlicher Verbindlichkeit oder für Entscheidungen, die eine individuelle Einschätzung erfordern. Hier bleibt der Chatbot bestenfalls eine Vorstufe, die den Weg zur richtigen Ansprechperson weist.

Selbst ausprobieren

Der Demonstrator ist Teil unseres Angebots im Mittelstand-Digital Zentrum Spreeland und lässt sich bei Veranstaltungen und in Workshops live erleben. In unseren Trainings zeigen wir, wie solche Systeme aufgebaut sind, welche Voraussetzungen sie brauchen und wie sich der Nutzen für den eigenen Betrieb realistisch einschätzen lässt.

Alle Angebote des Mittelstand-Digital Zentrums Spreeland sind anbieterneutral und für kleine und mittlere Unternehmen kostenfrei — ermöglicht durch die Förderung des Bundesministeriums für Wirtschaft und Energie.