Hier werden zuerst alle verfügbaren Daten in sogenannte numerische Vektoren umgewandelt, die die semantische Bedeutung der Inhalte erfassen und in dafür geeigneten Datenbanken, sogenannten Vektordatenbanken, gespeichert. Beispiele hierfür sind z. B. Chroma, Pinecone, Faiss, Elasticsearch oder Milvus. Die Vektordatenbanken ermöglichen eine semantische Ähnlichkeitssuche, das heißt, sie finden Inhalte, die inhaltlich oder kontextuell ähnlich zur Suchanfrage sind, auch wenn die exakten Wörter nicht übereinstimmen. Dies ist vergleichbar mit Anwendungen wie der Suche nach ähnlichen Bildern oder der Erkennung eines Liedes in Shazam durch Vorsingen. Im RAG-Prozess wird bei einer Nutzeranfrage die Vektordatenbank nach den relevantesten Dokumenten durchsucht. Diese Dokumente werden dann als Kontext verwendet, um die Antwort des LLM informativer und genauer zu machen. Dadurch werden die Einschränkungen von LLMs in Bezug auf Wissensaktualität und Quellenangaben deutlich reduziert. Ein RAG-System kann bei Bedarf komplett ohne die Nutzung externer LLM Provider (z. B. OpenAI, Gemini oder Perplexity) auf einem eigenen Server betrieben werden.
Der rms. KI-Chatbot.
ChatGPT kennt Ihre Produkte nicht, unser Chatbot schon.
Wünschen Sie sich, dass Kundenanfragen auf Ihrer Webseite rund um die Uhr beantwortet werden? Haben Ihre Mitarbeiter Schwierigkeiten, schnell die richtigen Informationen in internen Dokumenten zu finden? Unser KI-Chatbot beantwortet Fragen zu Ihren Produkten sofort und präzise. Der rms. KI-Chatbot beantwortet Fragen ganz konkret zu ihren unternehmens- bzw. themenspezifischen Inhalten. Im Vergleich zu einer klassischen Suche können die Eingaben echte Fragen sein. Die zugrunde liegenden Daten können komplette Webseiten, PDFs, Word-Dateien, Textdokumente oder Exporte aus Datenbanken sein. Auch eine Kombination aus mehreren Quellen ist möglich.
Zudem kann der Chatbot auch in "Einfacher Sprache" kommunizieren (konfigurierbar).
Echte Mehrsprachigkeit mit DeepL Integration, Arbeitet mit allen aktuellen LLMs, Transparente Kosten, Widget Integration, 100 % DSGVO-konform, Automatische Erfassung aller Inhalte über Scraping & Crawling, Einstellung für "Einfache Sprache"
Anwendungsszenarien für den Chatbot
Chat auf einer Webseite
Der Chatbot beantwortet Fragen zu allen Inhalten, die auf einer Webseite zu finden sind. Diese können bei Bedarf durch PDF-Dateien oder weitere Inhalte angereichert werden. Die Antworten können Links zu Inhaltsseiten (Produkte, Angebote, Hilfe, ...) enthalten.
Suche über firmeninterne Daten
Über einen Chatbot werden firmeninterne Daten für Mitarbeitende einfach zugänglich. Die manuelle Suche in Dokumenten, Wissensdatenbanken, Supportdatenbanken etc. entfällt und der Wissenstransfer wird effizienter.
Support
Kundenanfragen können mit bestehenden Supportdatenbanken abgeglichen und Antworten basierend auf bisherigen Ergebnissen vorformuliert werden.
Mehrsprachigkeit in Echtzeit
Bei Bedarf können Anfragen in anderen Sprachen beantwortet werden, auch wenn die Inhalte einer Webseite nur auf Deutsch verfügbar sind.
Interner Datentransfer
Die zugrundeliegende Technologie des Chatbots kann bei Bedarf auf einem firmeninternen Server betrieben werden, wodurch kein Datentransfer auf externe Systeme stattfindet.
Desktopanwendung
Als installierbare Desktopanwendung ist der rms. Chatbot nicht nur im Browser oder über Messenger-Dienste verfügbar. Er kann auch direkt als .exe-Datei auf dem Computer installiert werden, was eine tiefere Integration in die Arbeitsabläufe des Unternehmens und erweiterte Nutzungsmöglichkeiten eröffnet.
Ab Oktober 2025: Der rms. Phonebot
Verbessern Sie Ihren Kundenservice mit dem Phonebot, einem Chatbot mit Telefonanlagen-Schnittstelle. Er ist 24/7 verfügbar und beantwortet Kundenfragen sofort, wodurch er Ihre Mitarbeiter entlastet. Der Phonebot reduziert operative Kosten, indem er Standardprozesse automatisiert. Er nutzt künstliche Intelligenz und Spracherkennung, um Anrufe entgegenzunehmen und Anliegen zu verstehen. Falls nötig, leitet er Anrufe nahtlos an den richtigen Mitarbeiter weiter.
Testzugang beantragen
Livedemo Chatbot: RAG, Vektoren und DSGVO erklärt
Wir waren zu Gast im Podcast Online-Marketing am Morgen und haben unsere KI-Chatbot-Lösung präsentiert. Im Gespräch zeigen wir, wie Unternehmen Chatbots DSGVO-konform und praxisnah auf ihrer Website einsetzen können – von RAG-Technologie über Vektordatenbanken bis hin zu echten Use Cases.
Der rms. Chatbot: Intelligente Antworten bei voller Datenkontrolle
Öffentlich zugängliche Chatbots wie ChatGPT, Gemini oder Perplexity haben gravierende Nachteile, wenn es um die Verarbeitung von individuellen Anfragen oder Anfragen zu aktuellen Themen geht: Sie können diese entweder gar nicht beantworten, da firmeninterne Daten nicht Teil ihrer Trainingsdaten waren oder diese zum Zeitpunkt des Trainings nicht zur Verfügung standen (z. B. aktuelle News). Oder sie beantworten die Fragen basierend auf allgemeinem Wissen, was zu Abweichungen oder Aussagen führen kann, die nicht direkt mit den eigenen Inhalten korrelieren. Es werden ggf. andere Markennamen genannt, Links führen auf Seiten der Konkurrenz etc. Fragen zu firmeninternen Daten (Supportdatenbanken, interne Dokumente, Forschungsdatenbanken etc.) können in der Regel überhaupt nicht beantwortet werden.
Mehrwert für Sie und Ihre Kunden
Personalisierte Empfehlungen
Der Chatbot kann das Nutzerverhalten und die bisherigen Anfragen analysieren, um Produkte, Dienstleistungen oder Inhalte zu empfehlen, die wirklich relevant sind. Das steigert die Relevanz und den Umsatz.
Terminvereinbarung & Buchungen
Kunden können direkt über den Chatbot Termine buchen, einen Tisch im Restaurant reservieren oder einen Rückruf anfordern. Das macht den Service zugänglich und bequem.
Echtzeit-Status-Updates
Egal ob es um eine Bestellung, den Versand einer Lieferung oder den Bearbeitungsstatus einer Anfrage geht – der Chatbot kann den Kunden in Echtzeit informieren, ohne dass dieser lange suchen oder anrufen muss.
Mehrsprachigkeit
Um internationale Märkte zu bedienen oder eine vielfältige Kundschaft anzusprechen, kann der Chatbot in mehreren Sprachen kommunizieren. Das stärkt das Vertrauen und die Reichweite.
Feedback-Schnittstelle
Der Chatbot kann nach einer Interaktion um Feedback bitten. Das liefert wertvolle Einblicke in die Kundenzufriedenheit und hilft, den Service kontinuierlich zu verbessern.
Nahtloser Übergang zu menschlichen Mitarbeitern
Wenn der Chatbot eine Anfrage nicht lösen kann, leitet er den Kunden intelligent an den richtigen menschlichen Ansprechpartner weiter – inklusive des Chat-Verlaufs. Das sorgt für einen reibungslosen Übergang und verhindert Frustration.
Phone Agents
Erweitern Sie den Chatbot um eine Sprachschnittstelle zur automatischen Bearbeitung von Anruferanfragen. So ist Ihr Kundenservice auch telefonisch rund um die Uhr verfügbar.
Schnittstellen zu Confluence, Office & Google Drive
Verbinden Sie den Chatbot direkt mit Ihren internen Wissensplattformen, um präzise auf Artikel, Dokumente und Spezifikationen zuzugreifen.
Einstellung für "Einfache Sprache"
Die Einfache Sprache verfolgt das Ziel, Texte und Inhalte so zu formulieren, dass sie von einer möglichst breiten Zielgruppe schnell, leicht und vollständig verstanden werden können. Sie ist ein Werkzeug für Barrierefreiheit und Inklusion, dessen Vorteile weit über Menschen mit Leseschwierigkeiten hinausgehen. Mit dem rms. Chatbot haben Sie die Möglichkeit alle Antworten auch in Einfacher Sprache auszugeben (konfigurierbar über das Chatbot Backend).
Retrieval Augmented Generation (RAG)
Vorteile von RAG
Sicherheit und Datenschutz
Bei RAG verbleiben firmeneigene Daten in der gesicherten Datenbankumgebung, was strengere Zugriffskontrollen ermöglicht. Beim Fine-Tuning werden die Daten ins Modelltraining integriert, was potenziell zu breiterem Datenzugriff führen kann
Kosten- und Ressourceneffizienz
Fine-Tuning ist rechenintensiv und zeitaufwendig, da es umfangreiche Trainingsphasen und Datenaufbereitung erfordert. RAG vermeidet diesen Trainingsaufwand, indem es die Daten dynamisch abruft, was kostengünstiger und schneller skalierbar ist
Aktualität und Zuverlässigkeit
RAG kann stets auf aktuelle Daten zugreifen und somit präzisere und vertrauenswürdigere Antworten liefern. Fine-Tuning basiert auf einem statischen Trainingsdatensatz und kann veraltetes Wissen enthalten.
Flexibilität
RAG eignet sich besonders gut für Anwendungen, bei denen sich die zugrunde liegenden Daten häufig ändern oder erweitert werden, ohne dass das Modell neu trainiert werden muss. Fine-Tuning ist besser für sehr spezifische, eng umrissene Aufgaben, erfordert aber bei jeder Datenänderungen ein erneutes Training
Ablauf einer RAG-Suche
Eingabe der Frage
Der Besucher gibt eine Frage oder Suchanfrage in das System ein.
Vektorisierung der Frage
Die Frage wird durch ein sogenanntes Embedding-Modell in einen Vektor umgewandelt, der die semantische Bedeutung der Frage repräsentiert.
Semantische Ähnlichkeitssuche
Die Vektordatenbank wird mit dem Fragevektor abgefragt, um die semantisch ähnlichsten Dokumente oder Textpassagen zu finden.
Ausgabe der relevantesten Ergebnisse
Die X relevantesten Dokumente (z. B. Top 5 oder Top 10) werden aus der Vektordatenbank zurückgegeben.
Kombination von Frage, Kontext und Prompt
Die ursprüngliche Frage, die gefundenen Dokumente und ein Prompt (Aufgabenstellung) werden an das Sprachmodell (LLM) übergeben.
Verarbeitung durch das Sprachmodell
Das LLM generiert basierend auf der Frage und den Kontextinformationen eine Antwort.
Ausgabe der Antwort
Die generierte Antwort wird dem Nutzer präsentiert. Bei Bedarf werden Links zu relevanten Quellen/Seiten hinzugefügt.
Datenschutz
Mittels RAG kann das Datenmanagement zu 100 % gesteuert werden. Es sind beispielsweise die folgenden Szenarien abbildbar. Es ist auch möglich, eigene API-keys zu verwenden.
API - OpenAI
Speicherung aller vektorisierten Daten lokal in einer Vektordatenbank Verarbeitung der Daten (relevante Ergebnisse, Frage, Prompt) innerhalb eines Sprachmodells von OpenAI (GPT4, GPT4-mini, GPT4-nano)
API - Gemini
Speicherung aller vektorisierten Daten lokal in einer Vektordatenbank Verarbeitung der Daten (relevante Ergebnisse, Frage, Prompt) innerhalb eines Sprachmodells von Gemini.
API - Ionos
Opensource-LLMs, Hosting in Deutschland Speicherung aller vektorisierten Daten lokal in einer Vektordatenbank Verarbeitung der Daten (relevante Ergebnisse, Frage, Prompt) innerhalb eines Opensource-Sprachmodells, welches von Ionos in Deutschland gehostet wird (Llama 3.1 8B Instruct, Mistral 7B Instruct, Code Llama 13B Instruct, …)
Dedizierter KI-Server – Z.B. Hetzner (Opensource-LLMs, Hosting in Deutschland)
Speicherung aller vektorisierten Daten lokal in einer Vektordatenbank Verarbeitung der Daten (relevante Ergebnisse, Frage, Prompt) innerhalb eines Opensource-Sprachmodells, welches auf einem dedizierten Server betrieben wird (phi4, Llama 3.1 8B Instruct, Mistral 7B Instruct, Code Llama 13B Instruct, bzw. alle mit llama kompatiblen Modelle
Lokaler KI-Server – (Opensource-LLMs, Hosting in eigenem RZ / Netzwerk)
Speicherung aller vektorisierten Daten lokal in einer Vektordatenbank Verarbeitung der Daten (relevante Ergebnisse, Frage, Prompt) innerhalb eines Opensource-Sprachmodells, welches auf einem eigenen Server betrieben wird (phi4, Llama 3.1 8B Instruct, Mistral 7B Instruct, Code Llama 13B Instruct, bzw. alle mit llama kompatiblen Modelle