Agentur für
Markenkommunikation
In der schnelllebigen Welt des Marketings ist es entscheidend, schnell auf Fragen zu antworten und fundierte Entscheidungen zu treffen. Doch wie können wir sicherstellen, dass das Team immer Zugang zu den richtigen Informationen hat? Die Antwort liegt in der Kombination von KI und bestehendem Wissensmanagement. In diesem Artikel teilen wir unsere ersten Gedanken dazu, wie man mit KI-Sprachmodellen und Retrieval Augmented Generation (RAG) Projektdaten effizienter nutzen kann – ohne sensible Daten aus der Hand zu geben.
„Wie haben wir das damals in dem Projekt genau gemacht, liebes Daten-Archiv?“
Habt ihr sowas schon mal eine KI gefragt?
- „Liste mir alle Kampagnen-Headlines auf, die wir in den letzten fünf Jahren für den Kunden XYZ getextet haben!“
- „Welche Media-Kanäle haben wir damals im Kampagnen-Konzept für den Kunden empfohlen – mit welchen Budgets, Laufzeiten und KPIs?“
- „Welche Optimierungsempfehlungen lassen sich aus allen Reportings zum Thema YZ für zukünftige Kampagnen ableiten?“
Das Befragen eigener Daten in Chat-Form klingt vielversprechend. Geht sowas mithilfe von KI?
Durch den allgegenwärtigen Einsatz von KI-Sprachmodellen und die Möglichkeit,
sie mit eigenen Datenbeständen zu verbinden (Stichwort „RAG“ = retrieval augmented generation),
scheint das heutzutage machbar zu sein. Oder nicht? Wir wollen es wissen.
Schlaue Hinweise für neue Projekte erhalten und Projekt-Wissen vor dem Vergessen bewahren
Im Agenturgeschäft verbringen wir nicht wenig Zeit mit der Analyse eigener Daten. Neue Kunden-Aufträge und Projekte tragen manchmal ähnliche Aufgabenstellungen, Verläufe oder konzeptionelle Fragen und Denkmuster in sich wie bereits Umgesetzte.
Beschreiben statt benennen: mit KI neue Antworten finden statt suchen
Aber wonach sucht man eigentlich? Welches Projekt war das damals doch gleich? Unter welchem Arbeitstitel wurde das gespeichert? Welches Dateiformat? Wann genau? Welcher Kunde? etc.
Hier stießen Suchanfragen im klassischen MacFinder oder Windows Explorer schnell an ihre Grenzen. KI-gestützte Suche kann helfen, freier zu denken und vom abstrakten inhaltlichen Kontext zur konkreten Antwort zu gelangen.
Und: Nicht immer muss man das Rad neu erfinden und kann bereits erfolgreich erprobte Ideen neu interpretieren oder darauf aufbauen. Oder wichtige Grundlagen nicht erneut recherchieren müssen. Mehr Zeit für Wertschöpfung und Kerngeschäft also.
Aber: über die Jahre ist es schwierig, dieses Wissen in den Köpfen der Mitarbeitenden zu „speichern“ bzw. neuen Kolleginnen und Kollegen überhaupt zugänglich zu machen.
Da wäre ein KI-Chatbot, der zum Beispiel neuen Mitarbeiter:innen bei der Einarbeitung hilft, wertvoll.
Technische Umsetzung: wie einfach ist „RAG“?
Große Sprachmodell-Anbieter wie OpenAI bieten es mittlerweile an. Einfach den Google Drive oder andere Cloud-Dienste mit ChatGPT verbinden – fertig.
Wie eine Retrieval Augmented Generation technisch genau funktioniert, lässt sich zum Beispiel beim Fraunhofer Institut nachlesen.
Für uns war wichtig: Datenhoheit und Datenschutz müssen gewährleistet bleiben. Sensible Daten verlassen nicht unsere Server und verbleiben inhouse.
Open WebUI als technisches Zuhause
Daher haben wir uns für die Nutzung von „Open Web UI“ entschieden.
„Open WebUI“ ist eine benutzerfreundliche, erweiterbare und funktionsreiche Open-Source-Plattform für künstliche Intelligenz (KI), die vollständig offline (Anm. W&S: bzw. im eigenen Firmennetzwerk) betrieben werden kann. Sie unterstützt verschiedene Large Language Models (LLM)-Laufzeitumgebungen wie Ollama und APIs, die mit OpenAI kompatibel sind.“ (Quelle: https://www.dkd.de/de/glossar/openwebui/)
Die Vorteile:
- unsere Projektdaten verbleiben in sicherer Umgebung auf unserer Hardware und trotzdem können wir KI-Sprachmodelle „einladen“ oder selbst lokal betreiben, um auf diesen Daten mit ihnen zu chatten.
- Open WebUI wurde nicht von einem einzelnen Unternehmen gegründet, sondern ist ein Community-getriebenes Open-Source-Projekt. Vollständige Kontrolle und Unabhängigkeit von großen Cloud-Anbietern sowie Erweiterbarkeit und Benutzerfreundlichkeit stehen im Fokus.
So verantwortungsvoll wie möglich: Einsatz europäischer KI-Lösungen
Im Moment bieten wir unseren Mitarbeitenden 6 Sprachmodelle zur Nutzung über OpenWeb UI an:
- drei ChatGPT-Modelle von OpenAI sowie
- drei Modelle des französischen Anbieters Mistral.
Die Maßgabe dabei lautet: die erste Wahl sollte immer ein Mistral-Modell sein. Nur wenn Ergebnisse nicht zufriedenstellend ausfallen, sollen die Nutzenden auf ChatGPT-Lösungen ausweichen. Und: Interne Dokumente werden generell nur mithilfe von Mistral befragt, um Datenübertragungen in die USA auszuschließen.
Warum: wir wollen von Beginn an versuchen, europäische KI-Kompetenz zu stärken. Auch wollen wir den aktuell kritischen Entwicklungen in den USA Rechnung tragen was die Nähe der großen Tech-Konzerne wie u.a. OpenAI zur Regierung Trump angeht.
Aller Anfang ist schwer, aber vielversprechend
Seit etwas über einem Jahr sind wir jetzt mittendrin in der Thematik und haben Ernüchterungen, Erkenntnisse und Aha-Erlebnisse hinter uns. Für den Einstieg soll es hier reichen. Fortsetzung folgt. Schreibt uns gerne Eure Fragen oder eigene Erfahrungen.
