Document AI: Funktionsweise, Zuverlässigkeit & Datensicherheit

Bevor wir loslegen: Was ist Document AI?

Wenn wir in diesem Artikel von Document AI sprechen, meinen wir Chatbots, die Large Language Models (normalerweise GPT) verwenden, um interne Dokumente zu verarbeiten. In der Regel handelt es sich dabei um Dokumente, die nicht für die Öffentlichkeit zugänglich sind, wie zum Beispiel E-Mails, Verträge oder Patente. Wenn deine AI für Dokumente auf GPT basiert, kann sie auch als Document GPT bezeichnet werden.

Und was sind Large Language Models?

Ein Large Language Model (kurz LLM) ist eine Art künstliches Intelligenzsystem, das entwickelt wurde, um menschenähnlichen Text in großem Umfang zu verstehen und zu erzeugen. Das Besondere an LLM-basierten Chatbots ist ihre Fähigkeit, natürliche Sprache zu verstehen und zu erzeugen. Es fühlt sich eben an wie ein echtes Gespräch. Das aktuell bekannteste LLM ist GPT. Das steht für "Generative Pre-trained Transformer" und bezieht sich auf eine spezielle Architektur künstlicher neuronaler Netze, die von OpenAI entwickelt wurde. OpenAI arbeitet schon seit einiger Zeit damit, aber mit der Veröffentlichung des KI-Chatbots "ChatGPT-3" Ende 2022 hat es den Massenmarkt erreicht.

Wie können Unternehmen von Document AI profitieren?

Auch im Mittelstand wird inzwischen viel mit KI experimentiert. Doch das beschränkt sich häufig auf die Optimierung des Kerngeschäfts (smarte Produkte, IIoT in der Produktion, etc.). Mit Document AI kann der Mittelstand KI auch für interne Abläufe und Prozesse einsetzen - indem internes Wissen zugänglicher gemacht und effizienter genutzt wird. KI für Dokumente kann zahlreiche Prozesse beschleunigen bzw. vereinfachen, zum Beispiel:

...beim Onboarding

... im Vertrieb

...bei der Wartung

... für Rechtsauskünfte

...im Kundenservice

Der beste Anwendungsfall für Document AI hängt von mehreren Faktoren ab. Fülle diesen Fragebogen aus, um ein individuelles Assessment zu erhalten wo für dein Unternehmen das größte Potential liegt.

Bis dato hat sich deren Digitalisierung für Mittelständler oft nicht gelohnt. Denn um die benötigte Qualität eines Chatbots für Docment AI zu entwickeln, war ein sehr hoher Entwicklungsaufwand nötig. Im Verhältnis zu der Anzahl der Vertriebler, Kundendienstler und Co. wären die Kosten dafür nicht im Verhältnis gestanden. Mit GPT hat sich das jetzt geändert.

Die Vorteile von Document AI

Ein Document AI Tool, das interne technische Dokumente verarbeitet und indiziert, kann viel Zeit und Ressourcen sparen. Denn: Es dauert lang, das richtige Dokument zur Beantwortung der Anfrage zu finden. Laut dieser dieser McKinsey-Studie verbringen Fachkräfte 19% ihrer Arbeitszeit damit, Infomationen zu suchen und sammeln. Die Dokumente sind schwer verständlich - es braucht einen Profi, um überhaupt zu verstehen, was für Handlungen abgeleitet werden müssen… und meistens stehen relevante Information an verschiedenen Stellen. Das sind Dinge, die GPT gut kann:

• Document GPT kann relevante Information schnell finden.
• Eine intelligente Dokumentsuche kann alle relevanten Informationen bündeln, auch wenn sie an anderen Stellen oder in anderen Dokumenten stehen.
• Bei Bedarf, können Informationen verständlicher formuliert werden. GPT kann auch Fachjargon übersetzen. Gerade für Neustarter/Laien ist das sehr hilfreich.

Darüber hinaus sind Document AI-Dienste rund um die Uhr verfügbar und übernehmen "lästige" Aufgaben. Das Durchsuchen von Dokumenten wird im Allgemeinen als eine weniger inspirierende Aufgabe angesehen. Stattdessen können sich die Mitarbeiter auf spannende Fragen (Problemlösung, Produktinnovation usw.) konzentrieren.

Ok, und wie funktioniert Document AI?

Die Vorteile von Document AI liegen auf der Hand. Deshalb bieten einige Anbieter inzwischen PoCs dafür an. Sie verfolgen im Grunde alle denselben Ansatz und nutzen ein vor-trainiertes Sprachmodell (ein LLM), um Antworten auf Basis von einem bestimmten Dokument oder Absätzen zu generieren. Das geht wie folgt:

Vorverarbeitung: Das Dokument oder der Abschnitt wird vorverarbeitet, um unnötige Formatierungen zu entfernen und es in kleinere, überschaubare Segmente wie Absätze oder Sätze zu unterteilen.

Indexierung: Diese Segmente werden dann mit einem Einbettungsmodell codiert und in einer Datenbank wie Pinecone gespeichert.

Kodierung der Frage: Die gestellte Frage wird mit demselben Einbettungsmodell codiert.

Kontextuelle Suche: Normalerweise wird dann die Einbettung der Frage mit den Einbettungen der Segmente verglichen, um relevante Kontexte zu identifizieren. Fortgeschrittenere Ansätze verwenden hier mehrere Suchmethoden.

Formatierung der Eingabe: Die codierte Frage und Kontextsegmente werden konkateniert und zu einer einzigen Aufforderung formatiert. Im Grunde genommen wird das LLM gebeten, die folgende Frage auf Basis des folgenden Kontexts zu beantworten.

LLM-Abfrage: Schließlich wird das Modell aufgefordert, die Antwort auf Basis des bereitgestellten Kontexts formulieren.

Moderation (optinal): Die meisten Lösungen enthalten diesen Teil noch nicht. Du solltest aber erwägen, eine Moderation hinzuzufügen, die die Antwort auf Verstöße gegen die Richtlinien überprüft.

Auch bei Motius gehen wir eine solche GPT Anwendung, die nach diesem Prinzip vorgeht.

Wie gewährleistet Document AI Genauigkeit über längere Zeiträume , wenn sich die Art der Dokumente und die Sprache weiterentwickeln? KI für Dokumente behält ihre Genauigkeit im Laufe der Zeit durch kontinuierliches Lernen und Aktualisierungen bei. Sie passt sich an neue Dokumentenformate, Sprachen und Terminologien an, indem sie mit neueren Datensätzen trainiert wird.

Herausforderungen für Document AI

So weit, so gut. Es gibt aber - wie immer - auch Herausforderungen. Und für diese gibt es aktuell deutlich weniger Lösungsansätze. Da wir schon seit Jahren mit LLMs arbeiten, haben wir uns zu diesen Herausforderungen im Zusammenhang mit Document AI schon gründlich Gedanken gemacht:

→ Verlässlichkeit der Ausgabe: Wenn man nach dem oben erklärten Schema vorgeht, ist es für die Korrektheit der Antwort essenziell den “richtigen” Paragraphen zu finden. Ohne den Absatz, der für die Beantwortung der Frage relevant ist, gibt es auch keine sinnvolle (darauf basierende) Antwort. Wir empfehlen neben der regelmäßig genutzten "Embedded Search” auch eine herkömmliche “Keyword Search” zu verwenden. Das erhöht in erfahrungsgemäß deutlich die Zuverlässigkeit des Outputs eines Document AI Tools.

→ Saubere Einbettung: Document AI in die existierende Infrastruktur einzubetten, ist häufig nicht trivial. Neben einer fragmentierten Tool-Landschaft ist dafür auch gutes Accessmanagement sehr wichtig. Einzelne Tools, wie sie jetzt gerade überall auftauchen, sind nicht auf deine (Beriebs-)Umgebung abgestimmt. Ein maßgeschneidertes, auf das jeweilige Unternehmen abgestimmtes Tooling erhöht deutlich die Sicherheit. Bei Motius haben wir schon einige Einbettungen begleitet und dabei eine Document AI Lösung entwickelt, die schnell und passgenau auf deine Umgebung zugeschnitten werden kann.

→ Datensicherheit: Wer in seinem intellgenten Tool zur Dokumentdurchsuchung sensitive Daten verarbeitet, muss deren Sicherheit gewährleisten. Dafür gibt es zahlreiche Gründe von DSGVO Regelungen über ethische Bedenken bis hin zum Schutz der Reputation. In unserer Erfahrung lässt sich das am besten sicherstellen, indem du schon im Vorhinein ein ausführliches Assessment deiner Datensicherheitsanforderungen durchführst.

Document AI für sensible  Anwendungen

Die Genauigkeit der Ausgabe, die sichere Zugriffsverwaltung und die Datensicherheit sind für einige Bereiche besonders wichtig, zum Beispiel für juristische oder medizinische Anwendungen. Bei solchen Suchwerkzeugen für künstliche Intelligenz ist es entscheidend, dass nur bestimmte Personen Zugang zu den Daten haben und dass die Informationen oder Entscheidungen nachvollziehbar sind. Es muss klar sein, auf welchen Informationen die Entscheidungen beruhen, und natürlich muss sichergestellt sein, dass sie korrekt sind.

Wie oben erwähnt, sehen wir Möglichkeiten, diese Punkte zu gewährleisten. Wenn jedoch die Zertifizierbarkeit wichtig ist, können sogenannte Wissensgraphen ein besserer Ansatz für Ihr Document AI Tool sein, entweder zusätzlich oder allein.

Ein Knowledge Graph ist eine semantische Datenstruktur, die Wissen in Form von Entitäten, Attributen und Beziehungen zwischen diesen Entitäten darstellt. Dies ermöglicht es, Informationen so zu organisieren, dass sie für Menschen und Maschinen lesbar sind. So kann der Mensch die Informationen überprüfen, bevor sie für den Bot freigeschaltet werden. Das bedeutet, dass die von der KI aus den Dokumenten extrahierten Verbindungen überprüft werden können, bevor sie dem Benutzer zur Verfügung gestellt werden.

Mit LLMs wie GPT kann man kontextbewusste Knowledge Graphs entwickeln und somit Falschaussagen eines Document AI Tools ausschließen. Außerdem ist klar nachvollziehbar, auf welchen Entitäten eine Antwort basiert. Also zum Beispiel, welche juristischen Präzedenzfälle der Entscheidung zugrunde liegt, die die Maschine getroffen hat.

Womit wir bei der letzten Herausforderung wären, die wir weiter oben angesprochen haben: die Datensicherheit. Welche spezifischen Techniken werden eingesetzt, um den Zugriff auf sensible Dokumente, die von Document AI-Systemen verarbeitet werden, zu verwalten und zu beschränken? Der Zugriff auf sensible Dokumente wird durch Verschlüsselung, rollenbasierte Zugriffskontrollen und sichere Datenspeicherung geregelt. Dadurch wird sichergestellt, dass nur autorisierte Benutzer auf bestimmte Dokumente zugreifen können.

Abhängig von deinen Datensicherheitsanforderungen, gibt es verschiedene Wege, um deine Datensicherheit zu gewährleisten. Wenn du Daten verarbeitest, die das Unternehmen nicht verlassen dürfen, musst das Deployment vor Ort vonstattengehen. Wenn deinen Daten das Unternehmen und auch Europa verlassen dürfen, kannst du das auch mit einem kommerziellen Cloud-Anbieter abwickeln. Das ist allerdings oft nicht der Fall. In diesen Fällen solltest du überprüfen, ob deine Daten mit einem kommerziellen Cloud-Anbieter aus Europa verarbeitet werden darf. Auch keine Option? Dann empfehlen wir ein VPC Deployment.

LLMs im Unternehmen

Large Language Models wie GPT werden vieles verändern - besonders für Mittelständler sind LLMs eine Chance, um die Digitalisierung verhältnismäßig einfach voranzutreiben. Mit Document AI auf Basis von GPT oder anderen LLMs können bisher überproportional ressourcenintensive Prozesse beschleunigt werden und für wertstiftendere Prozesse genutzt werden. Angesichts des zunehmenden Fachkräftemangels können Prozesse mit Hilfe von LLMs schneller und effizienter durchgeführt werden. Dies setzt nicht nur Kapazitäten frei, sondern schafft auch ein attraktiveres Arbeitsumfeld, da Mitarbeiter repetitive oder langweilige Aufgaben auslagern können. Ein nicht zu unterschätzender Wettbewerbsvorteil im berüchtigten "War for Talents".

Es gibt jedoch einige Herausforderungen, die Sie bei der Erstellung einer KI für (interne) Dokumente im Auge behalten sollten. Wir können Ihnen helfen, eine zuverlässige Ausgabe und ein wasserdichtes Zugriffsmanagement zu gewährleisten. Lassen Sie uns einen wertschöpfenden Anwendungsfall für LLMs in Ihrem Unternehmen definieren und implementieren