Im Rahmen der twinformatics-Innovationsentwicklung wurde ein bedeutender Meilenstein erreicht: Der neue Service “ID-Extractor” ging erfolgreich an den Start. Ziel war es, manuelle Aufwände im Fachbereich signifikant zu reduzieren – insbesondere im Kontext der Geldwäscheprävention im Lebensversicherungsgeschäft.
Der Service kommt sowohl für die Wiener Städtische als auch die DONAU Versicherung zum Einsatz.
Die Entwicklung startete im Juni 2024 und erfolgte in enger Zusammenarbeit zwischen twinformatics, dem inhouse-Startup der Wiener Städtischen viesure und dem zuständigen Fachbereich der Versicherungen. Noch vor Jahreswechsel konnte der Go-Live stattfinden, begleitet von einer zweimonatigen Hypercare-Phase.
Anwendungsfall: Know Your Customer (KYC) im Lebensversicherungsgeschäft
Ein alltägliches Szenario: Ein:e Kund:in besucht eine Filiale, um ein neues Versicherungsprodukt abzuschließen. Dabei wird ein amtlicher Lichtbildausweis benötigt, der von Mitarbeitenden vor Ort eingescannt und zusammen mit den restlichen Antragsunterlagen an die Versicherung übermittelt wird. Im Rahmen der nachgelagerten elektronischen Verarbeitung durchsucht unser System die übermittelten Dokumente der Lebensversicherungssparte automatisiert nach Ausweisen.
Hier kommt der neue Service “ID-Extractor” ins Spiel: Er wird über das Dokumentenmanagementsystem (DMS) aufgerufen, scannt die Dokumente und extrahiert relevante Daten.
Wird ein Ausweis erkannt, wird der jeweilige Geschäftsfall automatisch mit den extrahierten Daten angereichert.
Technische Details
Pre-Processing und Extraktion
- Neue Fälle werden über DMS per REST API eingereicht und anschließend asynchron über verarbeitet.
- Akzeptiert werden verschiedene Image-Typen, Zip-Dateien sowie PDFs.
- Für die Weiterverarbeitung werden die oben genannten Dateien auf eine Liste von Images heruntergebrochen.
- Die nicht-Bild-Dateien werden nach Bildern durchsucht, diese im Anschluss aus der Ursprungsdatei extrahiert.
- Die Klassifizierung, ob ein Bild einen Ausweis enthält, erfolgt durch eine Kombination aus Postgres Vector DB und einer KI von Google:
- Zunächst wird ein Embedding des Dokuments durch den Vertex-AI Online Prediction Service erzeugt.
- Dieses Embedding wird mithilfe eines Cosine Similarity-Algorithmus mit einer Vielzahl zuvor gelabelter Kandidaten verglichen.
- Der ermittelte Similarity-Score entscheidet über die finale Klassifikation: Ausweis oder Nicht-Ausweis.
- Im nächsten Schritt erfolgt die eigentliche Datenextraktion:
- Die identifizierten Ausweisdokumente werden an verschiedene externe Services übergeben, um fehlende Informationen zu ergänzen.
- Zum Einsatz kommen hierbei ein Google Gemini LLM sowie die Google Vision API (klassische optical character recognition, OCR).
KASTEN
Gerade im Finanzumfeld ist es besonders wichtig, verantwortungsvoll mit sensiblen Kundendaten umzugehen. Sowohl Software als auch KI ersetzen daher den Menschen im Loop nicht sondern erledigen nur Routinearbeiten. Die Aufsicht, was genau passiert, liegt immer bei Mitarbeiter:innen
Post-Processing: Qualität sichern
Um die extrahierten Daten an die realen Anforderungen anzupassen, wird ein Post-Processing-Vorgang durchgeführt. Dabei kommen dutzende Regeln zur Anwendung, um typische Fehlerquellen zu korrigieren.
Beispiele:
- Aus „LISA MULLER“ wird „LISA MÜLLER“
- Datumsangaben werden in das gewünschte Format überführt
- Akademische Titel werden korrekt dem Vor- bzw. Nachnamen zugeordnet oder entfernt
Dank dieses Schritts konnte die Quote der korrekt extrahierten Ausweisdaten von 75 % auf 95 % gesteigert werden.
Grounding: AI-Training durch manuelle Annotation
Ein zentraler Bestandteil des Projekts war der Aufbau einer belastbaren Ground Truth, um die Systeme effizient trainieren und evaluieren zu können. Dafür wurde eine eigene Labeling UI entwickelt.
Labeling Episode 1: Dokumente
- In der ersten Phase wurden 5.000 Dokumente manuell annotiert.
- Rund 1.000 davon enthielten Ausweisdaten.
- Ein Teil dieser Dokumente wurde für Testzwecke verwendet:
- In API-Tests wird geprüft, ob die Extraktionsergebnisse den annotierten Ground-Truth-Daten entsprechen.
- Im Bereich Prompt Engineering dienen ausgewählte Annotationen als Beispiele für Systemprompts.
Laufende Optimierung und Herausforderungen
Problem: Overfitting durch Prompt Engineering
Ein zentrales Risiko von Prompt-basierten LLM-Anwendungen ist das sogenannte Overfitting auf eine spezifische Modellversion und ein bestimmtes Testdaten-Set. Da LLMs von den Anbietern regelmäßig aktualisiert werden – ohne garantierte Rückwärtskompatibilität – können sich die Extraktionsergebnisse ungewollt verschlechtern.
Lösungsansatz: Modell-Finetuning
Um dem entgegenzuwirken, setzen wir auf modellbasiertes Fine-Tuning über eine Google-KI. Voraussetzung dafür ist eine noch präzisere Ground Truth oder: mehr Labeling
Labeling Episode 2: Einzelbilder
Statt ganzer Dokumente werden nun einzelne Images innerhalb der Dokumente annotiert. Dadurch können die Modelle gezielter trainiert und generalisiert werden – unabhängig vom Dokumenttyp oder -layout.
Über mich: Nico Sonntag
Als leidenschaftlicher Software Engineer fühle ich mich am wohlsten, wenn es um Prozessautomatisierung im Allgemeinen und um Machine-Learning-Themen im Besonderen geht. Mein Lieblingsgesprächsthema sind Finanzmärkte – und die Kombination all dieser Interessen bereitet mir die größte Freude.
Im der twinformatics habe ich die Möglichkeit, meine Leidenschaft in greifbare und effiziente Produkte zu verwandeln, die unseren Kunden echten Mehrwert bieten.
Wenn neben Arbeit und der wertvollen Zeit mit meiner Familie noch etwas Platz ist, findet man mich entweder im Thai-Box-Studio, draußen in der Natur oder mit dem Kopf zwischen zwei Buchhälften.
