Von der Idee zur Lösung: Sichere KI im Unternehmen

KI-Projekte versprechen bemerkenswerte ROIs bei rekordverdächtig kurzen Implementierungszeiten. Gleichzeitig sehen sich Unternehmen aber mit den Herausforderungen wie Fachkräftemangel oder Datensicherheit konfrontiert. In unserem kürzlichen Webinar zum Thema «Generative KI in industriellen Lösungen» gingen wir auf diese Herausforderungen ein und zeigten ein Lösungsdesign für massgeschneiderte KI-Lösungen im eigenen Unternehmensumfeld ein. 

Nach dem 2023 von ChatGPT ausgelösten Hype für generative KI sind sehr viele Unternehmen am Überlegen und Austesten, inwieweit KI in jeweiligen Unternehmenskontext eingesetzt werden kann. Die meisten Unternehmen sind testen zwar ChatGPT Anwendungen im Internet, tun sich aber noch schwer, die erlebten Möglichkeiten in den eigenen Unternehmenskontext zu übertragen. 

So gaben in unserem letzten Webinar (Mai 2024)  rund drei Viertel der Unternehmen an, mit ChatGPT oder Microsoft CoPilot für Microsoft 365 zu experimentieren. Jedoch gaben nur rund 5% der Teilnehmenden an, eigene Lösungen mit Integration von generativer KI zu entwickeln. Warum das so ist aber nicht so bleiben muss, welche Möglichkeiten auch KMU Unternehmen haben eigene, sichere und mit firmeninternen Wissen trainierte KI Lösungen zu bauen - Antworten dazu in unserem Webinar. In diesem Blog finden Sie die wichtigsten Ansätze zu KI Lösungen aus dem Webinar zusammengefasst. 

Hier geht’s zur Aufzeichnung unseres Webinars: «Wie baut man generative KI und LLMs in industrielle Lösungen ein?»

Profitable KI-Projekte können in 6-12 Monaten profitabel umgesetzt werden

Im gleichen Kontext wie die Fragestellung in unserem Webinar kam eine weltweite Studie von IDC aus dem Jahre 2023 mit über 2000 beteiligten Unternehmen zu bemerkenswerten Erkenntnissen, die das grosse Potential unterstreichen:

Return on Investment (ROI) von 3.5: Ein bemerkenswerter Aspekt der Studie ist der positive ROI, den Unternehmen durch ihre KI-Investitionen erzielen. Für jeden Dollar, der in KI investiert wird, realisieren Unternehmen durchschnittlich einen Return von 3,5 Dollar. Dies zeigt, dass Investitionen in KI-Lösungen langfristig zu erheblichen finanziellen Vorteilen führen​​. Zudem deutet dieses Resultat darauf hin, dass es genügend lukrative Potentiale gibt.

Verkürzte Implementierungszeiten (12 Monate): Die Implementierungszeiten für KI-Projekte sind relativ kurz. 92 % der KI-Einführungen werden innerhalb von 12 Monaten abgeschlossen, und 40 % der Organisationen benötigen weniger als 6 Monate. Diese schnelle Implementierung ist möglich, weil bei der Lösungsentwicklung vermehrt auf flexible standardisierte PaaS Modelle («Platform as a Service») wie AI on Azure ​von Microsoft gesetzt wird.

Fachkräftemangel als Haupt-Hindernis bei der KI-Implementierung: Obwohl die Vorteile offensichtlich sind, stehen Unternehmen bei der Implementierung von KI auch vor Herausforderungen. Zu den grössten Hindernissen gehören der Mangel an qualifizierten Arbeitskräften, hohe Kosten und Bedenken hinsichtlich der Datensicherheit

Die Implementierung von KI-Lösungen: Von der Idee bis zum Betrieb

Die Implementierung von KI-Lösungen in Unternehmen ist ein komplexer Prozess, der in mehrere Phasen unterteilt werden kann. Jede Phase hat ihre eigenen spezifischen Anforderungen und Ziele, die erfüllt werden müssen, um eine erfolgreiche Integration zu gewährleisten. Dieser Blogbeitrag führt durch die logische Abfolge der Schritte von der Konzeption über die Bereitstellung bis hin zu den Betriebs-Services.

Anwendungs- und Lösungsdesign

Der erste Schritt bei der Implementierung von KI-Lösungen ist das Anwendungs- und Lösungsdesign. Hier werden die grundlegenden Rahmenbedingungen und Ziele definiert:

• Design des Lösungsportfolios: Zunächst wird ein umfassendes Lösungsportfolio entworfen, das alle geplanten KI-Anwendungen und deren Funktionen umfasst.
• Definition der Wertschöpfung: Die spezifischen Mehrwerte, die durch den Einsatz der KI-Lösungen geschaffen werden sollen, werden klar definiert. Dies kann die Effizienzsteigerung, Kostensenkung oder Verbesserung der Produktqualität umfassen.
• Datenlandschaft: Eine detaillierte Analyse der vorhandenen Datenlandschaft wird durchgeführt, um die erforderlichen Datenquellen und -strukturen zu identifizieren.
• Agile Entwicklung (Prototyping): In dieser Phase werden agile Methoden wie Prototyping eingesetzt, um schnell erste Ergebnisse zu erzielen und das Lösungskonzept iterativ zu verbessern.
• Weiterentwicklung: Basierend auf den Ergebnissen des Prototypings wird die Lösung kontinuierlich weiterentwickelt und optimiert.

Bereitstellung der Lösung

Nach der Designphase folgt die Bereitstellung der Lösung. Diese Phase konzentriert sich auf die technische Implementierung und das Setup der Infrastruktur:

• Standardisierte Cloud-Umgebung**: Es wird eine standardisierte Cloud-Umgebung geschaffen, die die Erstellung und den Betrieb eines wachsenden Portfolios an KI-Lösungen ermöglicht.
• AI on Azure**: Die Nutzung von Azure als Plattform bietet zahlreiche Vorteile wie Skalierbarkeit, Integrierbarkeit, Sicherheit und Compliance. Azure stellt sicher, dass die Lösungen performant sind und den hohen Anforderungen an Datenschutz und Sicherheit entsprechen.

Betriebs-Services

Nach der Bereitstellung der Lösung geht es darum, den Betrieb sicherzustellen und kontinuierlich zu überwachen. Dies umfasst mehrere wichtige Aspekte:

• Plattform-, Integrations- und Schnittstellen-Management**: Sicherstellung, dass alle Komponenten der Lösung nahtlos integriert sind und effizient zusammenarbeiten.
• Performance-, Qualitäts- und Security-Monitoring**: Laufende Überwachung der Performance, Qualität und Sicherheit der Lösungen, um sicherzustellen, dass sie den festgelegten Standards entsprechen.
• Versions-Management**: Verwaltung der verschiedenen Versionen der KI-Anwendungen, um sicherzustellen, dass Updates und Änderungen reibungslos durchgeführt werden können.
• Weiterentwicklung**: Kontinuierliche Weiterentwicklung der Lösungen basierend auf Feedback und sich ändernden Anforderungen.
• Consumption-Management**: Überwachung und Management des Ressourcenverbrauchs, um Kosteneffizienz zu gewährleisten.

Durch diesen strukturierten Ansatz können Unternehmen sicherstellen, dass ihre KI-Lösungen nicht nur effizient und effektiv implementiert, sondern auch langfristig erfolgreich betrieben werden. Von der ersten Konzeptidee bis hin zur kontinuierlichen Weiterentwicklung bieten diese Phasen einen klaren Fahrplan für den erfolgreichen Einsatz von KI in der Unternehmenspraxis.

Konzeption der Wertschöpfung mit KI-Lösungen im Unternehmen

Die Integration von Künstlicher Intelligenz (KI) in Unternehmensprozesse bietet vielfältige Möglichkeiten zur Wertschöpfung, indem sie Effizienz und Produktivität steigert. Diese Wertschöpfung kann in verschiedene Kategorien unterteilt werden, die jeweils spezifische Einsatzmöglichkeiten und Vorteile bieten. Zu diesen Kategorien gehören die Produktivität am Arbeitsplatz, Knowledge Systeme, Kommunikation, Prozesse und Analyse sowie Erkennen und Erfassen. Jede dieser Kategorien umfasst verschiedene Anwendungen, die dazu beitragen, Aufgaben zu automatisieren, Prozesse zu optimieren und wertvolle Erkenntnisse aus Daten zu gewinnen. Die folgende Tabelle bietet einen Überblick über die wesentlichen Bereiche und Beispiele für den Einsatz von KI-Lösungen:

Diese Kategorien verdeutlichen, wie vielfältig und umfassend die Einsatzmöglichkeiten von KI sind, um in unterschiedlichen Bereichen Mehrwert zu schaffen.

Die Integration von firmeninternem Wissen in KI-Lösungen

OpenAI hat uns mit ChatGPT einen sehr einfachen persönlichen Zugang zu KI zur Verfügung gestellt. Sehr schnell lassen sich relativ beeindruckende Resultate erzielen. Dazu steckt jedoch unter der Haube relativ viel mehr als für uns sichtbar ist. Unterschiedliche Komponenten vermögen sowohl unsere Input-Daten in unterschiedlichsten Formaten zu lesen und interpretieren, als auch unsere Absicht zu erkennen und darauf basierend eine Antwort zu generieren.

Von ChatGPT im Browser zur industrietauglichen Lösung

Wie transformieren wir dieses persönliche ChatGPT Erlebnis nun in eine industriegerechte Lösung um? Was sind die Herausforderungen dabei und wie werden diese gelöst?

Datenaufbereitung: Interne Quellen einbinden und Qualität sichern

• Verfügbare Large Language Models (LLM) sind mit generischem (Allgemein-)Wissen trainiert, die Spezialisierung bzw. der Fokus auf Use-Case-spezifisches Domänen- und Fachwissen ist somit nicht gegeben. Allerdings ist der Trainingsaufwand für ein eigenes LLM ist enorm hoch (Monate) und selten
  wirtschaftlich.
• Wie bringe ich das eigene, firmeninterne Wissen nun in guter Qualität in meine Lösung und kontrolliere so welche Informationsquellen den Antworten zu Grunde liegen und dass firmeninternes Wissen auch firmenintern bleibt?

Skalierbarkeit & Integrierbarkeit / Security & Compliance

Eine industrie-taugliche Lösung soll skalierbar sein und somit entsprechende Performance-Kriterien erfüllen können (große Datenmengen, Anzahl Anfragen, Verfügbarkeit, SLA).

• Die Lösung soll einfach integrierbar und erweiterbar sein, damit sie sich in Ihre Umgebung bzw. in Ihr Applikations-Ökosystem integrieren lässt.
• Die Lösung soll spezifische Security- und Compliance-Anforderungen erfüllen (Datenstandort, Identity & Access Management, etc.).

Datenaufbereitung mit "Retrieval Augmented Generation"

Eine einfache Abfrage an eine KI-Lösung besteht aus einem Prompt (der Anfrage z.B. in einem Chat), einem Sprachmodell (LLM), welches in der Lage ist, Sprache zu verstehen und mit seinem vortrainierten Wissen eine Antwort zu generieren. Um spezifisches Fachwissen einzubeziehen, welches über die Trainingsdaten hinausgeht, bauen wir in diesen Ablauf einen weiteren Schritt ein.

Retrieval Augmented Generation ermöglicht es, zusätzliche Informationen in die Anfrage einzufügen. Diese Daten werden im LLM nicht gespeichert, sondern lediglich zur Anreicherung der Anfrage verwendet. Dieser Ansatz erfordert folgende Schritte:

Aufbereitung des Fachwissens

• Datenqualität sicherstellen: Qualitative Quelldaten, Noise Reduction, Trennen von Struktur/Inhalt relevanter Informationen vs. Metadaten.
• Loader: Geeignete Loader zur Interpretation dieser Daten.
• Splitting: Richtiges Schneiden der Daten (Abschnitte, Tabellen), Größe der Chunks, Overlap bei kontextabhängigen Daten.
• Embedding Modell: Identifizierung der relevanten Dimensionen und Vektorisierung der Eigenschaften.
• Speicherung: Wahl der passenden Vektordatenbank zur Performance-Optimierung, Speicherung von Metadaten, und Indexierung.

Einbindung der Daten

Eine Vektor-Datenbank stellt neben der Speicherung der Daten als Vektor eine Similarity-Search zur Verfügung. Hierbei werden Informationen gesucht, die inhaltlich nahe zur Benutzeranfrage liegen. Mit den resultierenden Daten wird die Benutzeranfrage angereichert und an das LLM weitergeleitet, welches daraufhin eine präzisere Antwort generiert.

Sicherstellung der Antwortqualität

LLMs sind nicht deterministisch. Um die erforderliche Qualität der generierten Antworten zu erreichen, werden entsprechende Testdaten eingesetzt. Diese dienen zur Evaluation der KI-Chain (Loader, Splitting, Embedding, Speicherung, Prompt, LLM). Das LLM bewertet die generierten Antworten selbst, um eine hohe Qualität sicherzustellen. Dieser iterative Optimierungsprozess stellt sicher, dass Datenqualität, Splitting und Embedding sowie die Systeminstruktionen den Anforderungen entsprechen.

Lösungsbereitstellung via Azure

Eine Enterprise-Level-Plattform birgt zusätzliche Komplexitäten, die sich optimal auf Azure abdecken lassen:

• Azure Tenant: Daten befinden sich in einem eigenen Tenant.

• Einsatz skalierbarer Azure Plattform Services (PaaS): Daten (Vektor DB, History), Applikation, Security (Schutz von Secrets), Backup.

• Schutz der Daten via Private Endpoints: Kontrolle des Zugangs.

• Integrierbarkeit via API Management und App Services.

• Skalierbarkeit durch Application Gateway.

• Sicherheit mittels KeyVault und Managed Identities.

Durch diesen strukturierten Ansatz können Unternehmen spezifisches Fachwissen datenschutzkonform einbinden und eine hochintegrierbare Lösung schaffen, die den Anforderungen moderner Unternehmensprozesse gerecht wird.

Von der Idee zur Lösung: Heute loslegen 

Gehen Sie mit AliceBlue und Netrics den Weg von der Idee zum produktiven Betrieb ihrer eigenen inhouse-KI Lösungen. Starten Sie mir einer Vertiefung der Möglichkeiten und evaluieren der eigenen Ziele und Prioritäten mit unserem "KI Envisioning" Workshop. Gleich hier anmelden oder einen Kontakt und mehr Informationen anfordern: https://www.aliceblue.ch/envisioning