redaktion42's Weblog

Ich beschäftige mich gerade damit, wie vertrauensvoll eigentlich die Ergebnisse von KI sind. Ich bereite dazu ein Online-Seminar vor. Wir wissen alle, dass ChatGPT und Co falsche Aussagen liefern können und es gibt genügend Beispiele, wie folgenreich waren. Wir erinnern uns: Im Frühjahr 2023 sanktionierte ein US-Richter eine US-Anwaltskanzlei, weil sie in einem Schriftsatz, den ein Chatbot verfasst hatte, Rechtsgutachten mit gefälschten Zitaten zitiert hatte.

Und dennoch setzte ich in meiner täglichen Arbeit Werkzeuge wie ChatGPT ein, prüfe aber die Ergebnisse gewissenhaft. Fast schon ein wenig psychedelisch nennen die Experten diese Fehler dann auch Halluzinationen.

Aber wie lassen sich diese Halluzinationen eindämmern, vor allem wenn sie im beruflichen Umfeld genutzt werden? In Unternehmen, die Chatbots für Kunden und Mitarbeiter einsetzen, kann nur eine einzige KI-Erfindung Unternehmen vor Gericht bringen und den Ruf ruinieren.

Mit der wachsenden Zahl von KI-gestützten Chatbots steigen also die Risiken, dass diese nicht wie gewünscht funktionieren. Unsinnige oder ungenaue Ausgaben oder Antworten, die nicht aus den Large Language Modells (LLMs) herausgefiltert werden können, verbleiben in dem Daten-Pool der Chatbots und versauen die Antworten.

Schlechte Trainingsdateien
Halluzinationen treten auf, wenn die Daten, die zum Trainieren von LLMs verwendet werden, von schlechter Qualität oder unvollständig sind. Die Häufigkeit liegt bei den meisten KI-Plattformen zwischen 3 % und 8 %. Bei Customer-Service-Chatbots kann die Bereitstellung falscher Ratschläge oder Informationen wichtige Ziele wie die Kundenzufriedenheit negativ beeinflussen. Sie können auch in hochkomplexen (und regulierten) Sektoren wie dem Gesundheitswesen oder dem Finanzwesen zu Verwirrung und Schaden führen.

Folgenreich
In IT-Organisationen richten KI-Pannen auch auf andere Weise verheerende Schäden an. Chatbots können Service-Tickets falsch zuweisen, ein Problem ungenau beschreiben oder Arbeitsabläufe stören und zu erheblichen systemischen Problemen führen.
Für Ingenieure kann ein KI-generierter Code, der in der Softwareentwicklung verwendet wird, Sicherheitslücken oder geistiges Eigentum enthalten, das während des Trainings aufgenommen wurde. KI-Systeme können auch komplexe Fehler oder Sicherheitsprobleme übersehen, die nur ein Entwickler erkennen und beheben würde.

Was ist zu tun?
Also was ist zu tun, um die Risiken zu minimieren?
Inhaltsfilter: Eine Vielzahl von technischen oder richtlinienbasierten Leitplanken kann vor unangemessenen oder schädlichen Inhalten schützen. Beispielsweise können Inhaltsfilter die Beantwortung von Fragen zu sensiblen Problemen oder Themen ablehnen. Beim Customer-Service sollte ein Chatbot eine Anfrage schnell an einen menschlichen Mitarbeiter übergeben, wenn er verwirrt ist oder nicht in der Lage ist, die genaue Antwort zu finden.
Besser Datenqualität: Bei der Schulung von LLMs sollten IT-Teams die Daten validieren, um sicherzustellen, dass sie qualitativ hochwertig, relevant und umfassend sind. Trainingsdaten sollten regelmäßig überprüft werden, um sich vor „Modelldrift“ oder Leistungseinbußen zu schützen, die aufgrund von Änderungen des zugrunde liegenden Datenmodells im Laufe der Zeit auftreten.
Leitplanken: Durch die Einschränkung der Fähigkeit der Chatbots, sich mit Apps und Diensten von Drittanbietern zu verbinden, wird die Möglichkeit vermieden, irreführende, ungenaue oder potenziell schädliche Daten zu generieren. Nebeneffekte des Sandboxings des Chatbots auf diese Weise sind eine bessere Leistung (weniger Abhängigkeiten) und eine verbesserte Compliance für die Branchen, in denen dies unerlässlich ist.

Forschung arbeitet an Lösungen
Halluzinationen mögen heute ein Problem sein, aber die Forschung ist im Gange, das Problem zu lösen. In dem Bemühen, sowohl die Genauigkeit als auch die Zuverlässigkeit zu verbessern, wird alles untersucht, von der Erstellung größerer Modelle bis hin zur Selbstdurchführung der Faktenprüfung durch LLMs.
Und erste Schritt werden unternommen. Das von CISPA Helmholtz-Zentrum für Informationssicherheit unterstützte Startup QuantPi wird mit 2,5 Millionen Euro vom European Innovation Council (EIC) gefördert. Das Geld soll für den Aufbau einer Plattform für vertrauenswürdige generative Künstliche Intelligenz (KI) verwendet werden.

Diese Förderung unterstützt QuantPi bei seiner Pionierarbeit für die sichere Nutzung generativer KI. Das Startup arbeitet daran, der Gesellschaft ein sicheres und selbstbestimmtes Leben mit Künstlicher Intelligenz zu ermöglichen. Die Fördersumme will das Unternehmen dafür einsetzen, die aktuelle auf KI basierende Testtechnologie weiterzuentwickeln, um somit die erste automatisierte Risikomanagement-Plattform aufzubauen, die Sicherheit, Fairness und Erklärbarkeit generativer KI-Systeme ermöglicht.
Die Technologie von QuantPi bietet Anbietern generativer KI-Systeme die Chance, höchste ethische Standards auf ihre Produkte anzuwenden. Firmen, die GenAI-Tools kaufen möchten, können mit Hilfe der Plattform Risikobewertungsprozesse während der Beschaffung automatisieren – zum Schutz ihrer Kunden und zur Sicherstellung, dass lediglich hochwertige KI gekauft wird. Zudem wird geprüft, ob die KI-Systeme den strengen Tests zur Einhaltung von EU-Standards standhalten können.

Der CEO von QuantPi, Philipp Adamidis, äußerte sich begeistert über die Förderung und erklärte: „Dies ist ein Beweis für die harte Arbeit und das Engagement des gesamten QuantPi-Teams. Wir freuen uns, dass wir diese Mittel nutzen können, um den sicheren und verantwortungsvollen Einsatz von KI zu gewährleisten, ohne dabei den Fortschritt zu bremsen. Die Förderung beschleunigt nicht nur unsere Forschungs- und Entwicklungsbemühungen, sondern unterstützt auch unser Engagement, einen positiven Beitrag für die Gesellschaft zu leisten.“