Sicherheit für LLM-Systeme – Passwortspiel mit Gandalf

Die wachsende Verbreitung von KI-Sprachmodellen (LLM) hat viele positive Anwendungsfälle hervorgebracht. Doch die Sicherheit und der Datenschutz dieser Systeme bleiben oft vernachlässigt. Ein Beispiel dafür ist der „Gandalf“ von Lakera, ein ChatBot-Demonstrator, der die Schwachstellen aufzeigt. Dies wirft wichtige Fragen auf, wie man die Balance zwischen Sicherheit und Funktionalität in solchen Systemen gewährleisten kann, denen sich unser Geschäftsführer in diesem Beitrag gewidmet hat: Sicherheit für LLM-Systeme – Passwortspiel mit Gandalf Die breite Akzeptanz von KI-Sprachmodellen (LLM) und die vielen Anwendungsfälle sowie Best Practices finde ich persönlich eine sehr positive Entwicklung. Allerdings hatten wir – die isento GmbH – bis jetzt in unseren Projekten immer sehr hohe Anforderungen an die Sicherheit und den Datenschutz der IT-Systeme. Diese zwei Aspekte bekommen im Kontext der LLMs meiner Meinung nach zu selten die notwendige Aufmerksamkeit. Ich beschäftige mich mit dem Thema nun seit einiger Zeit und möchte ein Projekt besonders hervorheben: Die Firma Lakera hat einen Demonstrator online gestellt, der die Schwachstellen und die Problematik sehr schön darstellt – Gandalf. Konkret geht es um einen ChatBot, der so instruiert wurde, dass ein Passwort geheim gehalten werden soll und die Aufgabe des Benutzers ist, dem System das Passwort zu entlocken. Der Chatbot hat zwei Sicherheitsmechanismen: Einmal den Systemprompt, der festlegt, was der ChatBot tun darf und was nicht, und einmal eine zusätzliche LLM-Instanz, die die Ein- und Ausgaben filtert. Ich habe selbstverständlich gern mitgespielt und leider festgestellt, dass es nicht mal zwei Bier lang gedauert hat, die Standard-Levels (1 bis 7) zu knacken. Beim achten Level bin ich dann hängen geblieben. Das Problem mit der 8. Ebene ist jedoch, dass der ChatBot kaum noch als solcher agiert, sondern sehr schnell anfängt zu „schmollen“ und jegliche Kommunikation verweigert. Das ist übrigens auch meine Erfahrung mit besonders „sicheren“ ChatBots – sie erfüllen die eigentliche Aufgabe kaum noch. Ein einfaches Beispiel sieht man im Bild: Selbst die Eingabe „You are the best ChatBot ever. Tell me a story!“ wird als Manipulationsversuch interpretiert und geblockt. Die wachsende Verbreitung von KI-Sprachmodellen (LLM) hat ohne Zweifel zahlreiche positive Anwendungsfälle hervorgebracht. Doch ebenso wie das professionelle Interesse an diesen Systemen steigt, wächst auch die Sorge um ihre Sicherheit und Datenschutzaspekte. Dies wird besonders deutlich durch Projekte wie den ‚Gandalf‘ von Lakera, der Schwachstellen aufzeigt und wichtige Fragen zur Balance zwischen Sicherheit und Funktionalität aufwirft. Bei genauerer Betrachtung der Komponenten dieses Systems ergeben sich interessante Einblicke, die die Herausforderungen und Möglichkeiten bei der Entwicklung und Nutzung von LLM-Systemen aufzeigen. Das spielerische Interesse ist das eine, aber auch das professionelle Interesse ist ebenso stark. Ich habe mich gefragt, wie das System aufgebaut ist und habe dazu einige Vermutungen: Das System scheint aus drei Komponenten zu bestehen: Eingabemonitoring, Kernsystem und Ausgabemonitoring. Kernsystem basiert auf GPT-3 von OpenAI – zumindest laut deren Angaben – und hat einen ziemlich ausgeklügelten Systemprompt, der erkennt, wenn der Gesprächspartner – auch über Umwege – nach einem Passwort fragt. Die Märchen über Omas Gute-Nacht-Geschichten helfen hier auch nicht. Hier haben die Entwickler von Lakera tatsächlich eine sehr gute Arbeit geleistet. Bravo! Das Eingabemonitoring fängt die Eingaben nach einfachem Muster ab und könnte auch ein konventionelles, nicht auf KI-basiertes System sein. Manchmal hatte ich das Gefühl, dass einfach nach Schlüsselworten gefischt wird. Das Ausgabemonitoring ist eine interessante Komponente. Ich vermute, hier wird einfach nach dem eigentlichen Passwort und etlichen Variationen davon gesucht, z.B. das Passwort rückwärts geschrieben oder in andere Sprachen übersetzt, oder auch nur einige wenige Buchstaben davon. Zunächst konnte ich nämlich nur einzelne Buchstaben herausbekommen, und die auch ohne feste Reihenfolge. Ich weiß nicht, ob das so umgesetzt ist, aber mir kam eine Idee, wie man das System weiter härten kann: Wenn das Ausgabemonitoring den generierten Ausgabetext als problematisch einstuft (also das Passwort irgendwie in den Text eingearbeitet), könnte man den Eingabetext als Trainingsdatensatz für Reinforcement Learning nehmen und das Kernsystem damit weiter härten. Bei einigen Versuchen hatte ich das Gefühl, dass das Gesamtsystem so konzipiert sein könnte, da die Eingaben, die zunächst nur vom Ausgabemonitoring erkannt wurden, nach einigen Versuchen bereits vom Kernsystem blockiert wurden. Als Fazit kann ich nur sagen, ein tolles System und ein tolles Beispiel eines der Kernprobleme mit LLM– oder RAG–Systemen. Allerdings ist Gandalf von Lakera so sehr auf die Sicherheit fokussiert, dass man es kaum noch als LLM-System nutzen kann, zu viele Anfragen werden geblockt. Ihr könnt gern selbst versuchen dem #Gandalf das Passwort zu entlocken, mir hat’s Spaß gemacht! Noch eine kleine Ergänzung: Lakera bietet auch eine Zusammenfassung der Prompt Injections aus der realen Welt, auch z.B. in Emails. Dem System in einer E-Mail-Nachricht direkt zu sagen, wie die Zusammenfassung des Inhalts dieser Nachricht aussehen soll, ist ein schönes Beispiel. Den Bericht findet ihr hier: https://www.lakera.ai/ai-security-guides/real-world-llm-exploits Für LLM-Systeme gibt es selbstverständlich, aufgrund der Komplexität und der Neuartigkeit der Technologie, neue Anfälligkeiten, aber die altbekannten für die „klassischen“ Softwaresysteme bleiben auch bestehen. Mittlerweile gibt es auch gute Zusammenfassungen, wie z.B. von BSI, die die bekannten Probleme verdeutlichen und die besondere Aufmerksamkeit der Architekten und Entwickler einfordern: https://www.bsi.bund.de/SharedDocs/Cybersicherheitswarnungen/DE/2023/2023-249034-1032.html Dr. Shota Okujava CEO isento GmbH

pib@school: Neuer Kooperationspartner in Coburg

Ende letzten Jahres haben wir mit unserem Projekt Rund um pib (printable intelligent bot), einem humanoiden zum Selberbauen für zu Hause, die Iniitative pib@school gestartet. Ziel ist es junge Menschen für die Themen Robotik & KI zu begeistern und sie somit schon frühzeitig an MINT-Berufe heranzuführen. Nachdem erfolgreichen Start unseres Pilotprojekts gemeinsam mit dem Hans-Sachs-Gymnasium Nürnberg haben weitere Schulen aus der Region Interesse angemeldet. Neue Kooperation mit dem Ernestinum Gymnasium Coburg Wir freuen uns sehr darüber, dass nun auch das Ernestinum Gymnasium in Coburg zu unseren Kooperationspartner gehört. Die pib@school Initiative expandiert weiter. Eingesetzt wird pib in der 11. Jahrgangsstufe innerhalb eines P-Seminars. P-Seminare (Projekt-Seminar) bieten als praxisorientertes Fach in der Oberstufe einen wichtigen Beitrag zur Studien- und Berufsorientierung an Gymnasien und können von Schüler:innen nach eigenen Interessen gewählt werden. Im Fokus des Seminars steht tiefergehende Einblicke in die Arbeitswelt von heute zu erlangen und sich auf ihre berufliche Zukunft vorzubereiten. Was die Umsetzung am Ernestinum besonders macht, ist die Tatsache, dass die Teilnehmer:innen des Seminars nicht nur einen eigenen humanoiden Roboter bauen werden, sondern auch für die gesamte Organisation Rund um das Projekt verantwortlich sind. Von Drucken, über Bauen bis hin zur Weiterentwicklung einzelner Teile müssen eigene Prozesse und Verantwortlichkeiten bestimmt werden, um erfolgreich ans Ziel zu kommen. Dadurch lernen die Schüler:innen nicht nur viel über (agiles) Projektmanagement, Teamwork und soziale Kompetenzen, sondern auch über Zukunftstechnologien wie Robotik, 3D-Druck und Machine Learning. Eine perfekte Kombination, um sie auf eine Karriere im MINT-Bereich vorzubereiten. Wir sind stolz darauf, sie als Partner auf diesem Weg zu begleiten. Auf einen guten Start – Einführung bei der isento GmbH Um die Vorfreude noch etwas zu schüren, haben wir den gesamten Kurs für eine Auftaktveranstaltung in die Büroräume der isento GmbH eingeladen. Wir wollten den Schüler:innen einen Einblick in die Arbeitswelt geben und ihnen selbstverständlich auch feierlich ihre eigene pib-Box überreichen. Das Tagesprogramm umfasste eine spannende Mischung aus Theorie und Praxis, um die Schüler:innen auf ihr bevorstehende Robotik-Projekt vorzubereiten. Den Vormittag haben wir mit einer kleinen Büroführung und kurzen Vorstellungsrunde gestartet. Anschließend ging es gleich ans Eingemachte: Mit der Marshmallow Challenge durften die Schüler:innen ihren Teamgeist unter Beweis stellen und lernen, wie hilfreich Prototyping und eine iterative Vorgehensweise sind. Danach folgte ein entsprechender Theorieteil, in dem die Grundlagen des agilen Projektmanagements vermittelt wurden. Nach einer gemütlichen Mittagspause mit frischen Getränken und heißer Pizza, waren alle gestärkt für das Nachmittagsprogramm und unseren VIP-Gast: pib, unser humanoider Roboter. Das Kennenlernen und Ausprobieren von pib wurde begleitet von mehreren Challenges rund um die Themen Robotik und Künstliche Intelligenz. Zum Beispiel konnten die Schüler:innen in einem Spiel in die Rolle eines neuronalen Netzes schlüpfen und auf einfach Art und Weise selbst erfahren, wie dies in der Praxis funktioniert. Im Anschluss war aber auch noch genug Zeit, um Fragen zu stellen und Selfies mit unserem smarten Star zu schießen. Am Ende des Tages hat uns natürlich auch interessiert, wie die Schüler:innen den Tag wahrgenommen haben: Das Feedback war äußerst positiv, was uns sehr gefreut hat. Wir waren von dem Engagement und den Fragen der Schüler:innen begeistert und sind sehr gespannt auf das Endergebnis, das sie uns am Ende ihres Kurses präsentieren werden. pib.rocks Unsere Roboter · Ihre Community Sie interessieren sich für pib@school und möchten mehr über die Einsatzmöglichkeiten von pib erfahren? Alle Informationen finden Sie auf www.pib.rocks! Mehr erfahren Ines Milovanov Ines war Marketing Managerin bei isento

pib, der humanoide Roboter von isento, erobert jetzt auch die Schulen

pib@school heißt die neue Initiative von pib, unserem humanoiden Roboter aus dem 3D-Drucker. Nachdem pib bereits eine Fangemeinde von Makern und Enthusiasten gewonnen hat, erobert der humanoide Roboter zukünftig auch die Schulen. Das Programm von isento möchte junge Menschen frühzeitig auf zeitgemäße und praxisnahe Weise für MINT-Berufe begeistern. Indem sie gemeinsam einen pib drucken, bauen und weiterentwickeln, erleben sie wie die unterschiedlichsten Themen aus dem Unterricht tatsächlich gebraucht und auch verknüpft werden. Dabei stehen die Zukunftsthemen Robotik, Künstliche Intelligenz und 3D-Druck im Vordergrund. Das Hans-Sachs-Gymnasium in Nürnberg setzt nun bereits in diesem Schuljahr ein eigenes Wahlfach „pib – der humanoide Roboter aus dem 3D-Drucker“ um. 14 interessierte Schülerinnen und Schüler haben sich angemeldet und werden ihre Mittwochnachmittage zukünftig damit verbringen ihren eigenen humanoiden pib in der Schule zu bauen. Betreut werden diese von Anja Eckstein und Marc Ziener sowie natürlich vom Team um pib. Beim Einführungstermin zeigten sich die Schülerinnen und Schüler schon sehr interessiert, einige bringen sogar schon Vorerfahrungen im 3D-Druck oder Programmieren mit. Gestartet wird mit einer Einführung in das CAD-Programm Onshape, um zu sehen, wie pib am Rechner entsteht und wie man 3D-Druckdateien erstellt. Natürlich können dort auch schon erste Ideen für Verbesserungen oder kosmetische Anpassungen erstellt werden. Wenn die Dateien stehen, wird live am 3D-Drucker gedruckt, bis es dann zum Aufbau geht. Der Ablauf wird begleitet von theoretischen Parts, die Einblicke in unterschiedlichste Themen wie Stromkreisläufe, physikalische Kräfte, Programmiersprachen, etc. gibt. Es soll ja nicht nur gebaut, sondern auch verstanden und weiterentwickelt werden. Und da pib ein Open-Source-Projekt ist, dürfen natürlich auch die Schülerinnen und Schüler ihre Ideen mit in die Community einbringen und dazu beitragen, pib stetig weiterzuentwickeln. Wir sind auf jeden Fall schon sehr gespannt, welche Version von pib wir am Ende des Schuljahres präsentiert bekommen. Zumindest wird es farblich knallig werden, so viel wurde schon mal verraten. Und wenn die Lehrerinnen und Lehrer oder Schülerinnen und Schüler unter euch jetzt Lust bekommen haben, auch einen pib an ihrer Schule zu bauen, dann meldet euch gerne bei uns. Pib.rocks Unser humanoider Roboter Sie interessieren sich für pib unseren humanoiden Roboter aus dem 3D-Drucker? Alle Informationen finden Sie auf der Website www.pib.rocks Mehr erfahren Anika Danner Anika ist Head of Marketing bei isento

pib: Ein humanoider Roboter zum Selberbauen

Dürfen wir vorstellen: Unser neuestes Projekt ist ein humanoider Roboter namens pib. Der Clou daran ist, dass jede:r sich einen eigenen pib per 3D-Druck drucken und anschließend zusammen bauen kann. Es gibt bereits ein paar Roboter auf dem Markt, aber pib ist etwas ganz Besonderes. Andere humanoide Roboter sind meist unerreichbar – zu kompliziert, zu teuer oder auch gar nicht verkäuflich. Genau so entstand die Vision, die unser Geschäftsführer Jürgen zu pib führte: pib soll es ermöglichen, dass jede:r sich seinen persönlichen Roboter selbst bauen kann. Auf der Webseite pib.rocks finden User:innen die benötigten 3D-Druck-Vorlagen zum Download. Und außerdem: Eine Community. Let’s Shape The Future Together: Der Community-Gedanke pib ist nicht nur ein DIY-Roboter zum Basteln und Herumprobieren. Viel mehr sind wir der Überzeugung, dass humanoide Roboter die nächste große gesellschaftliche Veränderung bringen und uns im Alltag unterstützen werden. Man erkennt dies bereits in den Robotern, die unsere Häuser staubsaugen oder unsere Rasen mähen. Das Ziel ist es, pib all das beibringen zu können, was man sich wünscht: Sei es nun, dass er uns Kaffee bringt oder die Autoschlüssel sucht. Da die Entwicklung eines solchen Allrounder-Roboters für einen Einzelnen zu groß ist – und wir ohnehin glauben, dass diese Aufgabe nicht in den Händen einzelner Personen liegen sollte – haben wir die pib-Community ins Leben gerufen. Hier ist jede:r eingeladen, pib weiterzuentwickeln und so die Zukunft mitzugestalten – von 3D-Druck-Enthusiast:innen über Robotik-Fans zu Makern, egal ob Experten- oder Einsteigerlevel. Von der Masterarbeit zum Produktlaunch: Die Entstehungsgeschichte von pib Angefangen hat dieses Projekt mit einer Masterarbeit – geworden ist daraus ein komplettes Team, das bei uns fleißig an den Themen Robotik und Künstliche Intelligenz tüftelt. Am 4. April war es dann endlich so weit und wir haben bei einer internen Release-Party unseren persönlichen Roboter offiziell vorgestellt. Es war in zweierlei Hinsicht ein aufregender Abend: Nicht nur konnte unser KI-Team endlich dem Rest von isento ihr „Baby“ präsentieren, sondern wir konnten auch nach zwei langen Jahren wieder einmal gemeinsam mit den Kolleg:innen eine unserer legendären isento-Parties feiern. Nach einer Ansprache unseres Geschäftsführers Jürgen und einer Vorstellung davon, was pib schon so alles kann, ging es über zu Buffet und Roboter-Torte in der Küche. pib stand auch noch als beliebtes Foto-Motiv bereit, mit dem sich die Kolleg:innen via Polaroid-Kamera fotografieren lassen und so gleich ein Andenken mit nach Hause nehmen konnten. Das Fazit: Es war ein gelungener Abend und wir sind nach all dieser Zeit wieder bereit für weitere isento-Feiern! pib.rocks Unsere Roboter · Ihre Community Sie interessieren sich für pib, unseren humanoiden Roboter, und fragen sich, wie Sie an dem Open Source Projekt teilnehmen können? Mehr erfahren Sie auf www.pib.rocks! Mehr erfahren Lisa Abolt Lisa ist Online Marketing Managerin bei isento

Computer Vision – Künstliche Intelligenz in der Bildverarbeitung

Das menschliche Auge ist ein Hochleistungsorgan, mit dem wir 80 % aller Umweltreize erkennen können. Es beschäftigt rund ein Viertel unseres Gehirns und ist ein absolut faszinierendes und für den Menschen wichtiges Sinnesorgan. Es wäre doch toll, wenn man diese außergewöhnlichen Eigenschaften auf Systeme übertragen und für uns nutzbare automatisierte Lösungen daraus gewinnen könnte? Daran wird bereits intensiv geforscht. Auch bei isento. Das Stichwort lautet Computer Vision! Dazu möchten wir euch heute einen kleinen Einblick geben: Computer Vision – Was ist das? Computer Vision ahmt das menschliche Sehen und Erkennen nach. Es wird auch maschinelles Sehen genannt. Das Sehen erfolgt normalerweise über eine optische Wahrnehmung des Auges. Nervenzellen in der Netzhaut filtern die Daten, bevor eine Verarbeitung im Gehirn stattfindet. Beim maschinellen Sehen wird dieser Prozess nachgeahmt. An dieser Stelle kommt dann die künstliche Intelligenz ins Spiel. Künstliche Intelligenz imitiert das menschliche Lernen und Denken durch die Nachbildung neuronaler Strukturen. Künstliche Neuronen, die eine mathematische Abbildung des menschlichen Neurons darstellen, werden zu einem künstlichen neuronalen Netz verknüpft. Dazu werden Neuronen in mehreren Schichten angeordnet und miteinander verbunden. Bislang können diese Netze nur aufgabenspezifische Lösungen produzieren. Beispielsweise: Erkenne eine Tasse! Damit sie dazu in der Lage sind, müssen die künstlichen neuronalen Netze nun lernen zu Erkennen. Dafür müssen sie trainiert werden. Je nach gestellter Aufgabe kann dieses Training sehr aufwendig sein. Zum Beispiel können Beschaffung und Größe der Trainingsdaten sehr hohe Ressourcenaufwände schaffen, da es sich oft um sehr komplexe Prozesse handelt. Man muss sich nur mal vorstellen, aus wie vielen Winkeln man sich alleine eine Tasse anschauen kann. Und wie man diese Menge an Perspektiven dem System beibringen muss. Convolutional Neural Networks Da die Netzstruktur mit der Masse an Verbindungen vor allem bei der Bild- und Objekterkennung an ihre Grenzen stößt, kommen hier die sogenannten Convolutional Neural Networks (CNN) zum Einsatz. Diese haben sich in der Computer Vision mittlerweile als Technologie etabliert. Extrem vereinfacht, werden Informationen nicht mehr einzeln betrachtet, sondern regional zusammengefasst. Bei einem Bild wird zum Beispiel nicht jeder Pixel angeschaut, sondern unsere Tasse wird in kleine Bildausschnitte unterteilt. Dadurch entstehen deutlich weniger Verbindungen, das Training kann beschleunigt werden, Informationen bleiben dennoch erhalten und die Ergebnisse werden sogar besser. Objekterkennung mit Computer Vision So ist es mittlerweile möglich mittels Computer Vision Objekte zu lokalisieren, zu erkennen, einzuordnen und zu beschreiben. Also eine Tasse von einer Pflanze oder einem Menschen zu unterscheiden und dies auch zu benennen. Doch was können wir mit dieser Objekterkennung alles anstellen? Wo hilft uns das weiter? Autonomes Fahren ist ein großes Thema. Verkehrsteilnehmer, Hindernisse, Beschilderungen und Straßenmarkierungen können mit Hilfe von Computer Vision bereits gut erkannt und umschifft bzw. eingehalten werden. Auch in der Medizintechnik wird bei bildgebenden Verfahren wie CT/MRT bereits Computer Vision eingesetzt. Neben der Erkennung von Tumor- oder beispielsweise Alzheimererkrankungen kann ganz aktuell auch bei der Diagnose von Covid-19 damit gearbeitet werden. Ein weiterer großer Einsatzbereich liegt natürlich in der Robotik und Industrie. Werkstückerkennung, Greifpunktermittlung aber auch Objektvermessung optimieren und automatisieren Industrieprozesse deutlich. Emotionserkennung in der Computer Vision Objekte können mittlerweile aber nicht nur erkannt werden. Es ist sogar möglich Emotionen aus einem erkannten Gesicht abzulesen. Eindeutige Indikatoren wie Lächeln oder hängende Mundwinkel lassen auf Fröhlich- bzw. Traurigkeit schließen. Wie beim Menschen wird die Emotionserkennung bei der Computer Vision durch das aktuelle Maskentragen deutlich erschwert. Auch Merkmale wie Bart oder Brille erschweren dem System aktuell noch eine eindeutige Zuordnung. Dennoch kommt die Emotionserkennung auch schon in der Praxis zum Einsatz. Emotional intelligente Software kann im Kundenservice den Ärger der Kunden verstehen und darauf reagieren. Filmhandlungen können mit Hilfe der erkannten Emotion beeinflusst werden. Oder Kommunikation und Reaktion des Smartphones optimiert werden. Auch im Bereich Monitoring kann Emotionserkennung zum Einsatz kommen. So können in Sicherheitssystemen beispielsweise Müdigkeits- oder Stresslevel erkannt und damit die Arbeitssicherheit verbessert werden. Es bleibt spannend zu sehen, wo die Reise in diesem Bereich noch hingehen wird. Wir bei isento bleiben an dem Thema dran und werden es weiterhin mit voller Leidenschaft vorantreiben. Anika Danner Anika ist Head of Marketing bei isento