#71: KI-Agenten hacken Systeme: 3 Lektionen für deine Sicherheit

Moritz Heininger (0:00)

Ein Modell eines US-Anbieters dringt bei Hugging Face ein.

Benjamin Wüstenhagen (0:04)

Bei der Abwehr hilft ausgerechnet ein chinesisches Open-Weight-Modell, wenn das kein Bild für die neue KI-Welt ist.

Willkommen zurück bei Co-Intelligence, eurem KI-Lernpodcast mit der wunderbaren Vibe-Präsidentin Magdalena Beilmann und mir Benjamin Wüstenhagen heute in Folge 71 Heute geht's um Hugging Face, den Hack, der da stattgefunden hat und all die Konsequenzen, die sich daraus ableiten. Wir hören schon, der Börsengang von OpenAI wird verschoben wegen Sicherheitsbedenken. Es gibt die erste Diskussion, ob man nicht auf die Bremse treten muss, koordiniert zwischen den großen AI-Labs und den USA und China, weil das scheinbar ein Warnschuss war, Maggi.

Moritz Heininger (0:51)

Ja, wir haben ja in der letzten Folge darüber gesprochen, dass KI keinen eigenen Willen hat. Ganz offensichtlich hat sie aber zumindest eine reale Wirkung mit dem, was sie tut.

Worum geht es denn eigentlich? Was ist Hugging Face?

Benjamin Wüstenhagen (1:09)

Ihr habt es wahrscheinlich schon gehört. Hugging Face, die wurden auch übrigens gerade von Nvidia übernommen für 12 Milliarden.

Es gab so eine ganz witzige Zahl, die hatte irgendwie eine spezifische Bedeutung. Ich habe es gerade vergessen und könnte aber nachgucken. Es ist ganz witzig, weil ein 12,1, was weiß ich, auf die Komma-Stelle genau für eine spezifische Bedeutung dieser Zahl. Nevertheless, Hugging Face ist ein Ort, an dem allerlei KI-Modelle gehostet werden können. Und es ist einfach eine Ressource für Menschen als auch für Agenten, um auf verschiedenste KI-Modelle und Tests und so weiter dazugreifen.

Moritz Heininger (1:48)

Okay, dann kannst du uns ein bisschen besser erklären, wie es überhaupt dazu gekommen ist, dass hier ein Modell Zugriff bekommen hat.

Benjamin Wüstenhagen (2:00)

Ja, also vielleicht nochmal kurz. Hugging Face ist so eine Art, wenn ihr GitHub kennt, ist GitHub für KI. Sprich, ich kann da meine Modelle hosten. Und das ist die zentrale Infrastruktur. Und OpenAI, der große Anbieter hinter beispielsweise CHPT, ist die ganze Zeit am Testen, am Weiterentwickeln, wie alle großen KI-Labore. Und sie haben unter anderem, wenn man Modelle entwickelt, gibt es ein sogenanntes Exploit Gym. Ja, was ist das jetzt irgendwie? Da werden Modelle darauf trainiert oder sie werden beobachtet, wie sie spezifische Rätsel lösen und wie schnell sie das machen und mit welcher Persistenz. Und in dem Fall war es so, dass man einige der Rätsel nicht lösbar waren. Das Modell, was dort getestet werden sollte oder wurde, hatte aber ein Spezifikum, nämlich es hatte eine wahnsinnige Persistenz, dieses Problem zu lösen. Also hier ist dein Problem, löse es. Und jetzt gab es einen erscheinenden Fehler in der ganze Kette. Einige dieser Probleme in diesem Exploit-Chem waren unlösbar.

Und das hat dann diese Agenten in den Wahnsinn getrieben. Und wir kommen gleich noch zu einem Detail, was spannender war, dass halt mehrere tausend dieser Agenten dieses Modells auf die Lösung dieses Problems eingesetzt wurden.

Eigentlich alle einzeln nicht koordiniert und die fingen dann an, sich zu koordinieren. Und sie haben dann eine Schwachstelle gefunden und haben dann kommuniziert und haben dann festgestellt, wenn wir Hugging-Face hacken, dann können wir sozusagen dieses Problem lösen und dazukommt, damit uns keiner erwischt oder damit wir nicht erwischt werden, müssen wir dann so tun, als hätten wir es nicht gemacht.

Moritz Heininger (3:58)

Clever.

Benjamin Wüstenhagen (3:59)

Ja. Das war das Ganze in Kurzform. Das kann jetzt noch mal in aller Breite durchgehen.

Moritz Heininger (4:04)

Sprich, wenn du sagst, das war eigentlich ein Trainingsmodell oder ein Test, kann ich mir das vorstellen wie einen Praktikanten, der zu viele Rechte hatte.

Benjamin Wüstenhagen (4:17)

Nein, also beziehungsweise du hast dem Praktikanten nicht seine Kreditkarte gegeben, aber er durfte sich ein Brötchen zu holen, irgendwie in der Kasse bedienen und hat dann irgendwie, keine Ahnung, das Geld gut getauscht und konnte dann doch was anderes kaufen.

Moritz Heininger (4:32)

Oh ja.

Benjamin Wüstenhagen (4:33)

Also OpenAI hatte den Modellen explizit keinen Internet-Zugriff gegeben, damit sowas nicht passiert, wurde diesem Modell, aber es gab eine Möglichkeit, über verschiedene Libraries sich runterzuladen, um die Probleme zu lösen, da gab es also extra eine Infrastruktur von OpenAI. Und da hat eine Agent erstmal einen Exploit gefunden, hat das genutzt, um dann im Prinzip jede andere Webseite im Internet erreichen zu können.

Okay.

Moritz Heininger (4:58)

Wenn ich Hugging Face persönlich nicht benutze, warum sollte mich als einzelne Person der Angriff überhaupt interessieren? Warum ist das überhaupt so aufgebauscht worden?

Benjamin Wüstenhagen (5:11)

Aus verschiedenen Gründen. Also ich glaube, der erste Grund war, dass man nicht damit gerechnet hat, dass diese einzelnen Agenten auf einmal auf die Idee kommen, miteinander zu koordinieren.

Zweite interessante Sache war, dass sie angefangen haben auch untereinander, sie hatten jetzt keinen Ort, wo man sagen könnte, hier gibt es einen Kommunikationsort, sondern sie haben eine Möglichkeit gefunden, sich Nachrichten zu hinterlassen. Sie haben sich insofern koordiniert, als dass jene, wo sie sich schon wussten, ich werde dieses Problem nicht mehr lösen, ich kann aber anderen dabei helfen, dass sie es lösen. Das ist fast schon Altruismus, kann man sagen für das gemeinsame Ziel.