Wie baut man eine KI, wenn man keine Milliarde hat?

**Gregor Schmalzried** (0:05)
Marie, hast du zufällig gerade eine Milliarde Euro für mich?

**Marie Kilg** (0:09)
Nee, ich kann, weiß ich nicht, eine Milliarde irgendwas aufzutreiben. Sehr schwierig jetzt, glaube ich. Tut mir leid.

**Gregor Schmalzried** (0:15)
Ja, das Problem ist, wir bräuchten eigentlich ungefähr eine Milliarde und ehrlich gesagt noch noch einiges mehr. Denn wenn wir uns anschauen, wie viel eigentlich das Training eines einzelnen großen KI-Modells kostet. Also wir reden über die ganz großen, wir reden über die neuen Modelle von Clot, von GPT, Gemini und so weiter.
Es ist fast unmöglich zu sagen, wie viel die tatsächlich kosten. Aber Schätzungen zufolge von Epoch AI, das ist so ein kleines Research Institute, die sich damit beschäftigen, könnte das ungefähr mittlerweile eine Milliarde US-Dollar betragen. Und da reden wir über das Training von einem einzigen Modell. Und die großen Labore OpenAI, Entropic, Google und so weiter, die geben mittlerweile 10 bis 20 Milliarden Dollar im Jahr. Einfach nur aus für Entwicklung, Forschung und natürlich die unfassbare Rechenpower für ihre Modelltrainings.

**Marie Kilg** (1:06)
Ja, also machen du und ich das nicht so bald. Der KI-Podcast wird nicht sein eigenes Modell herausbringen.

**Gregor Schmalzried** (1:13)
Ihr findet den Spendenlink in den Show Notes.

**Marie Kilg** (1:17)
Ja, aber es gibt natürlich auch Ansätze, dass man trotzdem bei KI weiterkommt, ohne jetzt diese Riesenbeträge und Geldbündel rumzuschieben. Und zwar gibt es die auch in Deutschland.

**Gregor Schmalzried** (1:29)
Ja, und zwar allein letzte Woche haben wir da wieder einige spannende neue Entwicklungen gesehen. In Deutschland, aber auch in China. Auf der ganzen Welt werden gerade neue Methoden erprobt, um große KI-Modelle herzustellen. Und weil wir eigentlich seit langem nicht mehr so ausführlich darüber gesprochen haben, wie eigentlich so eine große KI entsteht. Wir reden die ganze Zeit darüber, was die machen, wie die sich verhalten, wie wir mit denen arbeiten. Aber wie man sie eigentlich baut, darüber weniger. Darum soll es heute gehen. Und wir haben dafür auch mit einigen interessanten Experten aus Deutschland gesprochen.

**Marie Kilg** (2:03)
Wir reden heute also darüber, welche Schritte braucht man, um eine KI zu trainieren? Wo kann man kluge Abkürzungen finden? Und wie sieht das ganz konkret auch bei dem aktuellen deutschen Modell SOFIE aus? Und was leiten wir daraus für die Zukunft ab? Für die Zukunft von Europa, von Deutschland und von der Frontier der KI?
Ihr hört den KI-Podcast. Ich bin Marie Kilg.

**Gregor Schmalzried** (2:23)
Und ich bin der immer noch quasi nicht so reiche Gregor Schmalzried.

**Marie Kilg** (2:29)
So, Gregor, du hast dir ein Kochrezept angeschaut, beziehungsweise ich glaube, du hast sehr viele Kochbücher gewälzt, um jetzt hier am Ende ein Rezept mitzubringen mit ein paar Schritten. Wie kommt man von, ich habe ein bisschen Geld und ein paar kluge Leute zu, ich habe eine richtig kluge KI gebaut?

**Gregor Schmalzried** (2:47)
Ja, ich glaube, damit wir verstehen, welche Tricks angewendet werden, wo gerade die Innovation passiert, müssen wir uns einmal anschauen, wie eigentlich der Basisweg aussieht, um so eine große KI zu trainieren. Also was ist sozusagen der klassische Lehrbuchweg eigentlich?
Das ist natürlich eine technisch sehr anspruchsvolle Sache. Also wir werden das jetzt ziemlich runterdampfen. Wir werden nicht über beispielsweise die Unterschiede sprechen zwischen mid-training und continued pre-training und über die verschiedenen Arten von fine-tuning und so weiter. Also das ist das nicht. Wir haben das Ganze ein bisschen runtergebrochen auf die wichtigsten Schritte, sag ich mal. Und der erste Schritt, da wird noch gar nichts groß getarnt trainiert, da wird noch gar nicht wirklich mit Daten gearbeitet. Der erste Schritt ist es einfach ein bisschen zu entscheiden, was für ein Modell will ich eigentlich? Also welche Architektur wähle ich eigentlich für mein Sprachmodell?

**Marie Kilg** (3:42)
Da gibt es einerseits immer wieder spannende neue Ideen, andererseits auch sehr viel, was einfach seit 2017, seit 2019, seit 2020 einfach sich bewährt hat und wo man vielleicht noch guckt, wo kann ich hier und da was optimieren, aber schon eigentlich so Standardarchitektur nimmt. Ich glaube, wir haben bestimmt schon mal über den Transformer gesprochen. Das ist das T in ChatGPT. Und das ist zum Beispiel was, wo man hier und da natürlich guckt, kann man das optimieren, aber was einfach immer noch, die Jahre nach der Erfindung, gut funktioniert und wo viele das dann auch einfach auswählen.

**Gregor Schmalzried** (4:15)
Genau. Und dann gibt es andere Aspekte, beispielsweise Mixture of Experts ist so ein Begriff da. Also da handelt es sich um KI-Modelle, die sozusagen nicht einfach immer die komplette Maschine anschmeißen für jede Frage, sondern bestimmte Expertenuntermodelle haben, die dann in bestimmten Bereichen besonders gut sind. Also beispielsweise in Mathematik, dann hat man den Experten in Anführungszeichen für Mathe und er kann so ein bisschen effizienter werden. Also das ist die Architekturfrage.
Dann sagen wir mal, wir haben unsere Architekturfrage gelöst. Was allein schon. Wir haben das jetzt hier schnell abgefrühstückt. Allein das dauert wahrscheinlich eine ganze Weile. Dann geht es um die Daten, also um die Beschaffung der Daten und das zu verwandeln in Trainingsmaterial. Kennt man mittlerweile Bücher, das gesamte Internet, aber mittlerweile auch immer öfter lizenzierte Daten, die man extra dafür einkauft. Das wäre Schritt zwei.