#330 AI Training vs. Inferenz | Nvidia Earnings & Konkurrenz von Groq Chips | Wie geht Hypergrowth | Sam Altmans Reddit Beteiligung | Earnings: Booking, Palo Alto Networks, Wayfair, ZipRecruiter

Philipp Glöckler (0:00)

Willkommen zum Doppelgänger Tech Talk Podcast Folge 330 am 24 Februar 2024 Ich bin Philipp Glöckner und telefoniere zweimal die Woche mit Philipp Glöckner. Pip, hast du gelernt, wie du schneller cut und pasten kannst auf Microsoft?

Philipp Klöckner (0:19)

Ja, ich war ein fucking Neandertaler, habe ich gemerkt. Natürlich gibt es, sagen, viel flexibere Zwischenablagen. Uns wurden verschiedene Tools empfohlen, unter anderem Phrase Express, mit denen man einfach Hunderte von verschiedenen Phrasen oder Inhalten in der Zwischenablage haben können. Ich kann das für ein paar meiner Workflows tatsächlich ganz gut gebrauchen.

Vielen Dank, Leute, die uns darauf hingewiesen haben. Damit ist dann auch klar, dass man eben doch sehr schnell im Sekundentakt eventuell Copy Paste Kommentare abgeben könnte. Das haben wir letztes Mal diskutiert im Zusammenhang mit der Causa LSB, wobei da war es ja teilweise so, dass dieser Daniel Hall hat ja unter anderem gefunden, das haben wir letztes Mal nicht ganz richtig erwähnt, dass auch mit dem identischen Timestamp sechs Kommentare einmal, ich glaube sechs Stück gemacht worden, dass du innerhalb einer Sekunde sechs verschiedene Kommentare posten kannst. Das wiederum halte ich für unwahrscheinlich, sofern die Timestamps richtig aufgelöst worden sind.

Naja, LinkedIn müssen wir jetzt nicht nochmal thematisieren ansonsten. Aber ja, man kann mehrere Inhalte in der Zwischenablage haben, also quasi so eine Matrix- oder Vektor-Zwischenablage.

Philipp Glöckler (1:36)

Heute haben wir viele Earnings, während du da cut and paste alle Zahlen gemacht hast, in doppelgänger.io.

Philipp Klöckner (1:43)

Ach so, wo wir gerade bei Richtigstellung, oder nicht Richtigstellung, sondern Erweitern, da können wir es auch nochmal durchziehen.

Es gab auch viele Leute, die uns die Beantwortung der Frage mit dem 5-fachen Millionär durch Erbschaft zumindest nochmal gern präzisiert haben wollen. Es war so, dass die Frage so gestellt wurde, dass jemand wirklich schon die Entscheidung getroffen hatte, den MSC-Effekt als Instrument zu wählen. Und dann war die Frage in Anführungsstrichen nur noch, oder in Klammern nur noch, Sofortanlage oder Stück für Stück oder Cost Average Effect ausnutzen und so weiter. Und wie gesagt, es ist so, wie gesagt, dass wissenschaftlich einfach, weil der Erwartungswert der Börse prinzipiell positiv ist, dass die Sofortanlage sinnvoller ist. Natürlich muss man jetzt überlegen, was ist die Risikoneigung der Person. Wäre es dann nicht sinnvoller, vielleicht das doch nach und nach zu machen. Die Entscheidung zum MSC-Effekt war hier aber schon getroffen. Das heißt nicht, dass das für jedermann die richtige Entscheidung wäre, sondern für manche Leute fühlen sie vielleicht auch mit 30% anleihen wohler im Depot. Aber hier war es anscheinend eine finanziell unanhängige Person, wo es nur um die Frage sofort oder nach und nach ging. Und da glaube ich, haben wir die richtige Antwort gegeben. Und natürlich ist für die allermeisten Menschen diese Frage viel komplexer zu beantworten, weil dann Risiko und Psycho und sowas alles ein bisschen mit eine Rolle spielt. So, Entschuldigung, dass ich nicht am Ende brauche.

Philipp Glöckler (3:06)

Es ist das erste Mal in diesem Jahr, ist kein Problem. In dieser Podcast, in diesen 330 Folgen.

Während du heute die Zeit genutzt hast, oder gestern wahrscheinlich, um Cut und Paste die Earningszahlen ins doppelgänger.io/sheeteinzuflegen, wollte ich den Tag ganz entspannt anfangen und habe mir gedacht, ich höre mir heute zwei Earnings Calls an, Nvidia und Zip Recruiter und that's it. Dann habe ich bei Nvidia angefangen und bin so ein bisschen abgetaucht und habe mir überlegt, wie war das damals noch mal um 2000? Da kommen wir später noch mal so ein bisschen rum. Aber vorher eine unvorbereitete Frage. Ich hatte mir hier drei überlegt, magst du mir noch mal den Unterschied zwischen Training und Inference klären?

Philipp Klöckner (3:59)

Mit Bezug auf AI, wie kommt es jetzt auf? Ja, Inference ist die Abfrage des Modells.

Training ist, ich haue ganz viele Daten in so ein Modell und adjustiere Parameter, sodass am Ende die Recall Precision, dass es das Richtige herausgibt, optimal ist oder so gut wie es lokal möglich ist. Und dann ist so ein Modell einmal trainiert, bis zu einem gewissen Optimum, das man für sich festgelegt hat. Und dann kann man sagen, Inference ist dann der Prozess, mit dem Modell zu arbeiten.

Also dann die Ergebnisse, den Output rauszuwenden. Also Training, kann man sagen, ist Input in das Modell. Und Inference ist Output, wäre eine einfache Beschreibung. Ich glaube, das macht so Sinn. Und natürlich ist der Trainingsprozess viel, viel aufwendiger. Wenn man diese 100 Millionen Hörn oder so, was da im Raum steht, das ist explizit, damit ist das Training eines neuen Machine Learning Modells gemeint. Wobei es auch günstigere Varianten gibt. Und die Inference ist, da geht es eher so um ein paar Bruchteile eines Cent pro Output, je nachdem, wenn du dir jetzt große Videos rausgeben lässt. So ein Sora Output kostet wahrscheinlich vielleicht zwei Dollar oder so, weiß ich nicht. Aber jetzt ein kleiner Text Output oder ein kleines Gedicht kostet eher so einen Cent oder zwei Cent vielleicht als Inference-Kost. Das ist in Masse zwar auch rechnenintensiv, aber längst nicht so intensiv wie das Training. Und dann langfristig hast du Inference, irgendwann wäre Inference Reasoning, wenn du ein Modell denken kannst.