Von word2vec bis GPT

Mein Vortrag von der Campixx 2023 über die Entwicklung von textbasierten Wissensmodellen wie word2vec hin zu modernen Sprachmodellen (LLM) wie ChatGPT.

Zu Beginn ist ein kleiner Rückblick auf meinen Vortrag zu Machine Learning und word2vec von der Campixx 2017 enthalten. Ich vergleiche ich die Leistungen meines 2017 selbst aus der deutschen Wikipedia errechneten word2vec-Modells mit dem aktuellen ChatGPT und zeige die Ergebnisse eines mit dem GPT-2-Code von OpenAI erstellten Mini-SEO-LLM, das auf gerade mal 1,8 MB Daten trainiert worden ist. Und zum Abschluss gehe ich auf die potenziellen Bedrohungen von Googles Geschäftsmodell durch die Verbreitung der Large-Language-Models ein.