In dieser Blogreihe erforschen wir Künstliche Intelligenz und Large Language Models (LLMs). Ich teile wertvolle Erkenntnisse und Quellen, um dir einen umfassenden Einblick und einen soliden Einstieg in diese Technologien zu bieten. Wir entmystifizieren technische Grundlagen und bieten realistische Einblicke jenseits von Marketing. Ziel ist es, dir Zeit bei deiner Einarbeitung zu ersparen, ein Verständnis der Grundkonzepte zu vermitteln und dich zu befähigen, fundierte Entscheidungen für dein Unternehmen zu treffen.
Let's dive in...
Die Ursprünge der Grossen Sprachmodelle (LLMs) lassen sich bis auf das Jahr 1997 zurückverfolgen, als Hochreiter und Schmidhuber das LSTM (Long Short-Term Memory) Modell einführten. Diese Modelle, ein Teil der Familie der rekurrenten neuronalen Netze (RNNs), zeichnen sich besonders in der Sprachverarbeitung und Textgenerierung aus. Ein entscheidender Wendepunkt in der Entwicklung von LLMs war jedoch die Einführung des Transformer-Modells. Das Transformer-Modell selbst stellt einen innovativen Ansatz in der AI-Architektur dar und wurde ursprünglich von Forschern bei Google Brain entwickelt. Das wegweisende Paper mit dem Titel «Attention Is All You Need», verfasst von Ashish Vaswani und seinen Kollegen im Jahr 2017, präsentierte das Transformer-Modell und legte damit den Grundstein für die Entwicklung moderner Grosser Sprachmodelle wie ChatGPT, Gemini und anderen.
Was macht nun ein Transformer-Modell oder ein LLM generell aus? Es spielt das Spiel «Errate das fehlende Wort» auf einem beeindruckenden Niveau. Das Modell nutzt Wahrscheinlichkeiten, um basierend auf einer Eingabe (z.B. einer Frage) und den umfangreichen Daten, die es gelernt hat, das nächste Wort der Antwort zu erraten. Das Modell ist ebenfalls in der Lage, aus unstrukturierten und nicht gelabelten Daten zu lernen.
Die Fähigkeit von AI, das nächste Wort zu erraten, wirft eine faszinierende Frage auf: Gleicht dieser Prozess dem Auswendiglernen von Fakten, ohne deren tieferen Sinn zu erfassen? Oder ähnelt er eher dem natürlichen Spracherwerb eines Kindes, das durch Ausprobieren verschiedener Wörter und Beobachten der Reaktionen seiner Umwelt Sprache erlernt? Diese Analogie ist besonders interessant, wenn wir unser eigenes Verhalten betrachten. So wie wir sorgfältig überlegen, welches Wort in einer E-Mail den richtigen Ton trifft, scheint die AI aus einem Ozean von Möglichkeiten das passendste Wort zu fischen. Dieses scheinbar intuitive Vorgehen der AI, das an menschliche Sprachmuster angelehnt ist, öffnet die Tür zu einer Welt, in der Maschinen nicht nur Daten verarbeiten, sondern in gewissem Masse auch den Kontext und die Nuancen der menschlichen Sprache zu verstehen scheinen. Die Fehler, welche solche LLMs durchaus oft machen, lassen die Antwort teilweise noch menschlicher erscheinen, weil sie eben nicht perfekt sind.
Sam Altman, CEO von OpenAI, bringt es aus meiner Sicht auf den Punkt: «From ingesting human knowledge, LLMs come out with this crude form of reasoning ability. There is no denying that, in some sense, AI will add to human wisdom.» Ich deute das Wort «reasoning» in diesem Zusammenhang als die Fähigkeit, logisch zu denken. Die spannende Frage ist jedoch, was genau mit dieser Art von «reasoning» erreicht werden kann.
Bei einer AI-Konferenz in San Francisco wurde intensiv diskutiert, welche Berufe durch die fortschreitende Entwicklung der Künstlichen Intelligenz möglicherweise wegfallen könnten. Sam Altman gab dazu eine überraschende Einschätzung ab: Ursprünglich vermutete er, dass physische Berufe zuerst durch AI ersetzt würden, gefolgt von kognitiven Jobs, und ganz zuletzt würden kreative Berufe betroffen sein. Doch entgegen dieser Annahme waren es die kreativen Berufe, die zuerst betroffen waren. Diese Beobachtung wird indirekt durch eine Studie des britischen Marktforschungsinstituts Yougov bestätigt, die zu dem Ergebnis kam, dass Dachdecker am wenigsten von AI bedroht sind.
Ein Jahr nach dem Aufkommen fortschrittlicher AI-Tools wie ChatGPT, Midjourney und Dall-E 3 stehen Kreativberufe wie Illustratoren, Künstler und Musiker einer rasanten technologischen Entwicklung gegenüber, die mit einem Rückgang an Aufträgen einhergeht. Infolge der verbesserten Fähigkeit von AI, kreative Inhalte zu erzeugen, sind immer mehr Menschen in der Lage, eigene Produkte und Kampagnen zu entwerfen, wobei sie häufig auf AI-generierte Bilder und Designs zurückgreifen.
Key Takeaways
1. Aktuelle grosse Sprachmodelle (LLMs) basieren auf dem Transformer-Modell.
2. LLMs sind meisterhaft darin, das nächste Wort zu erraten.
3. LLMs demonstrieren grundlegende Fähigkeiten im logischen Denken.
4. Kreative Berufe sind überraschend schnell von der Entwicklungen in der AI betroffen.
Empfohlene Inhalte und Meinungen:
sam-altman-ai-for-the-next-era
lexfridman.com/sam-altmanam
Im nächsten Blog «2-AI-Renaissance: AI & LLMs entmystifiziert – Einsichten für Entscheidungsträger» analysiere ich, warum die AI ausgrechnet jetzt einen solchen Boom erlebt. Sei gespannt und bleibe dran.
Stelle sicher, dass du keinen Beitrag aus dieser achtteiligen Serie verpasst und in Zukunft direkt über Neuigkeiten im Bereich Künstliche Intelligenz informiert bleibst. Registriere dich jetzt für das kostenlose Blog-Abo.
Hast du weitere Fragen? Dann zögere nicht und kontaktiere uns. Wir helfen dir gerne unter marketing@bithawk.ch weiter.