LLMs brillieren im Spiel «Errate das nächste Wort». Sie sind absolut überlegen durch algorithmische Mustererkennung. Aber wie gut sind sie wirklich im Vergleich zum Menschen und wie sieht es mit ihrer Sozialkompetenz aus?
Let's dive in...
Was bedeutet es, wenn AI die menschliche Intelligenz übertrifft, und wie kann dies gemessen werden? Menschliche AI, oft als AGI (Artificial General Intelligence) oder ASI (Artificial Super Intelligence) bezeichnet, wurde traditionell anhand des Turing-Tests definiert. Dieser Test, vorgeschlagen von dem englischen Mathematiker und Computerwissenschaftler Alan Turing im Jahr 1950, zielt darauf ab, festzustellen, ob eine Maschine Intelligenz auf einem menschenähnlichen Niveau zeigen kann. Der Test beinhaltet eine Situation, in der ein menschlicher Richter entscheiden muss, ob er mit einem Menschen oder einer Maschine interagiert, ohne dies im Vorfeld zu wissen. Wird die Maschine nicht vom Menschen unterschieden, gilt sie als bestanden.
In den vergangenen 12 Monaten dürfte der Turing-Test inoffiziell bestanden worden sein, dennoch behauptet niemand, dass AGI oder ASI bereits erreicht worden sind. Es bedarf also differenzierterer Messmethoden.
Mit der Entwicklung von Large Language Models (LLMs) wie GPT-3 werden neue Tests verwendet, um deren Leistungsfähigkeit zu messen. Dabei ist es wichtig, dass die Testfragen nicht bereits im Trainingsmaterial der LLMs enthalten waren.
Dr. Alan D. Thompson hat 2020 seine Position als Vorsitzender der «Gifted Families» bei Mensa International aufgegeben, nachdem er die Fähigkeiten von GPT-3 im Vergleich zu seinen hochbegabten Klienten gesehen hatte. Er ist ein Beispiel für jemanden, der sich intensiv mit diesem Thema beschäftigt hat.
Weitere Informationen zu seiner Arbeit und seinen Beobachtungen findest du hier: https://lifearchitect.ai/iq-testing-ai/
Insgesamt zeigt sich, dass die Messung von AI-Intelligenz ein komplexes und sich ständig weiterentwickelndes Feld ist, das über den traditionellen Turing-Test hinausgeht.
Es wird zunehmend deutlich, dass bestimmte Tests sich als Benchmarks etablieren, um die Leistungsfähigkeit von AI-Systemen miteinander zu vergleichen.
Eine detaillierte Diskussion aller Benchmarks würde den Rahmen dieses Blogs bei Weitem überschreiten. Dennoch finde ich es bemerkenswert, dass LLMs Menschen in vielen Mathematik- und IQ-Tests übertreffen können. Noch überraschender ist jedoch, dass diese Modelle auch auf dem Gebiet der Empathie erfolgreich sind, und zwar in einem Masse, dass sie sogar menschliche Ärzte hinter sich lassen können.
Eine detaillierte Diskussion aller Benchmarks würde den Rahmen dieses Blogs bei Weitem überschreiten. Dennoch finde ich es bemerkenswert, dass LLMs Menschen in vielen Mathematik- und IQ-Tests übertreffen können. Noch überraschender ist jedoch, dass diese Modelle auch auf dem Gebiet der Empathie erfolgreich sind, und zwar in einem Masse, dass sie sogar menschliche Ärzte hinter sich lassen können.
Key Takeaways
- Large Language Models (LLMs) werden durch eine Reihe von Tests beurteilt und sowohl untereinander als auch im Vergleich zu Menschen bewertet.
- Aktuelle LLMs übertreffen oft die Leistung eines durchschnittlichen Menschen.
- Überraschenderweise wurden LLMs sogar als empathischer eingestuft als Ärzte, basierend auf der Beurteilung durch Patienten.
Stelle sicher, dass du keinen Beitrag zum Thema AI verpasst und in Zukunft direkt über Neuigkeiten im Bereich Artificial Intelligence informiert bleibst. Registriere dich jetzt für das kostenlose Blog-Abo.
✍️✍️✍️
Hast du weitere Fragen? Dann zögere nicht und kontaktiere uns. Wir helfen dir gerne unter marketing@bithawk.ch weiter.