Ein Post getaggt mit "LLM-Evolution"

Im Jahr 2019 formulierte der Informatikpionier Richard Sutton eine der prägnantesten und weitsichtigsten Beobachtungen in der Geschichte der künstlichen Intelligenz — The Bitter Lesson (Die bittere Lektion):

„Die wichtigste Lektion aus 70 Jahren KI-Forschung ist, dass allgemeine Methoden, die Rechenleistung massiv nutzen, letztlich am effektivsten sind, und zwar mit großem Abstand... Von Menschen handgefertigte Algorithmen werden ausnahmslos von Systemen übertroffen, die autonom lernen, suchen und evolvieren.“

Die Computer-Vision verbrachte Jahrzehnte damit, SIFT- und HOG-Merkmalsextraktoren manuell zu konstruieren, nur um über Nacht von tiefen Faltungsnetzen (CNNs) abgelöst zu werden. Die Computerlinguistik investierte Jahre in handgeschriebene Syntaxbäume, bis aufmerksamkeitsbasierte Transformer alle manuellen Sprachregeln verdrängten.

In dieser siebten Vorlesung von Stanford CS329A: Self-Improving AI Agents (Selbstverbessernde KI-Agenten) stellen wir uns der provokantesten Frage des modernen Agenten-Engineerings:

„Warum programmieren menschliche Ingenieure ReAct-Schleifen, PRM-Verifizierer und LATS-Baumsuchalgorithmen immer noch Zeile für Zeile von Hand? Was geschieht, wenn wir Turing-vollständigen Quellcode als biologische DNA behandeln und autonomen Meta-Agenten erlauben, überlegene KI-Architekturen ohne menschliches Zutun zu entwerfen und zu evolvieren?“

Dieser Beitrag untersucht die Spitzenforschung im Bereich Open-Ended Evolution LLM (Offene Evolution von Sprachmodellen) und analysiert drei bahnbrechende Meilensteine: Automated Design of Agentic Systems ADAS (Automatisierter Entwurf von Agentensystemen), Sakana AIs Rahmenwerk The AI Scientist Sakana für Autonomous Machine Learning Discovery (Autonome Entdeckungen im maschinellen Lernen) und Google DeepMinds Meisterwerk AlphaEvolve, angetrieben durch Self-Referential Code Evolution (Selbstreferenzielle Code-Evolution).