Stanford CS329A (Ep 9): Die große Evolution des Post-Trainings — Vom Chatbot zur autonomen Agentenflotte (SFT, RLHF, RLVR, Agent RL)
Wie verwandelten sich rohe Basismodelle — im Grunde stochastische Papageien, die lediglich das nächste Wort im Internet vorhersagten und keine kohärente Konversation führen konnten — in höfliche Chat-Assistenten und schließlich in werkzeugnutzende, autonome Agenten, die Linux-Terminals bedienen und komplexe Softwareprobleme selbstständig lösen?
Im großen Finale von Teil 2: Training & Evolution (Lektionen 6 bis 9) des Kurses Stanford CS329A: Self-Improving AI Agents (Selbstverbessernde KI-Agenten) zeichnen wir die Gesamtgeschichte des modernen Post-Trainings aus der Perspektive von Melvin Johnson, Senior Research Scientist bei Google DeepMind, nach:
„Die Geschichte des Post-Trainings ist die schrittweise Übertragung der Überwachungsautorität: von menschlichen Händen (Demonstrationen) auf menschliche Augen (Präferenz-Rankings), weiter auf deterministische Regelprüfer (Compiler) und schließlich auf die tatsächlichen Ausführungsergebnisse in physischen Software-Sandboxes.“
In diesem Beitrag präsentieren wir die Autonomous Agent Evolution Roadmap (Evolutions-Roadmap autonomer Agenten) und analysieren die Post-Training LLM Evolution (Evolution des Post-Trainings), die Grenzen des Supervised Fine-Tuning SFT Agent (überwachtes Feintuning), Triumphe und Goodhart-Fallen beim RLHF Alignment for Agents (menschliche Präferenzausrichtung), den Durchbruch von RLVR (DeepSeek-R1) sowie das Tool-Grounded Post-Training (werkzeuggestütztes Post-Training) via Agent RL (WebRL, MiRA).