Ein Post getaggt mit "LLM Reasoning"

Über Jahrzehnte hinweg herrschte in der KI-Forschung eine tief verwurzelte Skepsis gegenüber konnektionistischen neuronalen Netzen:

„Ein autoregressives Sprachmodell ist lediglich ein stochastischer Papagei (Stochastic Parrot), der statistisch wahrscheinliche Wörter aneinanderreiht. Wird es mit mehrstufigen Rechenaufgaben, formaler Logik oder Kausalketten konfrontiert, halluziniert es oberflächlich, da statistische Sequenzmodellierung zu echter logischer Deduktion unfähig ist.“

Frühe Modelle schienen diese Skepsis zu bestätigen: Bei einfachen mathematischen Textaufgaben antworteten sie oft unmittelbar mit falschen Zahlen, unfähig, Zwischenschritte zu behalten.

Mit diesem Auftakt zu Teil 4: Die Frontlinien (Lektionen 13 bis 17) von Stanford CS329A: Self-Improving AI Agents betreten wir den theoretischen Gipfel künstlicher Intelligenz: die LLM Reasoning Foundations. Angeleitet von den bahnbrechenden Arbeiten von Dr. Denny Zhou (Leiter der Reasoning-Forschung bei Google DeepMind) entschlüsseln wir, wie der Funke des logischen Denkens in Sprachmodellen entzündet wird:

• Chain of Thought CoT Prompting (NeurIPS 2022): Wie die Zerlegung von Aufgaben in natürlichsprachliche Zwischenschritte die Genauigkeit von PaLM 540B von 18% auf 57% katapultierte — ohne ein einziges Modellgewicht zu verändern.
• Self-Consistency Decoding LLM (ICLR 2023): Inspiriert von Tolstois Anna-Karenina-Prinzip — „Wahre Lösungswege konvergieren zur selben Wahrheit, fehlerhafte Pfade driften ins Chaos ab“ — filtert Mehrheitsentscheidung stochastisches Rauschen heraus.
• Emergent Cognitive Abilities AI (2022): Physikalische Phasenübergänge („More is Different“) und die historische Debatte: Ist Emergenz ein realer Durchbruch oder eine optische Täuschung nichtlinearer Metriken?