"LLM Reasoning" 태그로 연결된 1개 게시물개의 게시물이 있습니다.

수십 년 동안 인공지능 학계에는 인공신경망에 대한 깊은 회의론이 지배하고 있었습니다:

"거대 언어 모델은 그저 통계적으로 그럴듯한 다음 단어를 이어 붙이는 확률적 앵무새(Stochastic Parrot)에 불과하다. 다단계 연산, 형식 논리, 인과적 추론이 필요한 복잡한 문제를 주면 그럴듯한 거짓말(환각)을 내뱉을 뿐, 진정한 연역적 사고는 불가능하다."

실제로 초기 모델들은 초등학교 수준의 복합 문장제 수학 문제를 주었을 때 곧바로 틀린 숫자를 찍어내며 참담하게 실패했습니다.

오늘부터 시작되는 Stanford CS329A: Self-Improving AI Agents의 마지막 대망의 **Part 4: 최전선(Frontiers, Lectures 13 through 17)**에서는 기계 지능의 가장 심오한 지적 심연인 LLM Reasoning Foundations로 도약합니다. 구글 딥마인드(Google DeepMind)의 추론 연구 총괄이자 생각의 사슬(CoT)의 창시자인 데니 저우(Denny Zhou) 박사의 기념비적 연구를 바탕으로, 언어 모델 안에서 '추론'이라는 신비로운 불꽃이 어떻게 점화되는지 그 원리를 해부합니다:

• 생각의 사슬 프롬프팅 (Chain of Thought CoT Prompting, NeurIPS 2022): 자연어 중간 추론 단계를 거치게 하는 것만으로 모델 가중치 변경 없이 PaLM 540B의 정답률을 18%에서 57%로 폭등시킨 원리.
• 자가 일관성 디코딩 (Self-Consistency Decoding LLM, ICLR 2023): "정답의 길은 하나로 수렴하고, 오답의 길은 무한히 흩어진다"는 톨스토이 수렴 법칙에 기반한 표본추출과 다수결 투표.
• 창발적 인지 능력 (Emergent Cognitive Abilities AI, 2022): 복잡계 물리학의 상전이("More is Different")와 "창발은 비선형 지표가 만든 착시인가?"라는 산지브 아로라 교수와의 위대한 학술 논쟁.