스탠포드 CS329A (9강): 사후 훈련의 대진화 — 챗봇에서 자율 에이전트 함대로 (SFT, RLHF, RLVR, Agent RL)
인터넷 텍스트의 다음 단어를 예측하는 확률론적 앵무새에 불과했던 원시 언어 모델(Base Model)이 어떻게 인간의 말을 찰떡같이 알아듣는 친절한 비서(Chatbot)가 되었고, 이제 스스로 도구를 쥐고 리눅스 터미널을 조작하며 복잡한 문제를 해결하는 자율 에이전트(Agent)로 거듭나고 있을까요?
오늘 우리는 **스탠포드 CS329A: Self-Improving AI Agents (스스로 발전하는 AI 에이전트)**의 두 번째 거대한 산맥인 **Part 2 · Training & Evolution (L6~L9)**을 완결 짓는 대단원의 자리에 섰습니다. 구글 딥마인드(Google DeepMind)의 선임 연구 과학자 멜빈 존슨(Melvin Johnson)의 시각을 바탕으로, 현대 인공지능이 거쳐 온 사후 훈련(Post-training)의 대진화사를 하나의 웅장한 파노라마로 총정리합니다:
"사후 훈련의 역사는 피드백 신호의 주권을 인간의 손끝(시연 데이터)에서 인간의 눈(선호도 평가)으로, 객관적 검증기(수학/컴파일러)로, 그리고 마침내 물리적 환경 샌드박스의 실행 결과 그 자체로 이양해 온 장엄한 여정이다."
이번 포스팅에서는 **Autonomous Agent Evolution Roadmap(자율 에이전트 진화 로드맵)**을 중심으로, Post-Training LLM Evolution(거대 언어 모델의 사후 훈련 진화), **Supervised Fine-Tuning SFT Agent(지도 미세조정)**의 한계, **RLHF Alignment for Agents(인간 피드백 기반 정렬)**의 성공과 굿하트의 역설, DeepSeek-R1이 촉발한 RLVR(규칙 기반 강화학습), 그리고 **Tool-Grounded Post-Training(도구 기반 사후 훈련)**을 실현한 Agent RL의 최신 지평을 완벽 해부합니다.