"test-time-compute" 태그로 연결된 2개 게시물개의 게시물이 있습니다.

스탠포드 대학교의 2025년 가을 학기 최신 대학원 강좌, CS329A: Self-Improving AI Agents (스스로 발전하는 AI 에이전트) 두 번째 엔지니어링 해설에 오신 것을 환영합니다.

지난 제1강에서 우리는 정적(Static) 차세대 토큰 예측기에 불과하던 거대 언어 모델(LLM)이 환경과 피드백 루프를 주고받는 완전 자율 에이전트로 진화하는 거대한 패러다임 전환을 개괄했습니다. 오늘 제2강에서는 이 자율성을 지탱하는 가장 본질적인 수학적·컴퓨팅적 기둥, 바로 **추론 시간 연산 확장 (Test-Time Compute Scaling / Inference-Time Scaling)**을 다룹니다.

지난 수년간 AI 산업을 지배한 유일한 교리는 사전 훈련 단계의 스케일링 법칙(Kaplan et al., Chinchilla)이었습니다: 더 거대한 GPU 클러스터를 구축하고, 파라미터 크기 N을 수천억 단위로 키우며, 수십조 개의 웹 텍스트 토큰 D를 투입하라. 그러나 사전 훈련을 마친 가중치 θ가 동결(Frozen)된 모델에게 질문을 던졌을 때, 50밀리초 만에 성급한 탐욕적(Greedy) 답변을 내놓게 두는 대신 10초, 1분, 10분 동안 깊이 사고하고, 중간 단계를 검증하며, 가설을 스스로 수정하도록 연산(FLOPs)을 쏟아붓는다면 어떤 일이 벌어질까요?

Large Language Monkeys (Brown et al., 2024), 스탠포드-버클리 Charlie Snell 연구팀의 Compute-Optimal Scaling (Snell et al., 2024), 그리고 Archon 모듈형 아키텍처 탐색 프레임워크를 통해 **"추론 연산(FLOPs)을 투입하여 파라미터 용량을 압도하는 현대 인공지능의 최신 최적화 법칙"**을 정밀하게 파헤쳐 보겠습니다.

flowchart TD
    subgraph PreTrain ["고전적 개척지: 훈련 연산 확장 (Train-Time Scaling)"]
        direction TB
        P1["수십조 개 공개 웹 토큰 (D)"] --> P2["수만 장 규모 초대형 GPU 클러스터 (C_train)"]
        P2 --> P3["사후 동결된 고밀도 모델 (θ)"]
        P3 --> P4["단일 순방향 패스 추론 (O(1) 고정 추론 연산)"]
    end

    subgraph TestTime ["CS329A 최전선: 추론 시간 연산 확장 (Test-Time Compute Scaling)"]
        direction TB
        T1["동결된 기본 가중치 (θ)"] --> T2["동적 추론 연산량 (FLOPs) 가변 투입"]
        T2 --> T3{"문제 난이도 적응형 전략 선택"}
        T3 -- "낮은 난이도 (Bin 1-2)" --> T4["순차적 수정 (Sequential Revision: 자가 교정)"]
        T3 -- "높은 난이도 (Bin 3-5)" --> T5["PRM 기반 트리 탐색 (MCTS / 빔 서치)"]
        T4 --> T6["프로세스 보상 모델 (PRM) 검증기"]
        T5 --> T6
        T6 --> T7["수학적·기계적으로 증명된 최종 정답 추출"]
    end

    PreTrain -.->|"변곡점: 파라미터 확장 한계 도달"| TestTime

**스탠포드 대학교(Stanford University) CS329A: Self-Improving AI Agents (스스로 발전하는 AI 에이전트, Autumn 2025)**의 기술 심층 해설에 오신 것을 환영합니다.

지난 4년간 인공지능 학계와 산업계는 하나의 강력한 도그마에 의해 지배되어 왔습니다. 그것은 바로 *"더 거대한 텍스트 코퍼스에서 더 큰 모델을 사전 훈련(Pre-training)할수록 인지 능력이 예측 가능하게 향상된다"*는 스케일링 법칙이었습니다. 비록 이 패러다임이 현대 생성형 AI 혁명을 촉발하고 GPT-4, Claude 3.5, Gemini 같은 모델들을 탄생시켰지만, 머신러닝 연구의 최전선은 이제 중대한 변곡점에 도달했습니다.

정적 파운데이션 모델(Static Foundation Model)은 파라미터가 아무리 거대할지라도 본질적인 한계를 갖습니다. 그것은 사전 훈련이 끝나고 가중치가 동결(Frozen)된 후 개루프(Open-loop) 체제에서 작동하는 수동적, 자기회귀적(Autoregressive) 다음 토큰 예측기에 불과하다는 점입니다. 이러한 모델은 어려운 문제를 만났을 때 동적으로 더 많은 연산을 투입할 수 없고, 자신이 생성한 해답의 사실적 정확성을 스스로 검증할 수 없으며, 환경의 피드백을 바탕으로 실수를 자율적으로 교정하지 못합니다.

flowchart LR
    subgraph 정적_패러다임 ["정적 파운데이션 모델 (2020-2024)"]
        direction TB
        A1[대규모 웹 코퍼스] --> B1[대규모 사전 훈련 클러스터]
        B1 --> C1[지도 미세조정 SFT]
        C1 --> D1[동결된 정적 가중치 모델]
        D1 -->|단일 순방향 패스| E1[1회성 텍스트 응답]
    end

    subgraph 자율_자가진화_패러다임 ["스탠포드 CS329A 최전선: 자가 진화 에이전트"]
        direction TB
        A2[복잡한 과제 목표] ==> B2[추론 및 계획 엔진]
        B2 -->|실행 행동 / 코드 초안| C2[샌드박스 환경 및 도구]
        C2 -->|실행 궤적 및 상태| D2[프로세스 검증기 PRM]
        D2 -->|보상 및 오류 피드백| B2
        D2 ==>|추론 시간 및 훈련 시간 업데이트| E2[지속적 자가 진화]
    end

스탠포드 CS329A는 향후 10년의 인공지능을 관통할 핵심 질문을 던집니다: "단순히 텍스트를 출력하는 데 그치지 않고, 자신의 추론과 코드를 스스로 검사하고, 검증하며, 계획하고, 개선해 나가는 소프트웨어 에이전트를 어떻게 설계할 것인가?"

이번 1강 개요에서는 파운데이션 LLM에서 자율 에이전트로의 진화 궤적을 해부하고, 사전 훈련 스케일링 법칙과 추론 시간 연산 할당의 수학적 기초를 정립하며, 4대 정규 에이전트 워크플로 패턴과 자율 지능의 최대 병목인 **'생성자-검증자 격차(Generator-Verifier Gap)'**를 철저히 파헤칩니다.