"LLM Judge" 태그로 연결된 1개 게시물개의 게시물이 있습니다.

엔지니어링 팀이 자율 코딩 에이전트를 개발하여 경영진이나 투자자에게 보고할 때, "MMLU 시험에서 92점을 맞았습니다"라고 말하는 것은 아무런 실질적 감흥을 주지 못합니다. 비즈니스 현장에서 돌아오는 질문은 훨씬 더 냉혹하고 구체적입니다:

• "이 에이전트가 우리 회사에서 실제로 인간 개입 없이 몇 시간짜리 복잡한 업무를 끝까지 해낼 수 있습니까?"
• "인간 시니어 엔지니어가 8시간 걸려 작성하는 프로덕션 리팩토링이나 재무 분석 리포트를 이 에이전트가 완벽히 대체할 수 있습니까? 그 경제적 순가치는 과연 몇 달러입니까?"

기존의 객관식 벤치마크(MMLU, GSM8K, HumanEval)는 이미 90점대를 넘기며 포화(Saturation)되었고, 웹 크롤링에 의한 데이터 오염(Contamination)으로 인해 단순 암기 시험으로 전락했습니다. 무엇보다 5초짜리 객관식 퀴즈를 푸는 것과 **수시간 동안 수백 단계의 상태적 결정을 이어가는 장거리 과제(Long-Horizon Agent Tasks)**는 차원이 다릅니다.

Stanford CS329A: Self-Improving AI Agents의 **Part 3: 에이전트 엔지니어링(Agent Engineering)**을 마무리하는 이번 Lecture 12에서는 Agent Evaluation Benchmarks — 인공지능의 지능을 무의미한 백분율 점수가 아니라 **인간의 시간(Human Time)**과 **경제적 달러($)**라는 현실의 물리적 척도로 측정하는 3대 혁신 평가 체계를 심층 분석합니다:

• 인간 시간 척도 지능 (METR, 2025): 50% 성공률 시간 지평(h_agent)과 7개월 주기 배가 법칙.
• 실전 경제적 가치 평가 (OpenAI GDPval, 2025): 미국 GDP 9대 산업 44개 전문직 블라인드 평가 및 현실적인 '수정 비용(Try-n-then-fix)' 경제학.
• 오염 없는 실시간 학술 리서치 평가 (DeepScholar-Bench, 2025): 3차원 7대 지표와 LLM 판사(Judge)의 위치 편향 상쇄 기법.