"SWE-bench" 태그로 연결된 2개 게시물개의 게시물이 있습니다.

엔지니어링 팀이 자율 코딩 에이전트를 개발하여 경영진이나 투자자에게 보고할 때, "MMLU 시험에서 92점을 맞았습니다"라고 말하는 것은 아무런 실질적 감흥을 주지 못합니다. 비즈니스 현장에서 돌아오는 질문은 훨씬 더 냉혹하고 구체적입니다:

• "이 에이전트가 우리 회사에서 실제로 인간 개입 없이 몇 시간짜리 복잡한 업무를 끝까지 해낼 수 있습니까?"
• "인간 시니어 엔지니어가 8시간 걸려 작성하는 프로덕션 리팩토링이나 재무 분석 리포트를 이 에이전트가 완벽히 대체할 수 있습니까? 그 경제적 순가치는 과연 몇 달러입니까?"

기존의 객관식 벤치마크(MMLU, GSM8K, HumanEval)는 이미 90점대를 넘기며 포화(Saturation)되었고, 웹 크롤링에 의한 데이터 오염(Contamination)으로 인해 단순 암기 시험으로 전락했습니다. 무엇보다 5초짜리 객관식 퀴즈를 푸는 것과 **수시간 동안 수백 단계의 상태적 결정을 이어가는 장거리 과제(Long-Horizon Agent Tasks)**는 차원이 다릅니다.

Stanford CS329A: Self-Improving AI Agents의 **Part 3: 에이전트 엔지니어링(Agent Engineering)**을 마무리하는 이번 Lecture 12에서는 Agent Evaluation Benchmarks — 인공지능의 지능을 무의미한 백분율 점수가 아니라 **인간의 시간(Human Time)**과 **경제적 달러($)**라는 현실의 물리적 척도로 측정하는 3대 혁신 평가 체계를 심층 분석합니다:

• 인간 시간 척도 지능 (METR, 2025): 50% 성공률 시간 지평(h_agent)과 7개월 주기 배가 법칙.
• 실전 경제적 가치 평가 (OpenAI GDPval, 2025): 미국 GDP 9대 산업 44개 전문직 블라인드 평가 및 현실적인 '수정 비용(Try-n-then-fix)' 경제학.
• 오염 없는 실시간 학술 리서치 평가 (DeepScholar-Bench, 2025): 3차원 7대 지표와 LLM 판사(Judge)의 위치 편향 상쇄 기법.

현실의 실제 소프트웨어 엔지니어링 현장은 단일 함수를 작성하는 알고리즘 퀴즈나 장난감 벤치마크와는 완전히 다릅니다. 깃허브(GitHub)에 등록되는 수많은 실제 버그 이슈는 단독 파일에 국한되지 않으며, 수백 개의 모듈, 복잡한 레거시 의존성, 그리고 수백만 줄의 대규모 분산 코드베이스 속에 복잡하게 얽혀 있습니다. 더욱이 프로덕션 환경에서 소프트웨어는 단순히 기능적으로 '올바르다(Correct)'는 것을 넘어, '충분히 빠른가(Fast)', 그리고 '물리적 병렬 하드웨어와 완벽히 정렬되어 있는가(Aligned)'라는 냉혹한 다차원 평가를 통과해야 합니다.

오늘부터 시작되는 **스탠포드 CS329A: Self-Improving AI Agents (스스로 발전하는 AI 에이전트)**의 세 번째 거대한 산맥인 **Part 3 · Agent Engineering (L10~L12)**은 연구실의 모델 훈련을 벗어나 프로덕션 소프트웨어 공학의 최전선으로 진입합니다:

"수백만 토큰에 달하는 대규모 엔터프라이즈 레포지토리를 에이전트가 어떻게 탐색하고, 버그를 재현하는 검증 스크립트를 스스로 작성하며, 기존 인간의 PyTorch 베이스라인보다 더 빠른 초고속 GPU 커스텀 커널을 합성해 낼 수 있는가?"

이번 포스팅에서는 SWE-Agent Autonomous Coding(소프트웨어 엔지니어링 에이전트 자율 코딩) 프론티어를 탐구하며, SWE-bench Benchmark GitHub에서 세계 최고 수준의 성과를 거둔 CodeMonkeys Automated Refactoring(코드몽키스 자동 리팩토링), 하드웨어 프로파일러 피드백을 결합한 KernelBench GPU Performance Tuning(커널벤치 GPU 성능 최적화), 그리고 스탠포드 대학교가 제안한 **Agent-Computer Interface ACI(에이전트-컴퓨터 인터페이스 / Agent-System Interface ASI)**의 3대 혁신을 완벽 해부합니다.