본문으로 건너뛰기

"maeumjigi" 태그로 연결된 24개 게시물개의 게시물이 있습니다.

모든 태그 보기

[마음지기 캡스톤 개발일지 #24] 2학기 킥오프: 종단적 임상 데이터 전처리 및 정보성 결측(MNAR) 모델링

· 약 7분
Jaybee
AI & Robotics Engineer

임상 데이터 전처리 및 정보성 결측 파이프라인

마음지기(Maeumjigi) 캡스톤 프로젝트 개발일지 24번째 편에 오신 것을 환영합니다.

지난 6월 1학기 최종 발표 평가와 이중 안전 가드레일 래퍼(Dual-layer Safety Wrapper) 배포를 성공적으로 마친 후, 저희 팀은 공식적으로 2학기(2026년 2학기) 개발 일정에 돌입했습니다. 1학기에는 대형 언어 모델(LLM) 파인튜닝(Llama 3.1 8B, Qwen 2.5 32B/7B), 합성 대화 데이터 생성, 프롬프트 안전성 가드레일 구축 등 주로 자연어 처리에 집중했습니다.

그러나 임상 심리학 및 정신과적 위기 분류(Triage)에서 언어 텍스트는 진단의 절반에 불과합니다. 환자의 위기 상태는 시간에 따라 누적되는 종단적 수치 지표(Longitudinal Numerical Markers)—우울 척도(PHQ-9), 범불안 척도(GAD-7), 지각된 스트레스(PSS), 불면증 지수(ISI)—를 통해 복합적으로 발전합니다.

오늘 개발일지에서는 단순 통계적 대체 기법을 탈피하고, 14일 유효 기간 제한 LOCF(Last Observation Carried Forward) 및 정보성 결측(Missing Not at Random, MNAR) 지표를 도입하여 완성한 임상 데이터 엔지니어링 아키텍처를 상세히 공유합니다.

[마음지기 캡스톤 개발일지 #23] 이중 Safety Wrapper 구축, AWS EC2 GPU 서버 견적 및 1학기 최종 발표

· 약 5분
Jaybee
AI & Robotics Engineer

Cover Image

2026년 6월 18일, 3월부터 쉼 없이 달려온 대학 캡스톤 디자인 프로젝트 **'마음지기 (Maeumjigi)'**의 1학기 대장정이 성공적으로 막을 내렸습니다. 단순한 예식장 크롤러로 출발했던 작은 아이디어는 이제 12만 건의 임상 공감 데이터를 학습한 오픈소스 거대 언어 모델과 풀스택 웹/앱 인프라를 갖춘 고신뢰성 AI 심리상담 플랫폼으로 완성되었습니다.

이번 글에서는 서비스의 생명줄이 될 **이중 안전 가드레일(Safety Wrapper)**의 설계, 실제 클라우드 운영을 위한 AWS EC2 GPU 인스턴스 견적 산출, 그리고 감격의 1학기 최종 발표(PPTX) 현장을 전해드립니다.

[마음지기 캡스톤 개발일지 #22] 4차 파인튜닝의 완성! 체크포인트-4400, 황금 데이터 비율과 전체 시스템 아키텍처

· 약 5분
Jaybee
AI & Robotics Engineer

Cover Image

2026년 5월 마지막 주(5월 27일~30일)는 수개월간 이어진 마음지기의 모델 실험 여정 중 가장 찬란한 성과가 터져 나온 순간이었습니다. 끝없는 하이퍼파라미터 튜닝과 데이터셋 재구축 끝에 마침내 가동된 **4차 파인튜닝(fine_tuning_4)**이 성공적으로 종료되었습니다.

이번 글에서는 이전 모델들의 고질병이었던 '과도한 상담 모드(Over-Counseling)'를 해결한 데이터 혼합 비율의 비밀, 최고의 자연스러움과 공감 능력을 입증한 골든 체크포인트(Checkpoint-4400), 그리고 실제 웹/앱 서비스를 지탱할 전체 시스템 아키텍처를 공개합니다.

[마음지기 캡스톤 개발일지 #20] 3차 파인튜닝 완료 및 백엔드 기능(DB, 게시판) 고도화

· 약 2분
Jaybee
AI & Robotics Engineer

사진 01

5월 19일과 20일 이틀 동안은 3차 파인튜닝(fine_tuning_3)의 평가 자동화와 더불어, 실제 앱(App) 서비스 구축을 위한 백엔드/프론트엔드 기능 고도화 작업이 병렬로 진행되었습니다.

[마음지기 캡스톤 개발일지 #19] 파인튜닝 평가 보고서 자동화와 FastAPI PostgreSQL 401 에러 트러블슈팅

· 약 5분
Jaybee
AI & Robotics Engineer

Cover Image

2026년 5월 17일은 2차 파인튜닝(fine_tuning_2)의 방대한 실험 결과를 정리하는 동시에, 백엔드와 프론트엔드를 하나로 엮는 과정에서 발생한 치명적인 시스템 연동 장애를 극복한 숨 가쁜 하루였습니다. 특히 수백 개의 추론 벤치마크 지표를 기술 보고서로 전자동 컴파일하고, PostgreSQL 데이터베이스 덤프 복원 직후 닥쳐온 HTTP 401 Unauthorized 무한 로그인 실패 에러를 완벽히 해결한 과정을 상세히 기록합니다.

[마음지기 캡스톤 개발일지 #16] 치명적 실수와 2차 파인튜닝, 그리고 React Native 앱 첫 구동

· 약 3분
Jaybee
AI & Robotics Engineer

사진 01

5월 8일은 그동안 뽑아낸 파인튜닝 결과들을 바탕으로 캡스톤디자인 중간 발표 자료(PPT)를 만들던 날이었습니다. 하지만 기분 좋게 슬라이드를 채워나가던 중, 등골이 서늘해지는 엄청난 실수를 발견하고 말았습니다.

[마음지기 캡스톤 개발일지 #15] 5개 모델 파인튜닝 결과 시각화 및 로컬 환경 세팅

· 약 2분
Jaybee
AI & Robotics Engineer

사진 01

5월 7일은 그동안 피땀 흘려 파인튜닝한 총 5개의 모델(Llama3.3-70B, DSR1-70B, HCX-Omni-8B, Qwen35-9B, HCX-Text-1.5B)의 결과를 집대성하고, 본격적인 시각화와 로컬 환경 구성을 진행한 날입니다.

[마음지기 캡스톤 개발일지 #14] 모든 파인튜닝 완료 및 병렬 추론(Eval) 환경 구축

· 약 2분
Jaybee
AI & Robotics Engineer

사진 01

5월 6일, 드디어 길고 길었던 파인튜닝의 늪에서 빠져나왔습니다! 며칠간의 밤샘 작업과 하이퍼파라미터 조율 끝에 HCX-Omni-8B와 Qwen35-9B 등 중소형 모델들의 학습이 성공적으로 마무리되었습니다.

[마음지기 캡스톤 개발일지 #13] 70B 학습의 한계와 중소형 모델(HCX, Qwen) 우회 전략

· 약 2분
Jaybee
AI & Robotics Engineer

사진 01

70B라는 거대한 모델의 파인튜닝 과정에서 발생한 OOM(메모리 부족) 지옥을 경험한 5월 4일, 저희는 과감한 전략 변경을 시도했습니다. 70B 모델(Llama3.3, DeepSeek-R1)은 배치 사이즈를 극단적으로 줄여 겨우 checkpoint-1200, 1300까지 진행시켰지만, 학습 시간이 너무 오래 걸려 효율이 극악이었습니다.

[마음지기 캡스톤 개발일지 #12] 70B 초대형 모델 파인튜닝과 GPU 메모리(OOM) 사투

· 약 2분
Jaybee
AI & Robotics Engineer

사진 01

5월 3일, 그동안 8B 모델로 충분히 감을 잡은 저희 팀은 드디어 진정한 성능의 끝판왕, 70B(700억 개 매개변수) 초대형 모델의 파인튜닝에 도전했습니다. Llama 3.3 70B와 DeepSeek-R1 70B 두 가지 모델을 대상으로 학습을 시도했는데, 예상대로 엄청난 하드웨어 자원의 장벽에 부딪히고 말았습니다.

[마음지기 캡스톤 개발일지 #11] 합성 데이터(v5) 훈련 결과 M6 모델 평가

· 약 3분
Jaybee
AI & Robotics Engineer

사진 01

4월 19일, 피땀 흘려 만들어낸 가상의 합성 데이터셋(v5)으로 훈련시킨 모델(M6)의 성능을 평가하고, 이를 바탕으로 7주 차 주간 보고서를 작성한 날입니다. 과연 10달러의 과금 폭탄을 견뎌내며 만들어낸 데이터는 그만한 가치가 있었을까요?

[마음지기 캡스톤 개발일지 #10] API 요금 한도 해제와 무인 자동화: 견고한 데이터 합성 파이프라인 복구기

· 약 5분
Jaybee
AI & Robotics Engineer

Cover Image

2026년 4월 14일은 분산 데이터 파이프라인의 **내결함성(Fault Tolerance)**이 얼마나 중요한지 뼈저리게 배운 날이었습니다. 예기치 못한 API 요금 폭탄으로 일시 중단되었던 v5 합성 데이터 생성을 재개하기 위해 Anthropic API 결제 한도를 증액(제한 해제)하고 시스템을 가동했지만, 곧바로 HTTP 429(Too Many Requests) 속도 제한과 네트워크 단절로 인한 체크포인트 파일 깨짐 현상이 발생했습니다.

우리는 이 문제를 해결하기 위해 파이프라인을 **지수 백오프(Exponential Backoff)**와 원자적 파일 교체(Atomic Replacement) 기반의 완전 무인 자율 복구 아키텍처로 전면 개편했습니다.

[마음지기 캡스톤 개발일지 #9] Llama 3.1 파인튜닝 에러 사투와 6주차 중간발표

· 약 2분
Jaybee
AI & Robotics Engineer

사진 01

4월 9일, 어제 야심 차게 완성한 Colab 노트북을 이용해 드디어 인공지능 모델(Llama 3.1)의 첫 학습(파인튜닝)을 시도했습니다. 하지만 현실은 역시 호락호락하지 않았고 수많은 에러와 마주해야 했습니다. 동시에 캡스톤 디자인 6주차 중간발표 자료까지 만들어야 했던 험난한 하루였습니다.

[마음지기 캡스톤 개발일지 #7] 합성 데이터(v5) 생성 최적화와 프론트엔드 연동

· 약 2분
Jaybee
AI & Robotics Engineer

사진 01

4월 7일은 팀원이 구축한 프론트엔드(mental-health) 코드를 로컬 환경에서 실행해 보며 통합을 시도한 날이자, AI를 활용해 부족한 상담 데이터를 6만 건이나 새롭게 '합성(Synthesis)'해내는 거대한 스크립트를 가동한 날입니다.

[마음지기 캡스톤 개발일지 #6] 전처리 최종 보고서 자동화: python-docx 차트 생성과 Next.js 14 프론트엔드 킥오프

· 약 5분
Jaybee
AI & Robotics Engineer

Cover Image

2026년 4월 5일은 마음지기 프로젝트에서 데이터 엔지니어링과 웹 풀스택 개발의 두 가지 핵심 축이 맞물린 매우 중요한 날이었습니다. 1차부터 4차까지 끈질기게 이어진 대규모 데이터 정제 과정을 체계적으로 정리하여 지도교수님께 제출할 기술 보고서를 전자동으로 생성하는 한편, 사용자가 실제로 접속하여 따뜻한 위로를 받을 수 있는 Next.js 14 기반의 프론트엔드 프로젝트를 공식 킥오프했습니다.

[마음지기 캡스톤 개발일지 #5] 10만 건의 감정 데이터 정제와 API 비용의 압박

· 약 2분
Jaybee
AI & Robotics Engineer

사진 01

4월 3일, 본격적으로 딥러닝 모델(Llama 3.1)에 먹일 훈련용 대화 데이터를 정제하는 작업에 착수한 날의 기록입니다. 단순히 데이터를 합치는 것을 넘어, AI가 텍스트를 보고 스스로 감정을 판별하게 만드는 거대한 파이프라인을 돌려본 날이기도 합니다.

[마음지기 캡스톤 개발일지 #4] 본격 데이터 전처리: Llama 3.1 챗 템플릿과 자율 JSONL 파이프라인 구축

· 약 4분
Jaybee
AI & Robotics Engineer

Cover Image

2026년 4월 1일은 마음지기의 핵심 인공지능 두뇌가 될 Meta Llama 3.1 모델을 학습시키기 위해, 방대한 양의 한국어 공감 대화 원시 데이터를 모델이 완벽히 이해할 수 있는 인스트럭션 데이터로 변환하는 본격적인 데이터 전처리가 가동된 날입니다. 고성능 파인튜닝 모델의 성패는 모델 파라미터보다 데이터 전처리의 무결성에 달려 있습니다.

[마음지기 캡스톤 개발일지 #3] 알람 앱 빌드 테스트와 파인튜닝 전처리 돌입

· 약 2분
Jaybee
AI & Robotics Engineer

사진 01

마음지기 프로젝트의 초기 방향이었던 국방컨벤션 예약 알람 앱의 안드로이드 빌드 테스트를 진행하는 동시에, 본격적으로 인공지능 기반 프로젝트로의 전환을 암시하는 Llama 3.1 파인튜닝 데이터 전처리를 처음 시작한 3월 31일의 기록입니다.

[마음지기 캡스톤 개발일지 #2] 초기 알람 앱 기획 구체화와 테스트

· 약 2분
Jaybee
AI & Robotics Engineer

사진 01

마음지기 프로젝트의 초기 아이디어였던 '국방컨벤션 예약 알람' 애플리케이션의 개발을 본격적으로 시작한 3월 30일의 기록입니다. 지난번 세웠던 코딩 규칙을 바탕으로 구체적인 프로젝트 진행 계획을 수립하고, 테스트 주도 개발(TDD)을 위한 기반을 다졌습니다.

[마음지기 캡스톤 개발일지 #1] 첫 걸음과 기획: Claude Code 협업 규칙과 알람 앱에서 멘탈케어 AI로의 피봇

· 약 5분
Jaybee
AI & Robotics Engineer

Cover Image

2026년 3월 26일, 장장 1학기에 걸친 대형 캡스톤 디자인 프로젝트 '마음지기'의 대장정이 공식적으로 시작되었습니다. 첫날은 앞으로 진행될 수많은 밤샘 개발과 인공지능 모델 훈련의 초석을 다지는 날이었습니다. 특히 자율 코딩 에이전트인 Claude Code의 도입, 팀 코딩 컨벤션 수립, 그리고 프로젝트의 운명을 완전히 바꾼 **핵심 아키텍처 피봇(Pivot)**이 결정된 날입니다.