본문으로 건너뛰기

"ai-hub" 태그로 연결된 1개 게시물개의 게시물이 있습니다.

모든 태그 보기

[마음지기 캡스톤 개발일지 #4] 본격 데이터 전처리: Llama 3.1 챗 템플릿과 자율 JSONL 파이프라인 구축

· 약 4분
Jihwan Park (jaybee)
AI & Robotics Engineer

Cover Image

2026년 4월 1일은 마음지기의 핵심 인공지능 두뇌가 될 Meta Llama 3.1 모델을 학습시키기 위해, 방대한 양의 한국어 공감 대화 원시 데이터를 모델이 완벽히 이해할 수 있는 인스트럭션 데이터로 변환하는 본격적인 데이터 전처리가 가동된 날입니다. 고성능 파인튜닝 모델의 성패는 모델 파라미터보다 데이터 전처리의 무결성에 달려 있습니다.