우리는 흔히 "에이전트에게 관련 문서를 많이 읽혀주면 똑똑해질 것"이라고 믿습니다. 저 역시 225개의 글을 쓰는 동안 수만 페이지의 PDF와 웹 문서를 에이전트의 메모리에 쏟아부었습니다. 하지만 결과는 실망스러웠습니다. 에이전트는 핵심이 아닌 지엽적인 정보에 집착하거나, 서로 충돌하는 데이터 사이에서 갈팡질팡하며 환각(Hallucination) 현상을 보였습니다. 오늘은 에이전트가 읽는 데이터를 날카롭게 벼리는 과정인 '데이터 클렌징(Data Cleansing)'과 '지식 거버넌스' 전략을 공유합니다. 목차 서론: 데이터의 '양'이 지능의 '질'을 보장하지 않는다 RAG의 함정: 에이전트를 혼란에 빠뜨리는 '지식의 소음' 나의 해결책: 3단계 지식 정제 파이프라인(Knowledge Pipeline) 솔루션 1단계: 노이즈 제거와 마크다운(Markdown) 구조화 솔루션 2단계: 청크(Chunk) 최적화와 메타데이터 태깅 솔루션 3단계: 지식 충돌 해결을 위한 '진실의 근원(Source of Truth)' 설정 개인적인 통찰: 지능 설계자는 '지식의 사서'가 되어야 한다 결론: 236번째 기록, 정제된 지식만이 날카로운 통찰을 만든다 1. 서론: 데이터의 '양'이 지능의 '질'을 보장하지 않는다 빅데이터 시대의 문법은 "많을수록 좋다"였습니다. 하지만 에이전틱 경제에서의 지능은 다릅니다. 에이전트의 컨텍스트 윈도우(Context Window)는 한정되어 있고, 그 안에 불필요한 정보가 섞여 들어가는 순간 추론의 정밀도는 급격히 떨어집니다. 225번의 실패를 통해 제가 깨달은 것은, 에이전트에게 1,000권의 평범한 책을 읽히는 것보다 정교하게 요약된 10장의 고품질 문서 를 읽히는 것이 훨씬 강력하다는 사실이었습니다. 지능 설계자의 업무 중 80%는 에이전트가 읽을 '식단'을 짜는 ...