"실전 자동화 업무를 위해 AI 에이전트에 다양한 외부 도구(Tool)를 연동해 두었는데, 질문 하나 들어올 때마다 수십 개의 도구를 모두 프롬프트에 집어넣다 보니 입력 토큰 비용이 폭주하고 추론 속도가 현저히 느려졌습니다."
AI 에이전트를 단순히 글을 쓰는 인공지능을 넘어, 실제 웹 검색, 데이터베이스 조회, 계산기, API 호출 등 다양한 실행 능력을 갖춘 '에이전틱 시스템'으로 발전시키다 보면 반드시 마주하는 딜레마가 있습니다. 바로 '도구(Tool) 개수 증가에 따른 토큰 비용 폭주와 지능 저하' 문제입니다.
에이전트에게 "필요할 때 알아서 쓰라"는 마음으로 수십 가지의 기능 매뉴얼(Tool Definition Schema)을 프롬프트에 매번 몽땅 집어넣으면, 질문 하나를 던질 때마다 쓸데없는 도구 설명만 수천 토큰씩 소비하게 됩니다. 게다가 너무 많은 도구 후보군에 둘러싸인 에이전트는 환각 현상을 일으키며 엉뚱한 도구를 잘못 호출해 시스템을 뻗게 만들기도 하지요. 오늘은 제가 직접 경험했던 '도구 과유불급으로 인한 비용 폭탄 잔혹사'와 이를 완벽하게 해결해 낸 '2단계 동적 도구 라우팅(Dynamic Tool Routing) 파이프라인' 구축기를 이야기해 볼게요.
1. "도구 몇 개 추가했다고 API 요금이 5배로 뛴다고?" - 도구 과유불급의 비극
자동화 시스템을 확장하면서 크롤러, 이미지 변환기, SQL 조회기, 이메일 전송기 등 총 25개의 세부 도구를 에이전트에 연동했을 때였습니다. "질문이 무엇이든 에이전트가 알아서 최선의 도구를 선택해 해결해 주겠지"라는 기대감을 품고, 25개 도구의 정교한 JSON 규격 매뉴얼을 모든 요청의 시스템 프롬프트에 직렬 배치해 두었지요.
하지만 한 달 뒤 청구서와 시스템 로그를 확인해 보고 경악을 금치 못했습니다. 간단한 "안녕?"이라는 인사에조차 25개 도구 매뉴얼 전체가 포함되어 들어가는 바람에, 질문 한 번에 무려 4,000토큰 이상이 허공으로 날아가고 있었던 것입니다. 게다가 간단한 계산 문제에 엉뚱하게 SQL 조회 도구를 호출하려다 에러를 뿜어내는 '도구 선택 환각' 현상까지 빈번하게 터졌습니다.
에이전트에게 모든 도구를 한 번에 다 보여주는 방식은 비용과 속도, 정확도 모두를 망치는 지름길이라는 사실을 뼈저리게 느낀 순간이었습니다.
2. 시행착오: 도구 매뉴얼 텍스트를 무작정 요약해 봤더니...
비용을 줄여보겠다고, 25개 도구의 상세 설명서를 한 줄짜리 짧은 문장으로 압축하여 제공해 보았습니다.
그러나 지침이 너무 모호해지자, 이번엔 에이전트가 도구 호출에 필요한 필수 인자(Parameter) 규격을 맞추지 못해 파싱 에러(ValidationError)를 줄줄이 발생시켰습니다. 도구 설명이 길면 토큰 요금 폭탄이 터지고, 도구 설명이 짧으면 실행 에러가 터지는 악순환에 빠져버렸던 것입니다.
💡 몬이쌤의 생각: 학원에서 아이에게 문제를 풀게 할 때, 초등학교 1학년부터 고등학교 3학년까지의 모든 전 과목 문제집 50권을 한꺼번에 책상 위에 쌓아두고 "알아서 찾아서 풀어봐"라고 하면 아이는 압도되어 집중하지 못합니다. 오늘 풀 수학 단원 문제집 딱 1권만 가볍게 올려주는 '선별 작업'이 사전에 필요합니다.
3. 해결책: '시맨틱 도구 선별 & 2단계 라우터' 프로토콜
토큰 비용을 80% 이상 절감하면서도 도구 호출 정확도를 극대화하기 위해, 저는 '2단계 동적 도구 라우팅(Dynamic Tool Routing) 파이프라인'을 도입했습니다.
- 1단계 [시맨틱 벡터 인덱싱(Semantic Tool Indexing)]: 25개 도구의 기능 설명을 임베딩(Vector)하여 도구 검색 창고(Tool Store)에 별도로 보관했습니다. Main 프롬프트에는 도구 정보를 단 1줄도 포함하지 않았습니다.
- 2단계 [경량 라우터 노드의 도구 선별(Intent Classification Router)]: 사용자의 질문이 들어오면, 무거운 메인 모델 대신 초경량 라우터 노드(또는 벡터 검색)가 질문의 의도를 분석해 25개 중 **가장 연관성이 높은 2~3개의 도구만 0.05초 만에 선별**해 냅니다.
- 3단계 [동적 프롬프트 주입(Dynamic Tool Injection)]: 선별된 2~3개 도구의 상세 스키마만 메인 에이전트 프롬프트에 동적으로 주입하여 실행시킵니다. 에이전트는 깔끔하고 명확한 도구 명세서만 받아보고 100% 정확하게 정답을 출력합니다.
4. 결과: 토큰 비용 82% 절감 & 도구 호출 성공률 99.8% 달성!
2단계 동적 도구 라우팅 시스템을 도입한 이후, 도구 개수가 아무리 많이 늘어나더라도 프롬프트 입력 토큰량은 항상 일정하게 최소 수준으로 유지되었습니다!
결과적으로 전체 API 연동 비용이 무려 82%나 대폭 절감되었을 뿐만 아니라, 에이전트가 엉뚱한 도구를 선택하는 환각 현상이 완전히 사라져 도구 호출 성공률 99.8%라는 기적 같은 성과를 거두었지요.
진정으로 똑똑한 AI 에이전트 자동화 시스템을 만든다는 것은 모든 기능을 프롬프트 안에 집어넣는 무식한 방식이 아닙니다. '필요한 순간에, 필요한 도구만 가볍게 쥐여주는 정교한 라우팅 체계를 전면에 배치하는 것'이 바로 고성능 에이전트 설계의 핵심 비결입니다.
여러분의 AI 에이전트도 도구 개수가 늘어남에 따라 API 요금이 폭주하거나 엉뚱한 도구를 호출해 터진다면, 프롬프트 문구만 줄이려 하지 말고 2단계 동적 도구 라우팅 파이프라인을 구축해 보세요. 가성비와 성능 두 마리 토끼를 완벽하게 잡은 명품 시스템을 소유하게 되실 겁니다.