인공지능(AI) 거대언어모델(LLM)의 토큰 소비 증가와 사용량 기반 라이선스 모델로의 전환으로 인해 2028년에는 AI 코딩 비용이 평균 개발자 연봉을 넘어설 것이라는 전망이 나왔다.
정보기술 리서치·자문사 가트너(Gartner)는 최근 토큰 기반 AI 지출이 증가하면서 예산 압박과 비용 대비 효과 입증 과제가 부각되고 있다고 지적했다.
AI 토큰은 생성형 AI 모델이 처리하는 데이터 단위다. 토큰 소비량은 특히 사용량 기반 가격 구조에서 AI 코딩 도구 비용에 직접적인 영향을 미친다.
가트너의 니티시 티야기(Nitish Tyagi) 애널리스트는 “기업들이 AI 코딩 에이전트를 실험 단계에서 대규모 배포 단계로 빠르게 전환하고 있지만, 토큰 소비 증가가 가져올 재무적 영향을 과소평가하는 경우가 많다”고 말했다. 그는 “개발자들은 비용 효율성보다 속도와 편의성을 우선하는 경향이 있기 때문에, 토큰 사용 규율은 개발자의 선택만으로 형성되지 않는다”며 “거버넌스가 적용된 엔지니어링 운영 모델이 없으면 비용은 이들 도구가 제공하려는 생산성 향상보다 더 빠르게 증가할 수 있다”고 경고했다.
사용량 기반 가격 모델, 비용 예측 가능성 흔들어
AI 코딩 에이전트 공급업체들이 사용량 기반 가격 모델로 전환하면서 소프트웨어 엔지니어링 업무에 변동성이 큰 비용 구조가 발생하고 있다고 가트너는 설명했다. 많은 공급업체는 토큰 소비가 어떻게 계산되고 청구되는지에 관한 투명성이 부족해, 기업이 비용을 정확히 예측하고 통제하는 데 한계가 있다는 설명이다.
개발 업무 전반의 토큰 사용량을 명확히 파악하지 못하면 조직은 예산 초과와 비용 대비 가치 성과를 추적하는 능력이 저하될 위험에 직면할 수 있다고 가트너는 짚었다.
티야기 애널리스트는 “대부분의 조직은 여전히 비용과 비즈니스 임팩트를 효과적으로 측정할 수 있는 성숙도와 프레임워크를 갖추지 못하고 있다”고 말했다. 그는 “토큰 기반 AI 지출을 정당화하기 어려워지고, 예산이 예상보다 일찍 소진되는 경우가 많아지면서 소프트웨어 엔지니어링 리더들의 우려가 커지고 있다”고 덧붙였다.
사용 패턴과 거버넌스 공백이 비용 압박 키워
가격과 가시성 문제 외에도, 조직 내에서 AI 코딩 에이전트를 사용하는 방식 역시 비용 압박을 키우고 있다고 가트너는 전했다. 토큰 과다 사용은 소프트웨어 엔지니어링 리더들이 사용 방식을 어떻게 관리하는지와 관련되는 경우가 많다고 설명했다. 일반적인 실패 유형에는 에이전트 주도 워크플로에서의 통제되지 않은 자율성, 비대해진 컨텍스트 윈도(context windows), 사용 최적화를 위한 구조화된 피드백 메커니즘 부재 등이 포함된다.
또한 AI 코딩 공급업체들은 아직 AI 코딩 에이전트에 내장된 성숙한 비용 최적화 기능을 제공하지 못하고 있어 비용 증가를 더욱 부추기고 있다고 덧붙였다.
AI 사용에 규율 도입할 때
가트너는 증가하는 비용을 관리하고 예산 초과를 피하기 위해 소프트웨어 엔지니어링 리더들이 AI 사용에 관한 규율 있는 운영 모델을 도입할 것을 권고했다.
- 사용 사례 중심의 의사결정 프레임워크 수립: 조직은 AI 코딩 에이전트를 언제 사용해야 하는지 명확히 정의하고, 각 업무에 적합한 자율성 수준을 결정해야 한다. 여기에는 개발 업무를 세 가지 실행 모델, 즉 개발자 주도, 개발자와 에이전트 협업, 완전한 에이전트 주도로 분류하는 작업이 포함된다.
- 업무 복잡도에 맞춘 모델 선택: AI 코딩 에이전트는 작업을 더 작은 단위로 나누고, 작은 모델이 처리할 수 있는 업무는 작은 모델에 맡기며, 복잡성이 요구될 때만 상위 모델로 전환할 때 가장 비용 효율적이다. 엔지니어링 팀과 플랫폼 팀은 단순하고 빈도가 높은 업무는 작은 모델로 보내고, 복잡하고 가치가 높은 개발 업무에는 최신 고성능 모델을 배정하는 지능형 모델 라우팅 전략을 구현해야 한다.
- 컨텍스트 엔지니어링 관행 의무화: 개발자들은 AI 시스템에 제공하는 입력 컨텍스트를 최적화하도록 훈련받아야 한다. 여기에는 관련 정보만 포함하고, 가능한 경우 내용을 요약하며, 출력 품질을 저하하지 않는 범위에서 불필요한 데이터를 제거해 토큰 소비를 줄이는 것이 포함된다.
- 거버넌스와 비용 통제 도입: 조직은 사용량 관리를 위해 토큰 한도, 에스컬레이션 정책, 자동 모니터링과 같은 메커니즘을 도입해야 한다. 이러한 통제를 엔지니어링 워크플로에 내재화하면 일관성을 확보하고 통제되지 않은 비용 증가를 방지할 수 있다.
- 토큰 사용 검토를 개발 주기에 포함: 리더들은 스프린트 회고의 일부로 토큰 소비가 높은 워크플로를 정기적으로 검토하도록 의무화해야 한다. 이를 통해 비효율을 파악하고, 관행을 개선하며, 엔지니어링 팀 전반의 지식 공유를 촉진할 수 있다.
댓글 작성