조직의 인공지능 도입: 실제 사용 사례에서 드러나는 사실들.

인공지능 에 대한 많은 공개적인 논의는 여전히 순위표에 집중되어 있습니다. 어떤 모델이 가장 높은 순위를 차지하는지, 어떤 공급업체가 "승자"인지, 어떤 벤치마크 점수가 가장 중요한지 등이 주요 관심사입니다. 하지만 실제로 AI 솔루션을 개발하고 배포하는 조직에게는 이러한 질문보다 AI가 실제 시나리오에서 어떻게 활용되는지 이해하는 것이 훨씬 더 중요해지고 있습니다.

한 가지 이유는 "토큰맥싱"이라는 개념을 둘러싼 논란이 커지고 있기 때문입니다. 토큰맥싱은 인공지능 사용을 극대화하기 위한 관행으로, 종종 내부 도입 목표, 인센티브 또는 순위 경쟁에 의해 추진됩니다.

하지만 토큰 소비에만 집중하면 인공지능이 제공하는 진정한 상업적 가치를 측정하기보다는 활동 자체를 위한 활동을 부추길 수 있습니다.

최근 아마존이 사내 AI 순위표를 폐쇄하고 우버가 연간 예산을 빠르게 소진한 후 직원들의 AI 지출을 제한한 사례는 사용량을 주요 성공 척도로 삼는 것의 위험성을 보여줍니다.

하지만 최근 데이터는 좀 더 복잡한 양상을 보여줍니다. 버셀의 AI 게이트웨이 7월 데이터에 따르면, 6월 토큰 거래량은 29% 증가했고 지출액은 27% 증가했으며, 평균 토큰 가격은 안정세를 유지했습니다. 기업들은 단순히 AI를 소비하는 데 그치지 않고, 다양한 모델을 어디에 배치 할지 , 비용과 성능의 균형을 어떻게 맞출지 더욱 신중하게 고민하고 있습니다.

진정한 AI 시스템을 구축하는 팀들은 비용, 신뢰성, 추론 능력에 따라 여러 모델에 작업을 동적으로 분산시키는 방향으로 점점 나아가고 있습니다. 예를 들어, 비용 효율적인 모델은 요약 작업에 유용할 수 있고, 고성능 추론 모델은 중요한 결정을 내리는 데 사용될 수 있습니다.

실제로 인공지능은 단일 공급자를 중심으로 시스템을 구축하는 것보다 여러 모델에 걸쳐 계층을 조정하는 것에 더 가깝습니다.

최신 AI 게이트웨이 데이터에 따르면, 기업들은 단일 공급자에 의존하기보다는 다양한 모델 범주에 걸쳐 워크로드를 분산시키고 있습니다. 개방형 모델은 현재 게이트웨이 토큰의 29%를 처리하지만 지출액은 4% 미만에 불과하며, 최첨단 모델은 여전히 ​​고부가가치 추론 워크로드를 주도하고 있습니다.

조직들은 획일적인 접근 방식을 따르는 대신, 당면한 과제에 따라 다양한 모델을 선택합니다.

차트 상위권을 넘어섰습니다

기업에서 AI를 도입하는 초기 단계에서는 팀들이 적극적으로 실험하고, 프로토타입을 개발하고, 새로운 활용 사례를 탐색하도록 장려했습니다. 이는 AI를 실험 단계에서 실용적인 응용 단계로 옮기는 데 필요한 도입 속도를 높이는 데 도움이 되었지만, AI가 많을수록 자동으로 더 많은 가치를 창출한다는 단순한 가정을 만들어내기도 했습니다.

6월 토큰 거래량과 지출액은 약 30% 증가했지만, 평균 토큰 가격은 안정세를 유지했습니다. 기업들은 AI에 대한 투자를 지속하고 있지만, 저비용 모델과 프리미엄 모델 간에 워크로드를 배분하는 방식에 있어 더욱 전략적인 접근을 보이고 있습니다.

이러한 양상은 기업들이 효율성을 개선하기 전에 공격적으로 확장했던 초기 클라우드 컴퓨팅 시대와 같은 이전의 기술 변혁과 유사합니다. AI 도입 또한 비슷한 궤적을 따르고 있지만 훨씬 빠른 속도로 진행되고 있습니다.

AI 팀에게 가장 유용한 AI 지표는 비용이 아니라 결과입니다 . 결과는 AI 성공 의 기반이기 때문입니다 . 수 주간의 엔지니어링 작업을 자동화할 수 있는 워크플로는 비용이 저렴하지만 신뢰할 수 없는 결과를 도출하고 초기 절감 효과를 상쇄하는 후속 운영 비용을 발생시키는 워크플로보다 훨씬 효율적일 수 있습니다.

핵심은 팀이 인공지능을 얼마나 적게 사용할 수 있느냐가 아니라, 의미 있는 문제를 해결하기 위해 인공지능을 얼마나 효과적으로 활용할 수 있느냐입니다.

인공지능은 업무 방식을 변화시키고 있다

기존 챗봇은 명령어를 입력하면 응답을 받는 비교적 간단한 워크플로우로 작동합니다. 반면, 더욱 똑똑한 AI 에이전트 인 에이전트 시스템은 이와는 매우 다르게 작동합니다.

AI 에이전트는 생각하고, 도구를 호출하고, 코드를 실행하고, 정보를 검색하고, 데이터베이스를 조회하고, 작업을 완료하기 전에 여러 단계를 거쳐 작업을 반복합니다. 이러한 각 작업에는 토큰이 소모됩니다.

결과적으로 AI 워크로드는 점점 더 에이전트 기반으로 바뀌고 있습니다. 이제 단일 요청에도 백그라운드에서 일련의 도구 호출, 검증 루프, 공급자 전환이 발생하여 경제성이 완전히 달라집니다.

백오피스 에이전트는 포털당 가장 비싼 토큰으로, 전체 토큰의 5%를 차지하지만 전체 지출액의 14%를 차지합니다. 더 복잡하고 비즈니스에 민감한 워크로드는 단순한 AI 작업보다 더 높은 수준의 추론 능력을 요구합니다.

즉, 사용량 증가가 항상 비효율성을 의미하는 것은 아닙니다. 많은 경우, 이는 AI 시스템 자체의 복잡성과 기능이 증가하고 있음을 반영합니다.

차별화 요소로서의 인프라

조직들이 점점 더 많은 AI 모델과 서비스 제공업체에 의존함에 따라, 신뢰성을 유지하는 것이 더욱 복잡한 과제가 되고 있습니다.

추론 작업, 다중 에이전트 워크플로 및 복잡한 조정 체인은 모델 제공업체에 상당한 부담을 줄 수 있습니다. 실행 도중 단 하나의 모델이라도 오류가 발생하면 전체 워크플로가 붕괴될 수 있습니다.

결과적으로, 대체 라우팅은 프로덕션 환경에서 핵심 AI 인프라로 자리 잡았습니다. Vercel의 5월 AI 게이트웨이 보고서에 따르면, 요청의 약 3.5%가 오류, 시간 초과 또는 속도 결정 문제로 인해 재라우팅을 필요로 하는 것으로 나타났습니다.

서비스 제공자 간 동적 라우팅이 없으면 이러한 요청은 단순히 실패하게 됩니다. 최종 사용자에게는 서비스 제공자의 불안정성이 눈에 보이지 않기 때문에 문제의 원인에는 관심이 없고 애플리케이션이 계속 작동하는지 여부에만 관심이 있습니다.

따라서 AI 시스템이 독립적인 에이전트로 작동할 수 있는 능력이 점점 향상됨에 따라 유연성과 협업 능력은 모델 자체의 능력만큼이나 중요해지며, 이는 AI가 더욱 똑똑한 에이전트로 나아가야 할 필요성을 강조합니다.

단일 모델 시대의 종말

단일 서비스 제공업체에 의존하는 전략은 유지하기 어려워졌습니다. 새로운 모델이 끊임없이 출시되고, 가격은 빠르게 변하며, 작업 유형에 따라 성능이 뛰어난 모델이 달라지고 있습니다.

오늘날 최고의 프로그래밍 모델이 내일의 정보 검색 작업, 고객 지원 또는 추론 워크플로에 최적의 모델이 아닐 수도 있습니다.

하나의 모델을 유일한 승자로 고르는 것이 중요한 것이 아닙니다. 중요한 것은 매주 가장 효과적인 모델을 흡수하고 적응할 수 있는 AI 시스템을 구축하는 것입니다. 왜냐하면 이러한 선호도는 빠르게 변하고 앞으로도 계속 변할 것이기 때문입니다.

멀티 모델 포맷팅을 인프라로 취급하는 팀은 새로운 모델을 출시할 때 시스템을 재구축할 필요가 없습니다.