인공지능의 규모 확대: 새로운 경제 전략의 시급한 필요성

기업 내 인공지능 에 대한 인식은 시범 도입 단계의 열광적인 분위기에서 벗어나 실제 운영 환경의 냉혹한 현실로 빠르게 전환되고 있습니다. 조직들이 생성형 인공지능을 업무 흐름에 통합하기 위해 경쟁하는 가운데, 그들이 직면하고 있는 난관은 기술 자체의 역량보다는 이러한 모델을 어떻게 배포할 것인가에 있습니다.

기업들은 인공지능 자체에 문제가 있는 것이 아니라, 모든 작업에 가장 강력한 모델이 필요하다는 가정에 문제가 있다는 사실을 점점 더 깨닫고 있습니다. 이러한 가정은 "토큰맥싱"이라는 현상을 만연하게 만들었는데, 이는 더 작고 저렴한 모델로도 작업을 수행할 수 있음에도 불구하고 기본적으로 더 크고 비싼 모델을 사용하는 경향을 말합니다.

많은 조직에서는 적절한 모델을 적절한 작업에 적용하는 대신, 모든 워크플로에 선도적인 모델 수준의 추론 능력이 필요하다고 가정합니다.

자동화에 대한 과도한 설계는 수익성에 구조적인 부담을 초래합니다. 기업이 모든 문제를 획기적인 모델이 필요한 것처럼 다루면 인프라 구축 비용이 결과물의 가치를 초과하는 경우가 불가피합니다.

시장은 이러한 접근 방식의 결과를 목격하고 있으며, 보고서에 따르면 주요 조직들이 몇 달 만에 AI 예산을 완전히 소진하고 비용 상승으로 인해 내부 라이선스를 취소하고 있다고 합니다.

조직들이 AI 도입 비용 부담에 직면하면서, AI 투자액이 AI가 제공하는 실질적인 가치를 종종 초과한다는 사실이 분명해지고 있습니다. 이러한 과제는 새로운 전략을 요구하며, 이는 AI 투자 감소에 관한 이전 기사에서 논의된 바 있습니다.

시범 프로젝트의 함정을 극복하기

근본적인 문제는 고립되고 통제된 시범 프로젝트의 성공 여부가 현재 기업 AI 사업의 표준으로 여겨지는 경우가 많다는 점입니다. 시범 프로젝트에서는 변수가 제한적이고 작업당 비용이 관리 가능한 수준으로 보입니다. 그러나 기업 전체에 적용되기 시작하면, 혼란스러운 실제 운영 환경, 극한 상황, 여러 번의 재시도, 그리고 규모의 큰 변동성이라는 현실이 드러납니다.

확률 기반 AI는 각 작업마다 다른 비용을 산출하기 때문에 재무 부서에서 예측할 수 없는 예상치 못한 지출을 발생시킵니다. 기존 소프트웨어에서는 고정된 예산이 각 작업에 대한 예측 비용과 연동되지만, AI에서는 이러한 안정성이 부족합니다. 동일한 작업의 비용이 어떤 날에는 1달러이고 다음 날에는 100달러라면, 해당 작업을 운영 예산에 안전하게 포함시킬 수 없습니다.

이러한 이유로 조직의 80%가 AI 비용을 25% 이상 잘못 계산했다고 인정하며, 생성형 AI 시범 프로젝트의 95% 이상이 실제 운영 단계로 넘어가지 못합니다. 조직들은 현재 비용 대비 가치 비율을 개선하기 위해 노력하기보다는, 이미 재정적 손실이 발생한 후에야 비로소 문제점을 깨닫고 있습니다. 많은 리더들에게 남은 유일한 수단은 "덜 사용하는 것", 즉 사용을 제한하거나 접근을 차단하는 것뿐입니다.

하지만 이러한 대응에는 결함이 있습니다. 진정한 충격은 청구서의 규모 자체에 있는 것이 아니라, 남은 유일한 관리 수단이 소비 제한뿐이라는 사실을 깨닫는 데 있습니다. 접근을 제한함으로써 조직은 사실상 AI 구현 비용이 너무 비싸 확장이 불가능하다는 것을 인정하는 것이며, 잠재적인 경쟁 우위를 방어적인 약점으로 바꿔버리는 것입니다.

자동화 경제학에 대한 재고찰

오늘날 대부분의 조직은 모델 선택, 즉 특정 작업을 처리해야 하는 모델을 식별하는 데 집중하지만, 가장 큰 기회는 작업 자체를 개선하는 데 있습니다. 대규모 모델 내에서 요청이 처음부터 다시 시작될 때마다 비용이 재조정되므로 모든 작업에 최상위 LLM 수준의 대규모 언어 모델(LLM)이 필요하다고 가정하는 것은 금세 비용이 많이 드는 실수가 될 수 있습니다.

표준 라우팅 도구는 요청 수준에서 작동합니다. 들어오는 작업을 살펴보고 가장 적합해 보이는 모델로 라우팅하지만, 해당 모델은 여전히 ​​전체 작업을 단일하고 불투명한 생성 과정으로 처리합니다. 최적화되는 것은 오직 답을 제공하는 모델뿐이며, 결과물은 다음 실행 비용을 절감하는 데 아무런 영향을 미치지 않습니다. 진정한 확장성을 위해서는 한 단계 더 나아가야 합니다.

이러한 변화를 위해서는 기본 모델에만 의존하는 것이 아니라 비즈니스 프로세스를 소유하는 구조가 필요합니다. 단순히 작업을 특정 엔드포인트로 전달하는 대신, 이러한 아키텍처 접근 방식은 프로세스 자체를 관리합니다. 개별 모델의 한계를 뛰어넘어 워크플로를 코드 기반의 개별 단계로 분해하고 각 단계에서 감사 추적을 생성합니다.

이러한 아키텍처 선택 하나가 구조적 최적화를 표면적인 비용 관리와 구분 짓는 핵심이며, 기존의 안내 도구로는 도달할 수 없는 심층적인 효율성을 제공합니다. 이러한 변화는 더욱 효율적인 비용 구조로 이어집니다. 모든 작업에 단일 모델에 의존하는 대신, 계산이 전문화된 코드 기반 단계에 분산되어 리소스 활용도가 향상되고 워크플로 실행이 혁신적으로 개선됩니다.

예를 들어 대량 대출 처리 워크플로에서 이러한 접근 방식은 불필요한 고비용 모델 추론에 대한 의존도를 줄임으로써 전반적인 경제성을 향상시킵니다. 이러한 표준화되고 프로세스 중심적인 아키텍처로의 전환은 대량 운영 비용을 관리하는 지속 가능한 경로를 제공합니다.

이 프로세스는 특정 공급업체에 종속되지 않으므로 조직은 완전한 유연성을 유지할 수 있습니다. 기본 인프라를 재구축할 필요 없이 성능 및 비용 요구 사항이 변화함에 따라 주요 LLM 모델, 오픈 소스 가중치, 소규모 전문 모델 간에 자유롭게 전환하며 최적화 전략을 구현할 수 있습니다. AI 비용 관리에 대한 자세한 내용은 AI 지출 감소 관련 기사를 참조하십시오.

각 실행 프로세스는 특정하고 검증 가능한 사고 단계, 도구 호출 및 결과의 경로를 생성하기 때문에 이러한 기록은 귀중한 데이터 자산이 되어 일반적인 호출에 의존하지 않고 예상되는 작업을 처리하는 방법을 이미 알고 있는 전문화된 대안을 개선합니다.

정밀성을 통해 인간의 역량을 향상시키다

이 새로운 접근 방식의 목표는 인공지능을 제한적인 실험 단계에서 벗어나 표준화된 업무 수행 방식으로 전환하는 것입니다. 자동화된 디지털 노동이 데이터 검증이나 정보 공개 확인과 같은 반복적인 인지 작업을 대체하게 되면 인간의 역할은 완전히 달라집니다. 분석가들은 더 이상 하루 종일 수동으로 파일을 열고 데이터를 입력할 필요가 없으며, 고도의 판단력, 복잡한 전략, 창의적인 문제 해결 능력을 요구하는 예외적인 상황에 집중할 수 있게 됩니다.

이것이 바로 지속 가능한 AI 도입의 약속입니다. 예측 불가능한 비용을 예측 가능한 비용 기반으로 전환하고, 단순히 모델을 바꾸는 것이 아니라 워크플로우를 재설계하는 데 집중함으로써 기업은 마침내 잠재력을 최대한 발휘할 수 있습니다. 이를 통해 기업은 도입이 확대됨에 따라 지속 가능하고 측정 가능한 투자 수익을 창출할 수 있으며, 직원들은 기술이 대체할 수 없는 고부가가치 평가 업무에 집중할 수 있게 됩니다.

기업에서 인공지능(AI)의 미래는 단순히 모델의 기능만으로 결정되는 것이 아니라, 기술을 경제적으로 실현 가능하게 만드는 통합 AI 시스템을 구축하는 능력에 달려 있습니다. 지속 불가능한 실험 단계를 넘어 체계적이고 아키텍처 중심적인 AI 도입 방식을 채택해야 할 때입니다. 실험 단계를 넘어설 준비가 된 기업이라면 이제 AI의 효과를 입증하는 것이 아니라, 경제적으로 실현 가능한 수준으로 확장하는 것이 과제입니다.