'동의합니다' 버튼: 기업에게 가장 위험한 인공지능일 수 있는 이유는 무엇일까요?

새벽 2시에 자동화된 문제 해결 에이전트가 네트워크 문제를 감지하고, 잘못 구성된 정책이 원인임을 추적한 후, 맞춤형 프레임워크를 통해 제안된 수정 사항이 정의된 정책 범위 내에서 작동하는지 확인하고 문제를 해결합니다. 네트워크는 안정화되고, 누구에게도 알림이 전송되지 않습니다.

아침에 담당자는 에이전트의 일일 보고서를 검토합니다. 보고서에는 구현된 모든 변경 사항 요약과 기록, 감사 추적, 논리 및 근본 원인에 대한 링크가 포함되어 있습니다. 담당자는 모든 문제가 올바르게 해결되었는지 확인한 후 다음 단계로 넘어갑니다. 이것이 바로 "인간 개입형" 모델입니다.

다른 조직에서는 새벽 4시에 자체 제작한 임시 처리 에이전트가 네트워크 문제를 감지하고, 잘못 구성된 정책이 원인임을 추적하여 수정합니다. 네트워크는 안정화되지만 아무에게도 알림이 가지 않습니다. 아침에 담당자가 로그를 검토하고 문제가 해결되었다고 판단한 후 다음 업무로 넘어갑니다.

차이점은 어디에 있을까요?

차이점은 자체 구성 시나리오에서 로그가 전체 상황의 일부만 보여준다는 사실에 있습니다. 로그에는 에이전트가 이 솔루션에 도달하기 위해 세 번 더 변경을 가했고, 이러한 변경 사항이 처음 계획보다 훨씬 광범위했다는 사실이 나타나지 않습니다. 더욱이, 에이전트는 제약 조건 내에서 이러한 변경 사항의 배경이 되는 결정을 보고할 의무가 없었기 때문에 보고되지 않았습니다. 이러한 시스템 투명성 부족 이 문제의 핵심입니다.

적절한 견제와 균형 장치 없이 '인간 주도' 시스템으로 나아가는 과정이 바로 이런 모습일 수 있습니다. 극적인 업무 이양이 아니라, 점진적으로 작고 합리적인 권한 위임이 쌓여 결국 누구도 명시적으로 합의하지 않은 결과로 이어지는 것입니다. 이는 인공지능의 미래에 있어 인간의 통제가 얼마나 중요한지를 보여줍니다.

이러한 변화는 대부분의 리더들이 인식하는 것보다 훨씬 빠르게 진행되고 있습니다. 최근 연구에 따르면 IT 리더의 57%는 1년 이내에 인공지능 제어 과정에서 인간의 개입을 완전히 배제할 것으로 예상하고 있으며, 79%는 이미 AI 에이전트를 자체적인 ID 관리 및 거버넌스 제어가 필요한 "사용자"로 간주하고 있습니다.

프록시 AI 로의 전환은 대부분의 조직이 준비된 속도보다 훨씬 빠르게 진행되고 있으며, 이는 거버넌스 측면과 자율 시스템 평가 능력 모두에 해당합니다.

그것들은 "동의합니다" 버튼입니다.

자율형 AI에 대한 해결책은 항상 매우 간단해 보였습니다. 바로 인간이 통제권을 유지하는 것입니다. 누군가가 결과물을 검토하고 "승인" 버튼을 클릭하여 책임을 지는 것이죠. 하지만 현실은 그렇게 간단하지 않습니다. 모든 행동을 검토한다고 해서 자동으로 책임이 생기는 것은 아니며, 조직이 자율성이 가져다주는 모든 이점을 실현하는 것을 방해하기도 합니다.

각 절차를 개별적으로 검토하는 대신, 사람은 결과를 평가하고 시스템이 의도된 범위 내에서 작동하는지 확인하며 시간이 지남에 따라 성능을 개선하는 피드백을 제공하는 데 집중해야 합니다.

승인은 무의미한 의례가 될 수 있습니다. 시스템의 신뢰성이 입증되고 경고 횟수가 증가함에 따라, 사람들은 개입을 불필요한 것으로 여기기 시작하는 경우가 있습니다.

승인이 신중한 선택이 아닌 단순한 클릭으로 이루어질 수 있습니다. 그리고 문제가 발생했을 때(예: 잘못 구성된 정책 또는 서비스 중단을 초래하는 자동 처리) 누가 책임져야 하는지 판단하기 어려워집니다.

이는 또한 인간의 가장 중요한 능력 중 하나가 과업 실행 보다는 비판적 사고와 가설 검증으로 바뀌고 있다는 더 광범위한 변화를 보여줍니다.

또 다른 변화도 일어나고 있습니다. 인간은 실행 단계에서 승인 전 검토 단계로 이동하고 있는데, 이는 우리 대부분의 일상 업무에서 근본적인 변화입니다.

더욱이, 출처와 귀속은 같은 것이 아닙니다. AI 에이전트가 무엇을 했는지 기록한 문서는 왜 그렇게 했는지, 또는 어떤 요인이 그 결정을 내렸는지에 대해서는 거의 알려주지 않습니다. 그리고 문제가 발생했을 때, 바로 그 정보가 절실히 필요한 것입니다.

비인간적 정체성과 새로운 네트워크 환경

AI 에이전트가 네트워크에서 시스템에 쿼리를 보내거나, 구성을 변경하거나, 트래픽을 라우팅하는 등의 작업을 수행할 때, 이들은 실제 사용자로 간주됩니다. 따라서 인간 운영자와 마찬가지로 자격 증명, 정책, 보안 제어, 해석 가능성 및 감사 로그가 필요합니다. 이러한 투명성과 책임성에 대한 요구는 AI 데이터 센터의 투명성을 강화하려는 노력과 맥락을 같이합니다.

대부분의 조직은 아직 이러한 변화에 발맞추지 못하고 있습니다. 신원 확인 프레임워크는 사람을 위해 설계되었는데, 나중에 인공지능 에이전트를 적용하는 것은 보안 팀이 평생을 바쳐 제거하려 애쓰는 바로 그런 은밀한 접근을 허용하는 결과를 초래할 수 있습니다.

이미 AI 에이전트를 관리형 ID로 사용하는 리더의 거의 80%는 앞서 나가고 있습니다. 나머지 리더들은 보안 사고가 발생하기 전까지는 평가할 수 없는 위험을 누적하고 있습니다.

이를 제대로 구현하려면 각 에이전트를 명확하게 정의된 권한, 시간 제한 액세스, 명확한 권한 취소 경로 및 완전한 로그를 갖춘 주체로 취급해야 합니다. 여기에는 에이전트가 수행한 작업뿐만 아니라 수행이 허용된 작업과 그 이유에 대한 기록도 포함되어야 합니다.

독립은 주어지는 것이 아니라 쟁취하는 것이다.

네트워크 및 사이버 보안 팀은 이미 이러한 원칙을 적용하는 방법을 알고 있습니다. 모든 조직에는 사람이 언제 무엇에 접근할 수 있는지를 정의하는 접근 제어 프레임워크가 있습니다. 신입 엔지니어가 첫날부터 운영 시스템에 대한 완전한 접근 권한을 얻는 것이 아니라, 점진적으로 권한을 얻어가는 것과 같습니다. 이와 같은 논리가 AI 에이전트에도 적용되어야 합니다.

아직 그 단계에 이르지 못했습니다. 자율성을 너무 자주 전면적인 허용이나 전면 금지라는 이분법적 사고방식으로 바라보는데, 이는 올바른 모델이 아닙니다. 인간 관계에서 신뢰는 그런 식으로 작동하지 않으며, 인공지능과의 관계에서도 마찬가지입니다. 인공지능 에이전트는 먼저 해결책을 제시하고, 명확하게 정의된 범위 내에서 역량을 입증한 후에야 권한을 확장해야 합니다. 또한 모든 결정은 발생한 일뿐만 아니라 그 이유까지 설명하는 기록을 남겨야 합니다.

자율형 AI 사용이 증가함에 따라 조직은 인간의 감독과 체계적인 관리 사이의 균형을 유지해야 합니다. 인간은 AI의 결과물뿐만 아니라 필요한 경우 AI가 취하는 행동과 그 행동의 근거까지 검토할 책임을 계속해서 져야 합니다.

하지만 자율적인 의사 결정의 규모와 복잡성이 증가함에 따라, 이러한 감독은 신원 확인, 정책 시행, 모니터링 기능 및 책임성을 통합하는 인프라로 보완되어야 합니다. 이러한 통제 장치들을 종합적으로 활용하면 AI 활동이 투명하고 추적 가능하며 조직 목표와 일치하도록 보장할 수 있습니다.

압력을 견딜 수 있는 다중 에이전트 시스템 구축

이러한 시스템의 성능이 향상됨에 따라 조직들은 점점 더 멀티 에이전트 아키텍처로 전환하고 있습니다. 이러한 아키텍처에서 각 전문 에이전트는 워크플로의 일부를 처리하고 컨텍스트를 다음 에이전트로 전달합니다. 바로 이 부분에서 복잡성이 발생합니다.

단일 에이전트가 오류를 범했을 경우 그 행동은 추적할 수 있습니다. 그러나 각 에이전트가 이전 에이전트의 출력에 따라 행동하는 에이전트 체인은 적절한 구조와 관리 체계가 갖춰져 있지 않으면 오류 발생 시 그 원인을 파악하기가 훨씬 어렵습니다. 각 에이전트가 무엇을 했는지뿐만 아니라 무엇을 알고 있었는지도 알아야 합니다.

기본 과제를 완료하세요

두 조직이 동일한 AI 기반 네트워크 에이전트를 사용하고 있습니다. 한 조직은 엄격한 접근 권한 설정, 적절한 신원 관리, 필요할 때 명확한 답변을 제공하는 감사 로그 구축 등 기본적이지만 보기 좋지 않은 작업들을 완료했습니다. 반면 다른 조직은 이러한 작업을 완료하지 못했습니다.

문제가 생기기 전까지는 그 차이를 깨닫지 못할 겁니다.