책임성 격차 해소: AI 에이전트를 활용하여 기업을 활성화하기 위한 필수 조건

기업과 정부가 운영 업무를 AI 에이전트에 위임할 때 , 논의는 대개 AI의 역량에 대한 질문에서 시작됩니다. AI가 회계 처리, 공급업체와의 협상, 문서 서명, 공식 성명 발표 등 인간이 하는 작업을 수행할 수 있을까요? 그리고 이러한 작업을 충분히 빠르고 저렴하게 수행하여 도입을 정당화할 수 있을까요?

이러한 질문들은 중요하지만, 성과는 전체 그림의 일부일 뿐입니다. 행위자가 독립적으로 행동하게 되면 다음과 같은 다른 질문들이 발생합니다. 누가 그들에게 권한을 부여했는지, 그들은 누구의 이익을 대변하는지, 그들의 권한은 어디까지인지, 그리고 아마도 가장 중요한 것은 일이 잘못되었을 때 누가 책임을 져야 하는지입니다.

이것이 바로 프록시 AI 의 책임성 공백 이며, 아무리 정교한 모델이라도 이를 메울 수는 없습니다. 프록시가 아무리 뛰어난 능력을 갖췄더라도 바람직하지 않거나 심지어 불법적인 방식으로 행동할 수 있기 때문입니다.

이러한 격차를 해소할 수 있는 유일한 방법은 권한에 대한 명확한 통제와 에이전트의 모든 행동을 승인한 사람과 연결하는 감사 추적 시스템을 구축하고, 무엇보다도 사람과 기계를 구분할 수 있도록 하는 것입니다.

평범한 실수지만 그 규모가 매우 크다

사람들은 인공지능의 위험성을 생각할 때, 흔히 인간의 통제에서 벗어나 스스로의 목표를 추구하는 기계를 떠올립니다. 하지만 더욱 시급하고 덜 극적인 위험은 시스템이 책임 소재나 설명이 불분명한 상황 에서 일상적인 작업에서 반복적으로 오류를 범할 수 있다는 점입니다.

한 사람이 실수로 잘못된 고객에게 청구서를 보낼 수도 있습니다. 하지만 전체 고객 데이터베이스에 연결된 상담원은 수천 명에게 동일한 청구서를 보낼 수도 있습니다. 또한 악의적인 의도가 아니라 특정 지침을 잘못 이해하고 그에 따라 행동할 권한이 있었기 때문에 실수로 필드를 변경한 후 전체 마켓플레이스에 걸쳐 해당 변경 사항을 반복 적용할 수도 있습니다.

상담원이 빠르게 가치를 발휘하게 되면 기업은 수백 시간을 절약할 수 있지만, 반대로 작고 수정 가능한 실수가 심각한 운영 문제로 이어질 수도 있습니다.

담당자가 검토를 위해 이메일을 작성할 때, 그 담당자가 프로그램과 외부 세계를 연결하는 역할을 하기 때문에 이러한 모호함은 그다지 중요하지 않을 수 있습니다.

하지만 메시지를 보내거나, 명세서를 제출하거나, 자금을 이체할 수 있다면 이야기는 완전히 달라집니다. 예를 들어, 비서에게 항공편 예약을 부탁하면서 적당한 사용 한도가 있는 회사 카드 대신 여권, 은행 카드, 사무실 열쇠까지 건네준다고 상상해 보세요. 비서를 전적으로 신뢰한다고 해도, 부여된 권한은 해당 업무에 적절하지 않은 것입니다.

경계를 설정하고 문제를 해결합니다.

인공지능 에이전트는 국적이나 법인격을 가질 수 없지만, 법적으로 타당한 방식으로 자연인과 연결될 수 있습니다. 예를 들어, 신뢰할 수 있는 식별자를 통해 에이전트의 활동을 추적하여 게시물을 작성한 사람을 특정할 수 있습니다. 권한과 승인 내용을 명확하게 제시하고 감사를 가능하게 함으로써, 인공지능 에이전트는 더욱 통제되고 투명한 방식으로 다양한 작업과 거래를 수행할 수 있게 됩니다.

이러한 제어는 매우 구체적일 수 있습니다. 담당자는 재무 정보를 수정하지 않고 열람하거나, 승인 없이 결제를 준비하거나, 특정 공급업체로부터 정해진 금액을 초과하지 않고 주문할 수 있도록 허용될 수 있습니다. 이러한 권한은 단일 거래, 단일 영업일 또는 특정 계약 기간 동안 지속될 수 있으며, 이후에는 자동으로 만료되어 담당자가 권한을 해제하도록 상기시킬 필요가 없습니다.

이러한 접근 권한을 취소하는 것 또한 마찬가지로 쉬워야 합니다. 기업이 에이전트와의 관계를 종료하거나, 공급업체를 변경하거나, 오류를 발견한 경우, 담당자의 자격 증명을 변경하지 않고도 즉시 접근 권한을 취소할 수 있어야 합니다.

이러한 제어의 다양한 영역에서 에이전트의 법적 권한은 개별 AI 모델보다 수명이 더 깁니다. AI 모델은 시간이 지남에 따라 업그레이드, 교체 및 통합되지만, 고객은 새로운 버전 번호만 확인할 수 있는 경우가 많습니다.

아이디어를 현장에서 실행하기

에스토니아는 이러한 문제들을 지금 해결하기로 결정했습니다. 6월에 정부는 에스토니아 시민과 전 세계 기업가들이 이용할 수 있는 국가 지원 AI 에이전트 등록 시스템 개발에 착수했습니다. 이는 모든 공공 서비스가 온라인으로 제공되는 완전한 디지털 국가인 에스토니아가 새롭게 떠오르는 AI 기반 비즈니스 물결에 어떻게 개방할 수 있을지 모색하기 위한 것입니다.

현재 제안에 따르면, 개인은 등록된 디지털 식별자를 부여받고, 이 식별자는 개인을 대신하여 활동하는 하나 이상의 에이전트와 연결될 수 있습니다. AI 에이전트가 수행하는 작업은 기계적 행위로 간주되며, 신원 앵커 역할을 하는 자연인은 AI에 과도하게 의존하여 발생하는 오류와 같은 경우에 책임을 져야 합니다. AI 에이전트는 할당된 권한 범위 내에서만 작동할 수 있습니다.

투명성을 확보하기 위해 민간 서비스 제공업체는 해당 프로세스가 사람에 의해 수행되었는지 아니면 자신을 대신하여 작동하는 기계에 의해 수행되었는지 알아야 합니다. 이를 통해 적절한 통제, 제한 및 위험 모델을 효과적으로 적용할 수 있습니다.

위임을 위해 설계되었습니다

이 접근 방식은 20년 이상 축적된 디지털 정부 경험을 바탕으로 합니다. 에스토니아에서는 이미 개인 식별 번호와 디지털 신원 시스템을 통해 개인이 명확하게 정의된 권한을 가지고 타인을 대신하여 행동할 수 있습니다.

회계사는 고객을 대신하여 세금 신고서를 제출할 수 있고, 성인은 건강 포털을 통해 노부모의 건강을 관리할 수 있으며, 여러 사람이 개별적인 권한과 제한을 설정하여 회사 은행 계좌를 사용할 수 있습니다. 원칙적으로, 이와 동일한 프레임워크가 인공지능 에이전트의 기능도 지원할 수 있습니다.

이를 통해 사용자는 AI 에이전트가 일으킬 수 있는 잠재적 오류로부터 책임자를 보호하는 안전장치가 마련되어 있다는 확신을 가질 수 있습니다. 또한 이러한 에이전트의 활동이 증가함에 따라 발생할 수 있는 책임 소재의 공백을 메우는 데에도 도움이 될 것입니다.

인공지능 에이전트에게 실행 권한을 부여하기 전에, 에이전트가 누구를 대표하는지, 무엇을 할 수 있는지, 그리고 누가 그들의 행동에 책임을 져야 하는지를 기록하는 기술적, 법적 구속력이 있는 체계가 필요합니다.