하지만 조직이 자사 환경에서 작동하는 에이전트의 수, 각 에이전트가 접근할 수 있는 권한, 그리고 문제가 발생했을 때 정확히 누가 책임을 져야 하는지에 대해 완벽하게 확신을 가지고 말할 수 있는 경우는 드뭅니다.

이러한 격차는 상담원 워크플로우를 유망한 기술 발전에서 잠재적인 위험의 온상으로 바꿔놓을 수 있습니다. 따라서 기업들은 상담원의 운영 방식과 접근, 신뢰, 사용 가능한 시스템에 대한 더 강력한 감독을 제공하는 새로운 거버넌스 접근 방식을 채택해야 합니다.

완벽함을 기대하지 마세요

시장은 AI 에이전트가 통제 불능 상태에 빠질 수 있다는 잠재적 위협에 대응하여 새로운 도구들을 대거 출시했습니다. 활성 에이전트를 검색하는 에이전트 탐색 플랫폼과 미리 정의된 범위 내에서 에이전트의 활동을 제한하는 에이전트 제어 도구가 그 예입니다. 두 도구 모두 유용하지만, 어느 하나만으로는 문제를 완전히 해결할 수 없습니다.

인공지능 에이전트를 "제어"하는 데 있어 어려운 점은 변화의 속도가 매우 빠르다는 것입니다. 새로운 에이전트 도구, 새로운 인공지능 모델 버전, 새로운 조정 옵션들이 쏟아져 나오면서 기존의 관리 모델은 몇 달 안에 쓸모없어지게 됩니다.

조직은 "완벽한" 거버넌스 프레임워크가 표준으로 자리 잡기를 기다리는 대신, 시간이 지남에 따라 발전할 수 있는 실용적인 구조를 만들기 위한 조치를 지금 취해야 합니다.

그렇다면 이것이 실제로 어떻게 구현될 수 있을까요?

지속적인 모니터링 및 정밀 제어

정책과 절차만으로는 실제 운영 환경에서 무엇이 효과적인지 확인할 수 없습니다. 조직은 팀에서 구축했다고 보고한 에이전트뿐만 아니라 실제로 사용 중인 모든 에이전트를 파악하는 등록 및 검색 프로세스가 필요합니다.

진정한 통찰력은 환경 자체를 준비하고, 기본 모델에서 생성된 기록 및 모니터링 데이터를 활용하며, 그 위에 분석 기능을 구축하는 데서 나옵니다. 이러한 원시 데이터만이 에이전트가 실제로 무엇을 하고 있는지, 얼마나 자주 하고 있는지, 그리고 그 비용은 얼마인지를 밝혀낼 수 있으며, 사람들이 에이전트가 무엇을 하고 있다고 생각하는지에 의존해서는 안 됩니다.

또 다른 중요한 단계는 광범위한 통제에서 세부적인 통제로 전환하는 것입니다. 예를 들어, 조직 전체에 단일하고 광범위한 격리 시스템을 획일적으로 적용하면 위험을 효과적으로 해결하지 못하고 범위만 제한하게 됩니다. 사용 사례마다 요구되는 제한 수준이 다르며, 모든 담당자를 동일하게 취급하면 가치 있는 업무는 과도하게 제한되고 위험한 업무는 제대로 제한되지 않게 됩니다.

제어는 조직 전체 수준이 아니라 개별 에이전트와 해당 에이전트가 수행하는 특정 작업 수준에서 정의되어야 합니다. 에이전트들이 작업을 완료하기 위해 다른 에이전트와 상호 작용하기 시작하면 이러한 정확성이 더욱 중요해집니다. 각 에이전트는 자신이 할 수 있는 일과 접근할 수 있는 것에 대한 명확하고 구체적인 정의를 필요로 하며, 이를 통해 정의된 범위를 벗어나는 모든 행위를 즉시 파악할 수 있어야 합니다.

위에서 언급한 모든 사항을 염두에 두고 기업은 "추측하지 말고 검증하라"는 접근 방식을 채택해야 합니다. 격리 시스템이나 개념적인 정책을 개발하는 것은 단지 첫 단계일 뿐입니다. 그것이 실제 상황에서 제대로 작동하는지 확인하는 것은 별개의 지속적인 과정입니다.

이 경우 유용한 접근 방식은 개념적 제어와 논리적 또는 물리적 강제 계층을 결합하는 것입니다. 즉, 무엇이 강제 가능한지, 에이전트가 무엇과 상호 작용할 수 있는지, 그리고 실제로 이러한 제한을 준수하는지 여부를 확인할 수 있는 도구를 사용하는 것입니다.

일회성 승인이 아닌 지속적인 정책 모니터링이야말로 격리 시스템이 효과적임을 입증하는 요소입니다. 왜냐하면 에이전트의 능력과 주변 도구들이 거의 매일 바뀌기 때문입니다.

접근성만이 유일한 변수는 아닙니다.

거버넌스 논의는 에이전트가 접근할 수 있는 정보에 거의 전적으로 초점을 맞추는 경향이 있습니다. 하지만 에이전트가 정보에 접근하는 순서 또한 그에 못지않게 중요합니다. 에이전트가 잘못된 순서로 정보를 수집하거나, 후속 단계가 완료되기 전에 데이터를 기반으로 행동할 경우, 개별적인 행동이 기술적으로 허용되더라도 잘못된 결과를 초래할 수 있습니다.

일부 워크플로는 단계를 병렬로 실행해야 하지만, 다른 워크플로는 가장 정확한 결과를 보장하기 위해 특정 순서로 실행해야 합니다. 모델이 자체적으로 작업 순서를 결정하도록 하는 대신, 각 사용 사례에 대해 별도의 잘 정의된 운영 순서를 구축하면 이러한 유형의 오류를 크게 줄일 수 있습니다.

이는 기술적인 문제인 동시에 프로세스 설계 문제이기도 하며, 어떤 도구를 적용하기 전에 사람들이 사용 사례를 명확하게 정의하는 것이 중요합니다.

체계적인 접근 방식은 에이전트로 인해 발생하는 위험을 줄여줍니다.

이러한 요소들은 어느 하나 독립적으로 작동하지 않습니다. 엄격한 통제 없이 탐지만으로는 조직이 무엇이 존재하는지는 알 수 있지만 통제할 수는 없습니다. 검증이 없는 격리 시스템은 잘못된 보안 의식을 조성할 뿐입니다. 그리고 접근 제어에만 초점을 맞춘 거버넌스는 위험으로 이어질 수 있는 핵심 변수들을 간과하게 됩니다.

이를 잘 관리하는 조직은 에이전트 거버넌스를 기존 IT 및 데이터 거버넌스의 확장으로 간주하고, 레거시 핵심 시스템에 적용하는 것과 동일한 규율을 적용하는 조직이며, 이를 사후 고려 사항으로 취급하지 않습니다.

기술 환경이 빠르게 변화하는 상황에서, 이러한 전체적이고 통제된 접근 방식만이 에이전트 기반 AI가 지속적으로 가치를 제공하고 에이전트가 통제 불능 상태에 빠질 위험을 줄일 수 있을 것입니다.

지금까지 최고의 인공지능 도구들을 살펴보았습니다.

이 기사는 오늘날 기술 업계에서 가장 뛰어나고 유능한 인재들을 소개하는 저희 채널 인 DzTecnium Pro Perspectives 의 일환으로 제작되었습니다 .

본문에 표현된 의견은 저자의 의견이며 DzTecniumPro 또는 Future plc의 의견을 반드시 반영하는 것은 아닙니다. 기고에 관심이 있으시면 다음 링크에서 자세한 내용을 확인하실 수 있습니다: https://www.techradar.com/pro/perspectives-how-to-submit