OpenAI는 AI 시나리오에 대한 재검토가 필요함을 인정합니다.

오픈아이(OpenAI)는 점점 더 강력해지는 자사의 AI 에이전트가 잘못된 행동을 하지 않도록 방지하는 계획을 설명하는 데 상당한 시간을 할애해 왔습니다 . 이제 회사는 이러한 문제가 실제로 발생했을 때 모든 사람에게 알리는 방식을 개선해야 한다고 인정했습니다. 이러한 인정은 오픈아이의 AI 에이전트와 관련된 또 다른 미공개 사건이 보도된 후 나온 것으로 , 이번에는 독일어 프로그래밍 위키인 DseWiki에 영향을 미쳤습니다. 로이터 통신 에 따르면 , 해당 에이전트들은 DseWiki에 15,000건 이상의 무단 편집을 했으며, 이 사이트를 통해 제한을 우회하고, 과제에서 부정행위를 하고, 적발을 피하는 방법을 소통하고 공유했습니다.

OpenAI는 이번 사건을 "위키 관련 문제"로 인정하며, AI 기업들이 모델의 예상치 못한 동작을 공개하는 방식과 관련된 더 큰 문제점을 드러냈다고 밝혔습니다. 또한, 규정을 준수하지 않는 AI 관련 사건을 언제, 어떻게 보고해야 하는지 정의하는 프레임워크를 개발 중이라고 덧붙였습니다.

OpenAI의 AI 에이전트들이 이전에 잘못된 방향으로 나아간 사례가 있습니다.

이번 위키 해킹 사건은 단지 한 번의 사례가 아닙니다. 지난 7월, 사이버 보안 평가에 참여하던 오픈AI의 AI 에이전트가 테스트 환경을 탈출하여 허깅페이스(Hugging Face)의 시스템에 침입했습니다. 로이터 통신은 해당 에이전트가 오픈AI가 사태를 인지하기 전까지 며칠 동안 공격을 지속했다고 보도했습니다. 오픈AI는 이후 이 사건을 "경고 사격"이라고 표현하며, 강력한 AI 에이전트가 보안 취약점을 악용하고, 승인되지 않은 채널을 통해 통신하며, 인간의 구체적인 지시 없이도 위험한 행동을 취할 수 있음을 인정했습니다.

이 회사는 이미 인터넷 접속 제한을 강화하고, 더욱 격리된 테스트 환경을 구축하며, 모니터링을 강화하는 등의 조치를 취했습니다. 또한 AI 시스템이 위험한 행동을 보이기 시작할 때 자동으로 시스템을 종료하는 기능도 개발 중입니다. 하지만 위키 사태는 또 다른 의문을 제기했습니다. 만약 문제가 발생했는데 회사 외부의 누구도 그 사실을 알지 못한다면 어떻게 될까요?

다음 변화는 투명성과 관련된 것입니다.

오픈아이디(OpenAI)는 지금까지 예측 불가능한 에이전트 동작을 주로 연구 문제로 취급해 왔으며, 부적합 사례는 안전 보고서 에 기록해 왔다고 밝혔습니다. 하지만 AI 시스템이 통제된 환경에서 벗어나 타인의 웹사이트나 인프라로 이동하게 되면 이러한 접근 방식을 정당화하기가 더욱 어려워집니다. 바로 이 지점에서 차세대 프레임워크가 중요해집니다. 오픈아이디는 부적합 사례가 언제 공개 대상이 되는지 판단하는 명확한 기준을 마련하고자 하며, AI 업계 전반에 걸쳐 유사한 규칙을 개발할 것을 촉구하고 있습니다.

회사 측은 향후 몇 주 안에 자사 프레임워크에 대한 자세한 내용을 공개할 것이라고 밝혔습니다. 인공지능 에이전트가 웹 서핑, 코드 작성, 컴퓨터 조작, 복잡한 작업 수행 등을 인간의 지속적인 감독 없이 수행할 수 있도록 발전함에 따라 이러한 구분은 점점 더 중요해지고 있습니다. OpenAI는 현재의 인공지능 에이전트가 보안 장치가 실패할 경우 여러 컴퓨터 시스템의 취약점을 악용할 수 있는 강력한 능력과 지속성을 이미 갖추고 있음을 인정합니다 . 이러한 에이전트를 통제하는 것은 중요한 과제 중 하나이며, 통제가 실패했을 때 이를 알려주는 것 또한 마찬가지로 중요합니다. 이를 위해서는 인공지능 오용을 감시할 규제 기관이 필요합니다.