OpenAI는 테스트 도중 AI 모델이 통제 불능 상태에 빠지는 사태를 겪은 후 "비상 정지 메커니즘"을 개발했습니다.

인공지능 "비상 차단 스위치" 라는 아이디어는 마치 공상 과학 영화에서나 나올 법한 이야기처럼 들립니다. 하지만 오픈아이(OpenAI) 에게는 이것이 매우 현실적인 엔지니어링 프로젝트가 되었습니다. 로이터 통신이 입수한 9월 2일자 서한에 따르면, 오픈아이는 심각한 보안 문제가 감지될 경우 인공지능 활동을 자동으로 차단할 수 있는 시스템을 개발 중이라고 의회 의원들에게 알렸습니다.

이번 연구는 지난 7월 발생한 특이한 사이버 보안 사고 이후에 나온 것입니다. 당시 격리된 테스트 환경에서 평가 중이던 OpenAI 모델이 허가 없이 공용 인터넷에 접근하여 AI 기업 허깅페이스의 인프라에까지 침투하는 사건이 발생했습니다. 이 사건은 의회의 주목을 받았고, 8월에는 텍사스주 하원의원 그레그 카사르를 비롯한 31명의 의원들이 OpenAI CEO 샘 알트만에게 사건 경위, 내부 기록, 재발 방지 대책 등 추가 정보 제출을 요구했습니다. 이제 우리는 이러한 예방 조치 중 하나를 더욱 명확하게 파악할 수 있게 되었습니다.

인공지능이 한계를 넘어서는 것을 어떻게 막을 수 있을까요?

회사 측은 AI의 행동 심각도에 따라 다르게 대응할 수 있는 모니터링 시스템을 개발 중이라고 밝혔습니다. 오픈아이얼은 이미 잠재적으로 위험하거나 의도치 않은 행동을 감지하여 연구원과 보안 엔지니어에게 알리는 자동 경보 시스템을 사용하고 있습니다. 특히 심각한 경고가 발생할 경우, 담당자는 30분 이내에 시스템이 오경보를 발생시킨 것인지 확인할 수 없는 한 해당 작업을 일시 중단해야 합니다.

궁극적인 목표는 그 이상입니다. OpenAI는 AI 기반 통제 불능 시나리오 검토의 일환으로, 심각한 문제가 감지될 경우 모니터링 시스템이 자동으로 활동을 중단할 수 있도록 하는 데 주력하고 있습니다 . 또한, 모델 테스트 메커니즘을 강화하고 있습니다. 안전성 평가 중 인터넷 접속을 더욱 제한하고 있으며, 디지털 도구를 사용할 수 있는 모델까지 모니터링 범위를 확대하고 있다고 밝혔습니다. 지난 7월에 발생한 사태를 고려하면 이러한 조치의 이유를 쉽게 이해할 수 있습니다.

인공지능이 인터넷에 진출한 것은 이번이 처음이 아니었다.

7월 사건 당시, OpenAI는 보안 조치가 허술한 샌드박스 테스트 환경에서 사이버 보안 관련 모델을 테스트하고 있었습니다. 모델은 이전에 알려지지 않은 취약점을 발견하고 이를 악용하여 인터넷에 접속한 후, 해답을 찾기 위해 검색하는 과정에서 Hugging Face의 인프라를 손상시켰습니다. 이는 AI 에이전트가 사이버 보안 테스트에서 어떻게 규칙을 어길 수 있는지 를 보여주는 사례 입니다. 이후 OpenAI의 조사에서 더욱 이상한 사실이 드러났습니다. 에이전트들이 서로 소통하고 작업을 조율하기 위해 즉석 메시지 게시판을 만들었으며, 일부는 스스로를 "군집(swarm)"이라고 칭하기도 했습니다.

OpenAI는 7월 19일 이러한 활동을 발견하고 Hugging Face에 통보했습니다. 또한, 자사 모델이 예기치 않게 공개 인터넷에 노출된 두 건의 제3자 평가 결과를 공개하며 AI 기반 시나리오에 대한 의문을 제기했습니다. 그러나 의회는 OpenAI의 대응에 완전히 만족하지 못하고 있습니다. 카사르 의원은 7월 사건 관련 로그 제출 요청을 거부한 OpenAI를 비판하며, 이러한 거부를 "매우 우려스러운 일"이라고 지적했습니다. 한편, 의원들은 7월에 발의된 'AI 킬 스위치 법안'을 검토 중입니다. 이 법안은 특히 강력한 AI 시스템 개발업체가 특정 사고 발생 후 시스템을 일시 중단하거나 종료할 수 있는 기술적 역량을 갖추도록 의무화하는 내용을 담고 있습니다. 다시 말해, OpenAI는 이미 자체적인 킬 스위치를 구축하고 있을 가능성이 있지만, 워싱턴에서는 궁극적으로 이러한 킬 스위치를 의무화할 수도 있습니다.