인류의 산물: 연구원들은 잠재적 생물학 무기 연구에 클로드(Claude)를 사용하는 것이 금지되었습니다.

주요 AI 기업들은 자사의 모델이 생물학 무기 개발을 용이하게 할 수 있다고 오랫동안 경고해 왔습니다. 이러한 맥락에서, 앤트로픽은 심각한 우려를 불러일으킨 연구자 그룹에 대한 서비스 제공을 이미 중단했다고 밝혔습니다. 새로운 규제 기관들이 AI 오용을 감시하고 있다는 보도는 이러한 경고의 중요성을 더욱 강조합니다.

뉴욕 타임스 보도에 따르면 , 앤트로픽은 올해 생물학 무기 연구와 관련된 것으로 의심되는 활동을 감지한 후 여러 사용자를 차단했습니다.

명확히 말씀드리자면, Anthropic은 이 연구자들이 치명적인 병원균을 개발하려 했다는 결정적인 증거를 확보하지 못했습니다.

첨단 생물학 연구는 본질적으로 "이중 용도"를 지닙니다. 생명을 구할 수 있는 백신 개발로 이어질 수 있는 연구가 위험한 목적으로 악용될 수도 있기 때문입니다. 하지만 앤트로픽은 이러한 의심스러운 행태를 감지했습니다. 연구원들이 지리적 제한을 우회하여 클라우드에 접근하고 연구 목적을 숨기려 했다는 보고가 있었습니다. 앤트로픽은 이러한 패턴을 근거로 서비스 제공을 중단하기로 결정했습니다.

그들은 어떻게 클로드의 보안 시스템을 우회했을까요?

연구원들이 말 그대로 클로드를 "해킹"한 것은 아닙니다. 앤트로픽사에 따르면, 연구원들은 모델에 접근한 경로와 궁극적으로 달성하고자 했던 목표를 숨기는 방법을 찾아냈습니다.

한 사례에서, 한 연구원은 미국에 기반을 둔 가상 인프라를 통해 지원되지 않는 지역에서 클라우드에 접속했으며, 이때 자동으로 생성된 계정을 사용한 것으로 알려졌습니다. 또한, 앤트로픽은 클라우드 요청이 민간 및 군사 기관 소속 바이러스학자를 포함한 수많은 생명 과학 연구원들이 이용하는 플랫폼을 통해 라우팅되는 것을 발견했습니다.

연구원들은 클라우드 보호 조치가 발동되지 않도록 연구 목적을 숨기려고 시도했습니다 . 생물학 분야에서는 개별 요청이 더 크고 잠재적으로 위험한 프로젝트에 기여하는 경우에도 완벽하게 합법적으로 보일 수 있기 때문에 이러한 시도를 적발하기가 특히 어렵습니다.

한 사례에서는 한 과학자가 치쿤구냐 바이러스의 유전적 변형을 통해 전염성 및 면역 회피와 같은 특성을 연구하기 위한 연구비 지원 제안서 작성을 위해 클로드의 도움을 요청한 것으로 알려졌습니다. 이 사례는 클로드가 연구 제안서 작성과 같은 복잡한 작업에 어떻게 활용될 수 있는지를 보여줍니다 . 이러한 유형의 연구는 합법적인 과학적 목적을 가질 수 있으며, 바로 이러한 이유로 앤트로픽은 연구자들의 궁극적인 의도가 선의인지 악의적인지 판단 할 수 없다고 밝혔습니다.

그러나 앤트로픽은 민감한 연구와 활동 은폐 시도가 결합된 점을 고려하여 해당 계정을 폐쇄하기로 결정했습니다.

생물학이 인공지능의 궁극적인 시험대가 되는 이유는 무엇일까요?

인공지능은 페트리 접시에서 화학 물질을 섞거나 물리적인 실험 장비를 사용하여 생물학 무기를 만들 수는 없습니다. 하지만 강력한 가속기가 될 수는 있습니다.

실험실 작업 경험이 있는 사람에게 있어, 유능한 AI 모델은 복잡한 연구를 분석하고, 데이터를 분석하고, 문제를 탐색하고 해결하며, 전문적인 기술적 격차를 해소하는 데 도움을 줄 수 있습니다. AI 모델은 인간이 어려운 작업을 더 쉽고 빠르게 수행하는 데 필요한 모든 것을 제공할 수 있습니다.

이로 인해 AI 기업들은 광범위한 회색지대에 놓이게 됩니다. 법학자와 생물학 무기 개발자 모두 비슷한 질문을 제기할 수 있습니다. 오용은 반드시 하나의 명확한 주장으로 나타나는 것은 아닙니다. 누구나 거대한 프로젝트를 수십 개의 겉보기에 무해한 작업으로 쪼갤 수 있기 때문에, 특히 AI 오용에 대한 우려가 커지고 있는 상황에서 보안 시스템이 전체적인 상황을 파악하기는 매우 어렵습니다.

다음으로는 오탐지 문제가 있습니다. 이러한 안전장치가 너무 엄격하면 합법적인 과학 연구를 저해할 위험이 있고, 너무 관대하면 잠재적으로 위험한 활동이 적발되지 않고 넘어갈 수 있습니다.

모든 것은 인간의 의도에 달려 있습니다.

특히 어제 제이콥 콕슨이 앤트로픽에서 사임하면서 AI에 대한 우려가 극에 달한 상황에서, 여기서 일어나지 않은 일을 명확히 하는 것이 중요합니다 . 우리는 모델이 폭주하거나 자율 에이전트가 독자적으로 행동하는 것을 우려하지만, 클로드는 폭주하지 않았고, 어떤 자율 AI 에이전트도 스스로 생화학 무기를 계획하지 않았습니다. 인간이 통제하고 있었습니다.

이로 인해 위험은 훨씬 더 시급해집니다. 여기서 우려되는 점은 초지능 인공지능이 갑자기 인류에게 해를 끼치기로 결정하는 것이 아닙니다. 오히려 강력한 모델들이 사람들에게 원래는 갖지 못했을 능력을 부여하고 있다는 점입니다.

이메일을 작성하거나, 문서를 요약하거나, 코드를 작성하는 등 클라우드를 사용하는 일반 사용자에게는 아무런 변화가 없습니다. 하지만 업계에서는 상황이 완전히 달라졌고, 많은 기업들이 클라우드 사용 방식을 재평가하게 되었습니다.

그렇다면 AI 기업들이 실제로 할 수 있는 일은 무엇일까요?

이 딜레마에 대한 완벽한 해결책은 없습니다. 명백한 질문을 차단하는 것은 사용자가 무엇을 하려고 하는지 명확히 알고 있을 때만 효과가 있습니다. 만약 사용자가 잠재적으로 위험한 프로젝트를 수십 개의 무해해 보이는 요청으로 쪼개놓는다면, AI 기업들은 각 요청을 개별적으로 판단하기보다는 전체적인 상황을 파악할 수 있는 안전장치를 마련해야 합니다.

이는 모델의 안전 제한을 우회하려는 반복적인 시도를 감시하고, 상호 작용 전반에 걸쳐 의심스러운 패턴을 모니터링하며, 가장 강력한 과학적 기능에 대해 더욱 엄격한 통제를 적용하는 것을 의미할 수 있습니다. 또한 기업은 출시 전에 새로운 모델을 테스트하여 경험이 부족한 사람이 잠재적으로 위험한 생물학적 작업을 수행하는 데 도움을 줄 수 있는지 여부를 판단할 수 있습니다.

하지만 모든 추가적인 안전장치에는 장단점이 따릅니다. 생물학 무기를 개발하는 사람을 탐지하려는 시스템이 오히려 생물학 무기 프로젝트를 진행하는 연구원을 위험 요소로 지목할 수도 있습니다. 바로 이런 이유 때문에 앤트로픽의 정보 공개가 매우 중요합니다. AI 안전을 위한 다음 단계는 겉보기에는 합법적으로 보이는 행동 패턴이 기업이 개입해야 할 만큼 위험한 상황으로 이어지는 시점을 판단하는 것입니다.