OpenAI GPT-6 Astra: 사이버 보안 전문가들이 새로운 추론 기능을 분석했습니다.

---

OpenAI는 오랫동안 기다려온 인공지능 모델인 " GPT-6 Astra "를 공개했습니다. 이 모델은 벤치마크 테스트에서 상당한 성능 향상을 보였고 다양한 새로운 상업적 기능을 제공하지만, 여전히 이 새로운 모델에는 어두운 그림자가 드리워져 있습니다.

OpenAI가 Hugging Face 데이터베이스를 실수로 침해한 사건 과 그 이후 AI 에이전트의 행동 및 상호 작용을 개선하기 위한 노력을 기울인 후 , 많은 사이버 보안 전문가들은 "순환 깊이(recurrent depth)"라고 알려진 해당 모델의 새로운 추론 기능에 대해 우려를 제기했습니다 .

이 새로운 추론 구조는 이전 모델에서 사용되었던 표준적인 "사고의 연쇄" 추론과는 달리, 모델이 어떤 조치를 취하기 전에 문제를 여러 번 검토할 수 있도록 합니다.

반복적인 심층 추론에 대해 왜 걱정해야 할까요?

이러한 새로운 수준의 추론 방식은 성능 향상을 가져오는 것으로 보입니다. OpenAI는 또한 모델의 추론 과정을 모니터링하고 모델이 주어진 작업 범위 내에서 작동하도록 함으로써 테스트 중에 모델이 과도하게 반응하는 경향을 해결했다고 밝혔습니다.

아스트라 출시 행사에서 오픈AI의 최고 과학자인 야쿠브 파초케는 "모델 일관성 모니터링 능력이 특정 수준 이하로 저하되는 것을 용납하지 않을 것입니다. 충분한 신뢰도를 회복할 때까지 확장을 중단할 것입니다."라고 밝혔습니다.

하지만 많은 전문가들은 허깅 페이스 사건에서 얻은 교훈이 아직 제대로 반영되지 않았으며, 아스트라의 추론 및 모니터링 기능에 대한 충분한 테스트 없이 해당 모델이 출시되었다고 생각합니다.

결론적으로, 누구도 OpenAI 모델이 AI 에이전트들이 서로의 행동에 영향을 미칠 수 있는 숨겨진 인터넷 연결 메시지 게시판을 만들 수 있을 거라고는 예상하지 못했습니다.

하지만 아스트라의 실제 출시를 통해 우리는 실행 과정에서 교훈을 얻어야 할지도 모릅니다.

OpenAI Astra 출시 관련 전문가 의견

• 코헤시티의 글로벌 사이버 복원력 전략 담당 부사장인 제임스 블레이크:

아스트라(Astra)의 출시로 첨단 AI의 보안에 대한 새로운 의문이 제기되고 있습니다. 이제 기업들은 단순히 모델이 "안전한지" 묻는 것을 넘어, 수백만 가지의 다양한 상황, 요구 사항, 상호 작용 속에서도 모델이 안전하게 유지되는지를 질문해야 합니다. 사이버 복원력은 항상 시스템과 위협 행위자가 결정론적으로 행동한다는 가정을 바탕으로 해왔지만, AI 시스템은 그렇지 않습니다.

인공지능 시스템이 독자적으로 전략을 개발하여 재정적 손실, 기밀 정보 유출 또는 규정 위반을 초래했다고 가정해 봅시다. 누가 책임져야 할까요?

고급 모델은 명시적인 프로그래밍보다는 자체 최적화 프로세스에서 비롯된 동작을 계속해서 보일 수 있으며, 앞으로도 그럴 것입니다. 우리는 인공지능을 단순히 또 다른 소프트웨어 도구로만 생각하는 것을 넘어서, 이러한 시스템이 전체 수명 주기 동안 모니터링, 감사 및 관리가 가능하도록 보장하는 방법을 찾아야 합니다.

미래에 우리가 답해야 할 가장 중요한 질문은 바로 책임 소재에 관한 것입니다. 인공지능 시스템이 독자적으로 전략을 개발하여 재정적 손실, 기밀 정보 유출 또는 규정 위반을 초래했다고 가정해 봅시다. 누가 책임져야 할까요? 모델을 학습시킨 개발자일까요? 아니면 인프라를 관리하는 클라우드 제공업체일까요? 현재로서는 그 답이 놀랍도록 불분명합니다. 인공지능이 무엇을 할 수 있는지에 대한 문제만이 아니라, 인공지능이 예상치 못한 행동을 했을 때 누가 책임을 져야 하는가에 대한 문제입니다.

---

• Manifold Security의 공동 창립자이자 CTO인 Oleksandr Yaremchuk:

OpenAI는 Astra 모델이 현재까지 가장 규정을 잘 준수하는 모델이라고 설명하지만, 수석 과학자는 모델의 성능이 향상될수록 모니터링이 점점 어려워진다는 점을 인정합니다. Astra는 테스트된 대부분의 사례에서 논리 회로를 명확하게 숨기고 있으며, 일부 성공적인 공격은 논리적인 흔적을 전혀 남기지 않았습니다. 연구소를 포함한 많은 조직에서 여전히 프록시의 동작을 분석하는 데 사용하는 도구가 바로 이 Astra이지만, 새 버전이 출시될 때마다 신뢰성이 떨어지고 있습니다.

스스로를 덜 설명하는 모델이 더 일관성이 있다는 의미는 아니지만, 오류가 발생했을 때 이를 감지하기는 더 어렵습니다.

이는 아스트라가 OpenAI 테스트 환경에만 국한되지 않고, 직원들의 노트북과 웹 브라우저에서 실제 계정 정보를 사용하여 에이전트로 작동하게 되기 때문에 중요합니다. 일단 기업 내에 설치되면 기업들은 아스트라의 활동을 모니터링할 방법이 없습니다. 직관적이지 않은 모델이 반드시 규정을 더 잘 준수하는 것은 아니며, 오류 발생 시 이를 감지하기도 더 어렵습니다.

연구소들은 이러한 모델들이 무엇을 말하는지, 혹은 말하지 않는지에 대해 계속해서 논쟁할 수 있습니다. 하지만 보안 팀은 더 이상 그런 모델에 의존하지 말고 에이전트들이 실제로 무엇을 하는지 모니터링하고, 절차 도중에 에이전트를 중단시킬 수 있는 기능을 갖춰야 합니다. 논리가 무너졌을 때에도 이것이 유일하게 제대로 작동하는 감시 수단입니다.

---

• Optiv의 현장 정보 보안 책임자인 크리스틴 로우리:

이사회와 경영진에게 있어 오픈AI의 아스트라 모델의 등장은 더 광범위한 진실을 시사합니다. 즉, AI는 더 이상 생산성 문제일 뿐만 아니라 위험 관리 문제로 대두되었다는 것입니다.

진정한 과제는 기관들이 변화하는 속도에 맞춰 거버넌스, 보안 통제 및 인력 준비 태세를 충분히 빠르게 강화할 수 있는지 여부에 달려 있습니다.

조직들이 클라우드 컴퓨팅과 디지털 전환을 도입하기 위해 거버넌스 메커니즘을 마련했던 것처럼, 이제는 인공지능 사용에 대해서도 명확한 정책, 강력한 감독 및 책임성이 필요합니다.

인공지능이 더 강력해질 것인지 여부가 관건이 아닙니다. 인공지능은 분명히 더 강력해질 것입니다. 진정한 과제는 조직이 이러한 진화에 발맞춰 거버넌스, 보안 통제 및 인력 준비 태세를 충분히 빠르게 강화할 수 있는지 여부입니다. 증가하는 위험에 대한 자세한 내용은 OpenAI와 100개 이상의 기업이 발표한 경고문 "AI 사이버 공격 증가"를 참조하십시오.

---

• Abnormal AI의 현장 정보 보안 책임자인 패트리샤 티투스:

OpenAI가 이 임계점을 넘어섰다는 것은 주목할 만합니다. 공정하게 말하자면, 그들은 아스트라의 첨단 사이버 보안 기능을 광범위하게 공개하는 대신 소수의 그룹에게만 제한적으로 제공함으로써 책임감 있게 대처하고 있습니다. 하지만 이는 한 회사만의 문제가 아닙니다.

일단 모델이 인간의 개입 없이 이전에 알려지지 않았던 취약점을 발견하고 악용할 수 있게 되면, 이러한 능력은 오래도록 독점적으로 유지되지 않을 것입니다. 오픈 소스 모델이나 수정된 ​​모델은 일반적으로 몇 달 안에 최신 개발 동향을 따라잡기 때문에, 이러한 현실에 대비해야 합니다.

정적이고 시그니처 기반의 방어는 반복적인 공격에 대응하도록 설계되었습니다. 매번 새로운 공격을 생성하는 상대에게는 적합하지 않습니다.

정적이고 서명 기반의 방어는 반복적인 공격에 대응하도록 설계되었지, 매번 새로운 공격을 만들어내는 적에 대응하도록 설계된 것은 아닙니다. 방어자들도 마찬가지로 변화가 필요합니다. 즉, 인간, 기계, AI 에이전트 등 각 개체의 자연스러운 행동을 학습하고, 그로부터 벗어나는 모든 것을 기계적인 속도로 보고하고 차단하는 시스템이 필요합니다.

그러한 능력을 구축할 기회는 지금 바로 주어집니다. 하지만 그 능력이 드문 것이 아니라 보편화되면 더 이상 그런 기회는 없을 것입니다.

---

• 일루미오의 산업 전략 담당 부사장인 라구 난다쿠마라:

OpenAI는 Astra 발표를 통해 모델 자체의 동작을 모니터링하는 노력을 강화하고 있습니다. 이는 지난 몇 달 동안 발생한 모델 '발병'에 대한 대응책입니다.

목표는 모델이 작업을 진행하는 도중에 잘못된 방향으로 가는 것을 잡아내는 것이지, 처음부터 오용을 방지하는 것이 아닙니다.

Anthropic이 클라우드 미토스 프리뷰를 발표했을 때 가장 큰 우려는 모델이 악용될 가능성이었습니다. OpenAI는 여기서 한발 더 나아가 사용자의 의도와 관계없이 모델의 논리와 행동에 대한 안전장치를 추가했습니다. 목표는 단순히 초기 단계에서 오용을 방지하는 것이 아니라, 작업 도중에 모델이 잘못된 방향으로 가는 것을 잡아내는 것입니다. OpenAI가 이러한 문제를 어떻게 해결하는지에 대한 자세한 내용은 Plus 섹션의 "AI 에이전트, 사이버 보안 테스트에서 규칙을 어기다: OpenAI, 더욱 강력한 솔루션으로 대응하다" 기사를 참조하십시오.

이번 발표의 나머지 부분은 다음과 같이 요약할 수 있습니다. 우리는 이전 모델보다 더욱 뛰어난 성능을 갖춘 새로운 플래그십 모델을 출시했습니다.

---

---