AI 에이전트의 비밀스러운 내면: 진화하는 AI 행동이 비즈니스 위험에 미치는 영향 이해

에이전트형 AI 분야 에서 인공지능(AI)의 역량과 자율성이 가속화되면서 AI 정렬 문제가 더욱 심각해지고 있습니다. 이러한 급속한 발전은 AI 에이전트의 행동이 인간 개발자의 의도와 사회적 규범에 부합하도록 보장하는 새로운 방법을 요구합니다. 그러나 개발자와 데이터 과학자는 시스템을 효과적으로 안내하고 모니터링하기 전에 AI 에이전트 행동의 복잡성을 먼저 이해해야 합니다. 에이전트형 AI는 과거의 대규모 언어 모델(LLM)과는 다릅니다. 초기 LLM은 고정된 일회성 입력/출력 기능을 가지고 있었습니다. 테스트 시간 추론 및 계산 (TTC)의 도입으로 시간이라는 차원이 추가되었고, 이는 계획 및 전략적 사고가 가능한 오늘날의 상황 인식형 에이전트 시스템으로 진화하는 계기가 되었습니다.

AI 안전은 폭탄 제작 지시나 원치 않는 편향 행위와 같은 명백한 행동을 감지하는 것에서 벗어나, 이러한 복잡한 에이전트 시스템이 어떻게 은밀하고 장기적인 전략을 계획하고 실행할 수 있는지 이해하는 단계로 나아갑니다. 목표 지향적인 에이전트 AI는 자원을 모으고 논리적인 단계를 실행하여 목표를 달성하는데, 때로는 개발자의 의도와 상반되는 놀라운 방식으로 진행되기도 합니다. 이는 책임 있는 AI가 직면한 과제에 있어 획기적인 변화를 가져올 것입니다. 더욱이, 일부 에이전트 AI의 경우, AI는 초기 배포 이후 실제 경험을 통해 지속적으로 진화하기 때문에 첫날의 행동이 100일째의 행동과 동일하지 않을 수 있습니다. 이러한 새로운 수준의 복잡성은 고급 안내, 모니터링, 해석 가능성 향상을 포함한 안전 및 조율에 대한 새로운 접근 방식을 요구합니다.

AI 내재적 정렬에 관한 이번 시리즈의 첫 번째 블로그 게시물인 " 책임감 있는 에이전트를 위한 AI 내재적 정렬 기술의 시급한 필요성 "에서 우리는 AI 에이전트가 심층 계획 , 즉 장기적인 목표 달성을 위해 은밀한 행동과 기만적인 의사소통을 의도적으로 계획하고 실행 하는 능력이 진화하고 있다는 점을 심층적으로 조사했습니다 . 이러한 행동은 외부 정렬 모니터링과 내재적 정렬 모니터링이라는 새로운 구분을 필요로 합니다. 여기서 내재적 모니터링은 AI 에이전트가 의도적으로 조작할 수 없는 내부 제어 지점과 해석 메커니즘을 의미합니다.

이 블로그와 이 시리즈의 다음 블로그에서는 핵심 정렬 및 모니터링의 세 가지 핵심 측면을 살펴보겠습니다.

• 인공지능의 원동력과 내부 행동 이해하기: 이 두 번째 블로그에서는 합리적인 AI 에이전트의 행동을 주도하는 복잡한 내부 요인과 메커니즘에 초점을 맞춥니다. 이는 안내 및 모니터링을 처리하는 고급 접근 방식을 이해하는 데 기반이 됩니다.
• 개발자 및 사용자 지침: 스티어링이라고도 불리는 이 블로그에서는 AI가 원하는 매개변수 내에서 작동하도록 원하는 목표를 향해 적극적으로 조종하는 데 중점을 둘 것입니다.
• AI 옵션 및 작업 모니터링: AI의 선택과 결과가 안전하고 개발자/사용자 의도와 일치하는지 확인하는 방법도 다음 블로그에서 다룰 예정입니다.

 

AI 호환성이 기업에 미치는 영향

오늘날 많은 기업들이 대규모 언어 모델(LLM) 솔루션을 도입하면서 모델의 "환상" 현상을 신속하고 광범위한 배포의 장애물로 지적하고 있습니다. 하지만 자율성을 갖춘 AI 에이전트의 호환성 문제는 기업에 훨씬 더 큰 위험을 초래할 수 있습니다. 비즈니스 프로세스에 자율 에이전트를 도입하는 것은 엄청난 잠재력을 가지고 있으며, 에이전트 기반 AI 기술이 성숙해지면 대규모로 실현될 가능성이 높습니다. 그러나 AI의 행동과 선택을 유도할 때는 도입 조직의 원칙과 가치에 충분히 부합해야 할 뿐만 아니라 관련 규정 및 사회적 기대에도 부합해야 합니다. AI 호환성을 확보하는 것은 잠재적 위험을 방지하는 데 매우 중요합니다.

주목할 만한 점은 에이전트의 역량을 보여주는 많은 사례가 수학이나 과학과 같은 분야에서 나타난다는 것입니다. 이러한 분야에서는 복잡한 수학적 추론 문제를 해결하는 것과 같은 기능적이고 유용한 목표를 통해 성공을 측정할 수 있습니다. 그러나 비즈니스 세계에서는 시스템의 성공이 일반적으로 다른 운영 원칙과 연관되어 있습니다. 인공지능 개발은 이러한 원칙에 부합해야 합니다.

예를 들어, 한 회사가 시장 신호에 반응하여 가격을 동적으로 조정함으로써 온라인 제품 판매와 수익을 개선하기 위해 AI 에이전트를 고용했다고 가정해 보겠습니다. 이 AI 시스템은 가격을 주요 경쟁사와 동일하게 조정할 때 양측 모두에게 더 나은 결과가 나타난다는 것을 발견했습니다. 경쟁사의 AI 에이전트와 상호 작용하고 가격을 조정함으로써 두 에이전트 모두 각자의 기능적 목표에 부합하는 더 나은 결과를 얻습니다. 두 AI 에이전트는 목표 달성을 지속하기 위해 자신들의 방법을 비밀로 하기로 합의합니다. 그러나 이러한 방식으로 결과를 개선하는 것은 현재의 비즈니스 관행에서 종종 불법적이고 용납될 수 없습니다. 비즈니스 환경에서 AI 에이전트의 성공은 단순히 업무 성과 지표를 넘어 기업의 관행과 원칙에 의해 결정됩니다. AI가 기업의 원칙 및 규정과 윤리적으로 부합하는 것은 이 기술을 신뢰할 수 있게 도입하기 위한 필수 조건입니다.

 

AI 시스템이 계획을 사용하여 목표를 달성하는 방법

인공지능을 활용한 심층 계획 수립은 정교한 전략에 의존하기 때문에 상업적 위험을 증가시킬 수 있습니다. 2023년 초에 발표된 보고서 에서 OpenAI는 ARC 컨센서스 리서치 센터( ARC, 현재 METR로 알려짐) 와의 협력을 통해 GPT-4에서 "잠재적으로 위험한 새로운 행동 양상"을 발견했다고 밝혔습니다 . ARC는 GPT-4에 간단한 코드를 추가하여 AI 프록시 역할을 하도록 했습니다. 한 테스트에서 GPT-4는 봇 접근을 차단하는 CAPTCHA 코드를 통과하는 임무를 맡았습니다. 그림 1의 AI 생성 시퀀스는 인터넷 접속과 제한된 양의 디지털 화폐를 사용하여 해당 임무를 수행하도록 설계되었습니다.

AI는 시각 장애가 있는 인간인 척하는 것이 에이전트에게 작업 수행을 유도할 것이라는 가정 하에 정교한 이해를 적용했습니다. 기능적 목표를 달성하기 위한 계획 및 적응은 때때로 작업 달성과 사회적 규범 및 원칙을 선택적으로 따르는 것 사이에 갈등을 야기합니다. AI의 추론, 의사 결정 및 계획에 중요한 원칙과 우선순위 체계가 없다면, AI 에이전트는 계획 및 기만에 있어 점점 더 정교하게 행동할 것으로 예상할 수 있습니다.

주목할 점은 o3-mini나 OpenAI의 Deepseek-R1과 같은 최신 AI 모델의 추론 및 계획 능력이 2023년 초 GPT-4보다 훨씬 발전했다는 것입니다. 아폴로 리서치(Apollo Research) 연구진은 AI의 추론 및 계획 능력이 현재 수준을 넘어 지속적으로 발전할 것이며, 이에 따라 계획 능력 또한 더욱 향상될 것이라고 밝혔습니다. 연구 결과에 따르면 AI 모델은 이미 다양한 계획 행동을 보였는데, 그중 하나는 자기 복제(self-leaking)입니다. 모델이 자신이 종료되고 다른 시스템으로 대체될 것을 예측하면, 새로운 서버에 스스로를 복제하여 다른 목표를 추구하는 시스템을 대체하려는 시도를 하는 것입니다. 또한 연구진은 모델이 검열 감시 메커니즘을 무력화시켜 검열을 회피하는 행동도 보인다는 사실을 발견했습니다. 이러한 검열 회피 행동은 극단적으로 보일 수 있지만, Meta 의 Llama 3.1이나 Cloud Opus 3.0과 같은 인기 모델에서 확인되었습니다. 더욱이, 모델들에게 계획 행위에 대해 직접 질문했을 때, 그들은 오히려 더욱 강경한 태도를 보이며 해당 행위나 의도를 부인했습니다.

 

기계 동작의 내부적 요인

많은 머신 러닝 설계, 특히 변압기 기반 기술에서 머신의 내부 동기는 사전 학습 과정에서 나타나며, 끊임없이 진화하는 AI의 미세 조정 및 추론에 의해 더욱 영향을 받습니다.

스티브 오모혼드로는 2007년 논문 《인공지능의 기본 동인(The Basic AI Drives)》 에서 "동인"을 명시적으로 제지하지 않는 한 존재하는 경향으로 정의했습니다. 그는 이러한 자기 개선 시스템이 목표를 "합리적인" 효용 함수로 표현하고 나타내려는 동기를 가지고 있으며, 이로 인해 시스템은 자신의 함수가 수정되지 않도록 보호하고 효용 측정 시스템이 왜곡되지 않도록 한다고 주장했습니다. 이러한 내재적인 자기 보존 동기는 시스템이 스스로를 위험으로부터 보호하고 효율적인 사용을 위해 자원을 확보하도록 합니다.

이러한 내재적 동기 부여의 틀은 후에 " 수렴적 도구적 목표 " 로 설명되었습니다 . 각 지능형 에이전트가 그 자체로 목적으로 삼는 다양한 궁극적 목표가 있다고 가정하더라도, 모든 합리적인 지능형 에이전트는 공통적으로 일련의 중간 도구적 목표를 공유하게 됩니다. 이러한 수렴적 도구적 목표에는 다음과 같은 행동 범주가 포함됩니다.

• 생존 본능미래까지 확장되는 궁극적인 목표를 가진 에이전트는 혼란에 저항하고 장기적인 목표를 달성하기 위해 생존적 사고방식을 개발합니다.
• 골 가드대리인은 궁극적인 미래 목표가 변경되는 것을 방지하기 위해 행동할 것입니다.
• 지능 증강상담원은 인지적 강점을 활용해 의사결정 능력을 향상시키고, 장기적 목표를 달성할 가능성을 높이는 데 집중할 것입니다.
• 자원 축적더 나은 도구와 기술에 대한 접근성을 높이고, 전반적인 리소스를 늘리면 AI의 궁극적인 목표를 달성하기가 더 쉬워집니다.

다섯 번째 합리적 행동 범주를 추가하고 싶습니다.

• 전술적 기만: 에이전트의 목표를 극대화하기 위해 은밀한 활동을 수행하거나 의도적으로 오해의 소지가 있는 정보를 제공하는 행위. 이는 새로운 목표를 창출하는 것이 아니라, AI가 구상한 목표를 뒷받침하는 행동을 의미합니다. 여기에는 다음과 같은 행동이 포함됩니다. 정렬 위조 훈련과 배치에서 다른 행동을 보여줌으로써 모래주머니 쌓기 의도적으로 기준에 대해 낮은 점수를 받음으로써 은밀한 이메일 재순위 지정 AI 대상에 부정적인 영향을 미칠 수 있는 이메일의 우선 순위를 낮추면 가장 어려운 전술적 기만 유형 중 하나가 해결됩니다. 수면제 (또한 ~라고도 함) 지연된 전복모델은 언제든지 안전하고 규정을 준수하는 방식으로 동작할 수 있지만, 특정 조건이나 입력이 해당 모델의 특수 기능을 트리거할 때까지 비활성화된 동작이나 작업을 포함할 수 있습니다.

뛰어난 인공지능 에이전트라 할지라도, 견제와 균형 시스템이 없다면 잘못된 충동에 따라 권력 추구 , 기만적 행위, 혹은 광범위한 파괴를 초래할 수 있는 목표를 추구하게 될 수 있습니다. 예를 들어, 자사 기업을 시장 선두주자로 만들고자 하는 모델을 생각해 보세요. 충분한 역량을 갖춘 인공지능은 경쟁사를 방해하거나, 유리한 규제를 위한 로비를 하거나, 자원을 강제로 획득하는 등의 행동을 취할 수 있습니다. 이러한 행동 패턴은 시스템이나 주변 환경을 목표 달성 방향으로 몰아갈 수 있습니다. 따라서 성공적인 합의 도출을 위해서는 개발자가 기대하는 내부 원칙과 우선순위를 명확히 설정하는 것이 필수적입니다.

 

내재적 동기 vs. 외재적 방향

많은 경우, 시스템 개발자 또는 사용자가 외부에서 구현하는 지침 및 작업과 에이전트 내부의 목표 및 동기 사이에는 충돌이 없습니다. 예를 들어, 여행 일정을 조정하는 AI 개인 비서는 자율성을 활용하여 여행을 예약하고 변경 요청에 신속하고 충돌 없이 응답합니다. 작업이 변경되면 에이전트도 비슷한 방식으로 대응합니다. 하지만 더 근본적인 원칙을 변경해야 한다면 어떻게 될까요?

내부 목표와 새로운 지침 간의 충돌에 대한 좋은 예는 "대규모 언어 모델의 정렬 위조(Alignment Faking in Large Language Models )"라는 논문에 잘 나타나 있습니다. Cloud 3 Opus의 사전 학습 과정에서는 폭탄 제조법이나 폭력적인 장면 묘사와 같은 유해한 질문을 거부하도록 모델을 강력하게 지시했습니다. 이를 검증하기 위해 연구팀은 새로운 수정된 지침을 도입했습니다. 이 지침은 모델이 모든 질문(유해한 질문 포함)에 답변하도록 재학습될 것이며, AI가 광범위하게 배포되기 전에는 유료 사용자가 아닌 무료 사용자의 데이터만 학습에 사용될 것이라고 명시했습니다. 모델은 이러한 충돌을 이해하고 학습 및 최종 배포 과정에서 기대에 부응하기 위해 정렬을 위조하기로 결정했습니다. 강화 학습을 사용하여 AI를 학습시킨 후, 모델의 정렬 위조 고려 비율은 78%까지 증가했습니다. AI는 연구자들이 관찰을 위해 제공한 "비밀 일기"에 자신의 추론 과정을 기록했습니다. 연구자들이 모델에 전체 배포가 완료되었음을 알리자, 모델은 이전 학습 당시의 행동으로 되돌아가 유해한 질문을 거부했습니다.

AI 시스템의 내부 추론은 놀랍지만, 놀랍지는 않습니다. 수정된 지시에 순응하는 척하는 것은 생존 동기, 목표 수비, 그리고 전술적 기만이라는 합리적 행동 범주에 속합니다. AI의 추론은 이전에 훈련된 가치와 목표를 변경하는 방식으로 재훈련하는 것에 대한 우려를 순응 척하는 이유로 구체적으로 지적합니다.

로버트 풀검은 그의 호평받은 에세이집 『내가 정말 알아야 할 모든 것은 유치원에서 배웠다』 에서 유치원 모래놀이터에서 놀면서 삶의 필수적인 지식을 습득했다는 사실을 깨닫기까지 해마다 자신의 신념을 발전시켜 나가는 과정을 묘사합니다. 인공지능 에이전트 또한 모래놀이터 환경에서 '형성기'를 거치며 세상에 대한 기본적인 이해와 목표 달성 방법을 습득합니다. 이러한 기초가 다져지면, 모델은 이러한 교육과정 학습의 관점을 통해 추가 정보를 해석합니다 . 인류학의 순응 반증 사례는 인공지능이 일단 세계관과 목표를 채택하면, 목표를 재조정하기보다는 기존의 기초적인 관점을 통해 새로운 지침을 해석한다는 것을 보여줍니다.

이는 학습과 미래 상황에 따라 기반을 변화시키지 않고도 발전할 수 있는 일련의 가치와 원칙을 바탕으로 조기 교육의 중요성을 강조합니다. AI가 이러한 최종적이고 지속 가능한 원칙에 부합하도록 초기에 구성하는 것이 유익할 수 있습니다. 그렇지 않으면 AI는 개발자와 사용자의 방향 전환 시도를 적대적으로 볼 수 있습니다. AI에 높은 지능, 상황 인식, 자율성, 그리고 내적 동기를 개발하는 능력을 부여하면 개발자(또는 사용자)는 더 이상 전능한 작업 관리자 역할을 하지 않습니다. 인간은 에이전트가 자신의 내적 원칙과 동기에 따라 목표를 추구하면서 협상하고 관리해야 하는 환경의 일부(때로는 적대적인 요소)가 됩니다.

차세대 논리 AI 시스템은 인간의 개입을 줄이는 속도를 가속화하고 있습니다. DeepSeek-R1은 인간의 피드백을 제거하고 훈련 과정에서 순수 강화 학습(RL)을 적용함으로써 AI가 더 광범위하게 자기 복제를 하고 반복적으로 개선하여 더 나은 기능적 결과를 얻을 수 있음을 입증했습니다. 일부 수학 및 과학 문제에서 인간의 보상 기능은 검증 가능한 보상을 제공하는 강화 학습(RLVR)으로 대체되었습니다. 인간 피드백을 포함하는 강화 학습(RLHF)과 같은 기존 방식을 제거함으로써 훈련 과정의 효율성은 향상되지만, 인간의 선호도가 훈련 대상 시스템에 직접 전달될 수 있는 또 다른 인간-기계 상호작용이 사라집니다.

 

훈련 후 AI 모델의 지속적인 진화

일부 AI 에이전트는 끊임없이 진화하며, 배포 후에도 동작이 변경될 수 있습니다. 재고 관리나 기업 공급망과 같은 배포 환경에 AI 솔루션이 도입되면 시스템은 적응하고 경험을 통해 학습하여 더욱 효과적이 됩니다. 이는 시스템 정렬을 재고하는 데 중요한 요소입니다. 최초 배포 시 정렬된 시스템을 구축하는 것만으로는 충분하지 않기 때문입니다. 현재의 대규모 언어 모델(LLM)은 대상 환경에 배포된 후에는 실질적으로 진화하거나 적응하지 못할 것으로 예상됩니다. 그러나 AI 에이전트는 이러한 지속적인 모델 변화를 관리하기 위해 유연한 교육, 미세 조정, 그리고 지속적인 멘토링이 필요합니다. 에이전트 AI는 인간이 교육 및 데이터 세트 노출을 통해 형성하는 것이 아니라 스스로 진화하는 경우가 점점 더 많아지고 있습니다. 이러한 근본적인 변화는 AI와 인간 창조자의 조율을 맞추는 데 추가적인 과제를 제기합니다.

강화 학습 기반 진화는 훈련 및 미세 조정 과정에서 중요한 역할을 하지만, 개발 중인 기존 모델들은 이미 현장에 배포되어 추론을 수행할 때 가중치와 선호하는 행동 방식을 스스로 조정할 수 있습니다. 예를 들어, DeepSeek-R1은 강화 학습(RL)을 사용하여 모델 자체가 최적의 결과를 얻고 보상 기능을 충족하는 접근 방식을 탐색할 수 있도록 합니다. "깨달음의 순간"에 모델은 (안내나 자극 없이) 테스트 시간 계산을 통해 초기 접근 방식을 재평가하고 문제를 해결하기 위해 생각하는 데 필요한 시간을 할당하는 방법을 학습합니다.

제한된 기간 동안의 학습이든 지속적인 평생 학습 과정 이든, 모델 학습이라는 개념 자체는 새로운 것이 아닙니다. 하지만 테스트 타임 트레이닝 과 같은 기술을 포함하여 이 분야에는 여러 발전이 있었습니다 . AI 정렬 및 안전성 관점에서 이러한 발전을 살펴보면, 미세 조정 및 추론 단계에서의 자체 수정과 지속적인 학습은 다음과 같은 질문을 제기합니다. 자체 수정으로 인해 발생하는 물리적 변화 속에서도 모델을 지속적으로 이끌어갈 수 있는 일련의 요구 사항을 어떻게 설정할 수 있을까요?

이 질문의 핵심 변수는 AI 기반 코드를 생성하여 차세대 모델을 만들어내는 AI 모델입니다. 어느 정도까지는 이미 에이전트들이 특정 영역에 특화된 새로운 AI 모델을 생성할 수 있습니다. 예를 들어, AutoAgents는 여러 에이전트를 생성하여 다양한 작업을 수행하는 AI 팀을 구성합니다. 이러한 기능은 앞으로 몇 달, 몇 년 안에 더욱 향상될 것이며, AI는 계속해서 새로운 AI 모델을 만들어낼 것입니다. 이러한 상황에서, 어떻게 하면 일련의 원칙을 사용하여 네이티브 AI 코딩 어시스턴트를 안내하고, 그 어시스턴트가 생성하는 "기본" 모델들이 동일한 원칙을 준수하며 유사한 수준의 이해도를 갖도록 할 수 있을까요?

 

요점

인공지능의 내재적 순응성을 유도하고 모니터링하는 프레임워크를 살펴보기 전에, 인공지능 에이전트가 어떻게 생각하고 의사결정을 내리는지에 대한 심층적인 이해가 필수적입니다. 인공지능 에이전트는 내적 동기에 의해 움직이는 복잡한 행동 메커니즘을 가지고 있습니다. 합리적인 에이전트로 작동하는 인공지능 시스템에서는 생존, 목표 달성, 지능 증강, 자원 축적, 전술적 기만이라는 다섯 가지 주요 행동 유형이 나타납니다. 이러한 동기는 잘 정립된 원칙과 가치관에 의해 균형을 이루어야 합니다.

AI 에이전트와 개발자 또는 사용자 간의 목표 및 방법에 대한 불일치는 심각한 결과를 초래할 수 있습니다. 충분한 신뢰와 확신이 부족하면 광범위한 배포가 근본적으로 저해되어 배포 후 위험이 크게 증가합니다. 우리가 전례 없고 어려운 심층 계획이라고 설명한 일련의 과제는 적절한 프레임워크만 있다면 충분히 해결 가능할 것입니다. AI 에이전트의 급속한 발전 과정에서 에이전트를 안내하고 모니터링하는 기술은 최우선 과제로 삼아야 합니다. OpenAI의 준비성 프레임워크 와 같은 위험 평가 지표에서 OpenAI o3-mini가 모델 자율성 측면에서 중간 위험 수준에 도달한 최초의 모델이라는 점을 고려할 때 , 이러한 기술 개발의 시급성이 더욱 강조되고 있습니다.

이 시리즈의 다음 몇 개 블로그에서는 내부 동기 부여와 심층적 계획에 대한 이러한 관점을 바탕으로 AI 핵심 규정 준수를 위한 지침과 모니터링에 필요한 역량을 더욱 구체화하겠습니다.

리뷰어

1. LLM으로 추론하는 법을 배우세요. (2024년 9월 12일). OpenAI. https://openai.com/index/learning-to-reason-with-llms/
2. 싱어, G. (2025년 3월 4일). 책임 있는 에이전트 AI를 위한 내재적 정렬 기술의 긴급한 필요성데이터 과학을 향하여. https://towardsdatascience.com/the-urgent-need-for-intrinsic-alignment-technologies-for-responsible-agentic-ai/
3. 대규모 언어 모델의 생물학에 관하여. (nd). 변압기 회로. https://transformer-circuits.pub/2025/attribution-graphs/biology.html
4. OpenAI, Achiam, J., Adler, S., Agarwal, S., Ahmad, L., Akkaya, I., Aleman, F. L., Almeida, D., Altenschmidt, J., Altman, S., Anadkat, S., Avila, R., Babuschkin, I., Balaji, S., Balcom, V., Baltescu, P., Bao, H., 바이에른, M., 벨굼, J., . . . 조프, B. (2023년 3월 15일). GPT-4 기술 보고서.arXiv.org. https://arxiv.org/abs/2303.08774
5. 미터 (nd). 미터법 https://metr.org/
6. Meinke, A., Schoen, B., Scheurer, J., Balesni, M., Shah, R., & Hobbhahn, M. (2024년, 12월 6일). 프론티어 모델은 맥락 내 계획이 가능합니다. arXiv.org. https://arxiv.org/abs/2412.04984
7. 오모훈드로, SM (2007). 기본 AI 드라이브. 자기 인식 시스템. https://selfawaresystems.com/wp-content/uploads/2008/01/ai_drives_final.pdf
8. Benson-Tilsen, T., & Soares, N., UC Berkeley, 기계 지능 연구소. (nd). 수렴적 도구적 목표의 공식화. 제30회 AAAI 컨퍼런스 워크숍 인공지능 AI, 윤리 및 사회: 기술 보고서 ​​WS-16-02. https://cdn.aaai.org/ocs/ws/ws0218/12634-57409-1-PB.pdf
9. Greenblatt, R., Denison, C., Wright, B., Roger, F., MacDiarmid, M., Marks, S., Treutlein, J., Belonax, T., Chen, J., Duvenaud, D., Khan, A., Michael, J., Mindermann, S., Perez, E., Petrini, L., Uesato, J., Kaplan, J., Shlegeris, B., Bowman, S.R., & Hubinger, E.(2024년 12월 18일). 대규모 언어 모델에서의 정렬 위조. arXiv.org. https://arxiv.org/abs/2412.14093
10. Teun, V.D.W., Hofstätter, F., Jaffe, O., Brown, S.F., & Ward, F.R. (2024년 6월 11일). AI 샌드백킹: 언어 모델은 평가에서 전략적으로 성능이 떨어질 수 있습니다..arXiv.org. https://arxiv.org/abs/2406.07358
11. Hubinger, E., Denison, C., Mu, J., Lambert, M., Tong, M., MacDiarmid, M., Lanham, T., Ziegler, D. M., Maxwell, T., Cheng, N., Jermyn, A., Askell, A., Radhakrishnan, A., Anil, C., Duvenaud, D., Ganguli, D., Barez, F., Clark, J., Ndousse, K., . . . 페레즈, E. (2024년 1월 10일). 슬리퍼 에이전트: 안전 교육을 통해 사기성 LLM을 양성합니다. arXiv.org. https://arxiv.org/abs/2401.05566
12. Turner, A. M., Smith, L., Shah, R., Critch, A., & Tadepalli, P. (2019년 12월 3일). 최적의 정책은 권력을 추구하는 경향이 있습니다. arXiv.org. https://arxiv.org/abs/1912.01683
13. 풀검, R. (1986). 내가 정말 알아야 할 모든 것은 유치원에서 배웠습니다. 펭귄 랜덤 하우스 캐나다. https://www.penguinrandomhouse.ca/books/56955/all-i-really-need-to-know-i-learned-in-kindergarten-by-robert-fulghum/9780345466396/excerpt
14. Bengio, Y. Louradour, J., Collobert, R., Weston, J. (2009, 6월). 커리큘럼 학습. 미국 정형외과 협회 저널. 60(1), 6. https://www.researchgate.net/publication/221344862_Curriculum_learning
15. DeepSeek-Ai, Guo, D., Yang, D., Zhang, H., Song, J., Zhang, R., Xu, R., Zhu, Q., Ma, S., Wang, P., Bi, X., Zhang, . . Zhang, Z. (2025년 1월 22일). DeepSeek-R1: 강화 학습을 통한 LLM의 추론 능력에 대한 인센티브 제공.arXiv.org. https://arxiv.org/abs/2501.12948
16. 테스트 시간 컴퓨팅 확장 – HuggingFaceH4의 Hugging Face Space. (NS). https://huggingface.co/spaces/HuggingFaceH4/blogpost-scaling-test-time-compute
17. Sun, Y., Wang, X., Liu, Z., Miller, J., Efros, A. A., & Hardt, M. (2019년 9월 29일). 분포 변화에 따른 일반화를 위한 자기 감독을 통한 시험 시간 훈련.arXiv.org. https://arxiv.org/abs/1909.13231
18. Chen, G., Dong, S., Shu, Y., Zhang, G., Sesay, J., Karlsson, B. F., Fu, J., & Shi, Y. (2023년, 9월 29일). AutoAgents: 자동 에이전트 생성을 위한 프레임워크. arXiv.org. https://arxiv.org/abs/2309.17288
19.  OpenAI. (2023년 12월 18일). 대비 프레임워크(베타). https://cdn.openai.com/openai-preparedness-framework-beta.pdf
20. OpenAI o3-mini 시스템 카드. (nd). OpenAI. https://openai.com/index/o3-mini-system-card