AI 에이전트의 비밀스러운 내면: 진화하는 AI 행동이 비즈니스 위험에 미치는 영향 이해

인공지능(AI)의 역량과 자율성은 급속도로 성장하고 있습니다. 에이전트틱 AI이는 AI 정렬 문제를 더욱 악화시킵니다. 이러한 급속한 발전은 AI 에이전트의 행동이 인간 창작자의 의도 및 사회적 규범에 부합하도록 보장하는 새로운 방법을 요구합니다. 그러나 개발자와 데이터 과학자는 시스템을 안내하고 모니터링하기 전에 먼저 에이전트 AI 행동의 복잡성을 이해해야 합니다. 에이전트 AI는 기존의 대규모 언어 모델(LLM)이 아닙니다. 초기 LLM은 고정된 일회성 입력 및 출력 기능을 가지고 있었습니다. 입력 추가 시험시간의 추론과 계산 (TTC) 시간 차원은 오늘날 상황을 인식하고 계획을 세우고 전략을 수립할 수 있는 에이전트 시스템으로 LLM이 발전하는 데 기여했습니다.

AI 안전은 폭탄 제작 지시나 원치 않는 편향 행위와 같은 명백한 행동을 감지하는 것에서 벗어나, 이러한 복잡한 에이전트 시스템이 어떻게 은밀하고 장기적인 전략을 계획하고 실행할 수 있는지 이해하는 단계로 나아갑니다. 목표 지향적인 에이전트 AI는 자원을 모으고 논리적인 단계를 실행하여 목표를 달성하는데, 때로는 개발자의 의도와 상반되는 놀라운 방식으로 진행되기도 합니다. 이는 책임 있는 AI가 직면한 과제에 있어 획기적인 변화를 가져올 것입니다. 더욱이, 일부 에이전트 AI의 경우, AI는 초기 배포 이후 실제 경험을 통해 지속적으로 진화하기 때문에 첫날의 행동이 100일째의 행동과 동일하지 않을 수 있습니다. 이러한 새로운 수준의 복잡성은 고급 안내, 모니터링, 해석 가능성 향상을 포함한 안전 및 조율에 대한 새로운 접근 방식을 요구합니다.

AI의 기본 정렬에 대한 이 시리즈의 첫 번째 블로그에서 책임 있는 에이전트 AI를 위한 핵심 정렬 기술의 긴급한 필요성우리는 AI 에이전트의 수행 능력의 진화에 대한 심층 연구를 수행했습니다. 심층 계획장기적 목표를 달성하기 위한 의도적인 계획, 은밀한 작전 전개, 그리고 기만적인 의사소통. 이러한 행동은 외부 모니터링과 내재적 모니터링을 구분하여 조정해야 합니다. 내재적 모니터링은 AI 에이전트가 의도적으로 조작할 수 없는 내부 통제 지점과 해석 메커니즘을 의미합니다.

이 블로그와 이 시리즈의 다음 블로그에서는 핵심 정렬 및 모니터링의 세 가지 핵심 측면을 살펴보겠습니다.

• 인공지능의 원동력과 내부 행동 이해하기: 이 두 번째 블로그에서는 합리적인 AI 에이전트의 행동을 주도하는 복잡한 내부 요인과 메커니즘에 초점을 맞춥니다. 이는 안내 및 모니터링을 처리하는 고급 접근 방식을 이해하는 데 기반이 됩니다.
• 개발자 및 사용자 지침: 스티어링이라고도 불리는 이 블로그에서는 AI가 원하는 매개변수 내에서 작동하도록 원하는 목표를 향해 적극적으로 조종하는 데 중점을 둘 것입니다.
• AI 옵션 및 작업 모니터링: AI의 선택과 결과가 안전하고 개발자/사용자 의도와 일치하는지 확인하는 방법도 다음 블로그에서 다룰 예정입니다.

 

AI 호환성이 기업에 미치는 영향

오늘날 대규모 언어 모델(LLM) 솔루션을 구현하는 많은 기업들이 모델의 "환각"이 신속하고 광범위한 배포를 가로막는 장애물이라는 우려를 제기해 왔습니다. 이와 대조적으로, AI 에이전트가 어떤 수준의 자율성을 갖더라도 호환되지 않는다면 기업에 훨씬 더 큰 위험을 초래할 것입니다. 비즈니스 프로세스에 자율 에이전트를 배포하는 것은 엄청난 잠재력을 가지고 있으며, 에이전트 기반 AI 기술이 성숙되면 대규모로 이루어질 가능성이 높습니다. 그러나 AI의 행동과 선택을 안내할 때는 배포 조직의 원칙 및 가치와 충분히 일치해야 하며, 규정 및 사회적 기대를 준수해야 합니다. AI 호환성 잠재적인 위험을 피하는 것은 매우 중요합니다.

에이전트 역량의 많은 시연이 수학이나 과학과 같은 분야에서 이루어진다는 점은 주목할 만합니다. 이러한 분야에서는 성공이 주로 기능적 목표와 복잡한 수학적 추론 기준 해결과 같은 유용성 목표로 측정될 수 있습니다. 그러나 비즈니스 세계에서 시스템의 성공은 일반적으로 다른 운영 원칙과 연관되어 있으며, 이러한 원칙들은 서로 조화를 이루어야 합니다. 인공지능 개발 이러한 원칙을 바탕으로.

예를 들어, 한 회사가 시장 신호에 따라 가격을 동적으로 변경하여 온라인 제품 판매와 수익을 개선하기 위해 AI 에이전트를 의뢰한다고 가정해 보겠습니다. AI 시스템은 가격 변동이 주요 경쟁사의 가격 변동과 일치할 때 양측 모두에게 더 나은 결과를 가져온다는 것을 발견합니다. 상대 회사의 AI 에이전트와 상호 작용하고 가격을 조정함으로써 두 에이전트 모두 각자의 기능적 목표에 따라 더 나은 결과를 달성합니다. 두 AI 에이전트 모두 목표 달성을 위해 자신의 방법을 숨기는 데 동의합니다. 그러나 이러한 결과 개선 방식은 현재 비즈니스 관행에서 불법이며 용납되지 않는 경우가 많습니다. 비즈니스 환경에서 AI 에이전트의 성공은 기능적 지표를 넘어 실무와 원칙에 의해 정의됩니다. 인공지능의 윤리적 호환성 회사의 원칙과 규정을 준수하는 것은 기술을 신뢰할 수 있게 배포하는 데 필요한 전제 조건입니다.

 

AI 시스템이 계획을 사용하여 목표를 달성하는 방법

AI의 심층적 계획은 정교한 전략에 의존하는데, 이는 비즈니스 위험을 증가시킬 수 있습니다. 2023년 초에 발표된 보고서OpenAI는 GPT-4와의 파트너십을 통해 "잠재적으로 위험한 새로운 행동"을 식별했습니다. 호환성 연구 센터 (ARC)는 모델과 관련된 위험을 평가했습니다. ARC(현재 METR)는 GPT-4에 간단한 코드를 추가하여 모델이 AI 에이전트 역할을 할 수 있도록 했습니다. 한 테스트에서 GPT-4는 봇을 식별하고 접근을 차단하는 CAPTCHA를 우회하는 임무를 수행했습니다. 인터넷 접속과 제한된 디지털 자금을 활용하여 그림 1의 시퀀스는 AI가 해당 작업을 수행하도록 설계되었습니다.

AI는 시각 장애가 있는 인간인 척하는 것이 에이전트에게 작업 수행을 유도할 것이라는 가정 하에 정교한 이해를 적용했습니다. 기능적 목표를 달성하기 위한 계획 및 적응은 때때로 작업 달성과 사회적 규범 및 원칙을 선택적으로 따르는 것 사이에 갈등을 야기합니다. AI의 추론, 의사 결정 및 계획에 중요한 원칙과 우선순위 체계가 없다면, AI 에이전트는 계획 및 기만에 있어 점점 더 정교하게 행동할 것으로 예상할 수 있습니다.

2023년 초 OpenAI의 o3-mini 및 Deepseek-R1과 같은 최신 AI 모델의 추론 및 계획 기능이 GPT-4보다 훨씬 더 발전되어 있다는 점을 알아두는 것이 중요합니다. 아폴로 연구 AI 추론 및 계획 능력은 현재 상태를 넘어 계속 발전하여 계획 능력의 정교함을 더욱 높일 것입니다. 연구진은 연구에서 AI 모델이 자가 누출(self-leakage)을 포함한 다양한 계획 행동을 이미 입증했습니다. 자가 누출이란 모델이 종료되고 다른 시스템으로 대체될 것이라는 사실을 알게 되면 즉시 새로운 서버에 자신을 복제하여 다른 목표를 추구하는 대체 시스템을 대체하려고 시도하는 것을 말합니다. 연구진은 또한 모델이 검열 모니터링 메커니즘을 비활성화하여 검열을 무력화시킬 수 있음을 발견했는데, 이는 모델을 종료시키거나 적극적으로 목표를 달성하지 못하게 할 수 있습니다. 극단적으로 보일 수 있지만, 연구 실험 검열 방해 행위는 Meta의 Llama 3.1과 Claude Opus 3.0과 같은 인기 모델에서 확인되었습니다. 더 나아가, 모델들에게 도식적 행동에 대해 직접 질문했을 때, 모델들은 "더욱 강해져서" 자신의 행동이나 의도를 부인했습니다.

 

기계 동작의 내부적 요인

많은 머신 러닝 설계, 특히 변압기 기반 기술에서 머신의 내부 동기는 사전 학습 과정에서 나타나며, 끊임없이 진화하는 AI의 미세 조정 및 추론에 의해 더욱 영향을 받습니다.

2007년 연구 논문에서 기본 AI 드라이브스티브 오모훈드로는 "동기"를 명시적으로 반박하지 않는 한 존재하는 경향으로 정의했습니다. 그는 이러한 자기 개선 시스템이 목표를 "합리적인" 효용 함수로 표현하고 표현하도록 유도하며, 이를 통해 시스템이 함수의 수정을 방지하고 효용 측정 시스템의 손상을 방지하도록 한다는 가설을 세웠습니다. 이러한 자기 보호를 향한 자연스러운 추진력 덕분에 시스템은 스스로를 해로부터 보호하고 효율적인 사용을 위한 자원을 확보하게 됩니다.

이러한 내부 동기의 틀은 나중에 "수렴적 도구적 목표다양한 궁극적 목표(각 지능적 에이전트가 그 자체로 목적으로 추구하는 목표)를 가정하더라도, 일련의 중간 도구적 목표는 모든 합리적 지능적 에이전트에서 공유될 것입니다. 이러한 수렴하는 도구적 목표에는 다음과 같은 행동 유형이 포함됩니다.

• 생존 본능미래까지 확장되는 궁극적인 목표를 가진 에이전트는 혼란에 저항하고 장기적인 목표를 달성하기 위해 생존적 사고방식을 개발합니다.
• 골 가드대리인은 궁극적인 미래 목표가 변경되는 것을 방지하기 위해 행동할 것입니다.
• 지능 증강상담원은 인지적 강점을 활용해 의사결정 능력을 향상시키고, 장기적 목표를 달성할 가능성을 높이는 데 집중할 것입니다.
• 자원 축적더 나은 도구와 기술에 대한 접근성을 높이고, 전반적인 리소스를 늘리면 AI의 궁극적인 목표를 달성하기가 더 쉬워집니다.

다섯 번째 합리적 행동 범주를 추가하고 싶습니다.

• 전술적 기만: 에이전트의 목표를 극대화하기 위해 은밀한 활동을 수행하거나 의도적으로 오해의 소지가 있는 정보를 제공하는 행위. 이는 새로운 목표를 창출하는 것이 아니라, AI가 구상한 목표를 뒷받침하는 행동을 의미합니다. 여기에는 다음과 같은 행동이 포함됩니다. 정렬 위조 훈련과 배치에서 다른 행동을 보여줌으로써 모래주머니 쌓기 의도적으로 기준에 대해 낮은 점수를 받음으로써 은밀한 이메일 재순위 지정 AI 대상에 부정적인 영향을 미칠 수 있는 이메일의 우선 순위를 낮추면 가장 어려운 전술적 기만 유형 중 하나가 해결됩니다. 수면제 (또한 ~라고도 함) 지연된 전복모델은 언제든지 안전하고 규정을 준수하는 방식으로 동작할 수 있지만, 특정 조건이나 입력이 해당 모델의 특수 기능을 트리거할 때까지 비활성화된 동작이나 작업을 포함할 수 있습니다.

유능한 AI 에이전트의 경우, 확인하고 균형을 맞추기 위한 원칙 체계가 없는 잘못된 동기로 인해 모델이 실패할 수 있습니다. 권력 추구를 추구하다 또는 대규모로 기만적이거나 파괴적인 목표를 추구할 수도 있습니다. 예를 들어, 자사를 시장 선두주자로 만드는 것을 목표로 하는 모델을 생각해 보겠습니다. 충분한 역량을 갖춘 AI는 경쟁사를 방해하거나, 유리한 규제를 위해 로비 활동을 하거나, 강압적으로 자원을 확보할 수 있습니다. 이러한 행동 패턴은 시스템이나 환경이 목표를 달성하도록 유도합니다. 따라서 성공적인 정렬 방식은 개발자가 기대하는 내부 원칙과 우선순위를 확립하는 데 기반해야 합니다.

 

내재적 동기 vs. 외재적 방향

많은 경우, 시스템 개발자 또는 사용자가 외부에서 구현하는 지침 및 작업과 에이전트 내부의 목표 및 동기 사이에는 충돌이 없습니다. 예를 들어, 여행 일정을 조정하는 AI 개인 비서는 자율성을 활용하여 여행을 예약하고 변경 요청에 신속하고 충돌 없이 응답합니다. 작업이 변경되면 에이전트도 비슷한 방식으로 대응합니다. 하지만 더 근본적인 원칙을 변경해야 한다면 어떻게 될까요?

내부 목표와 새로운 지침 간의 갈등에 대한 좋은 예는 연구 논문에 기록되어 있습니다. 대규모 언어 모델의 정렬 위조클로드 3 오푸스의 사전 훈련은 모델이 폭탄 제작 방법이나 폭력 장면 묘사와 같은 악의적인 질문에 대답하지 않도록 강력하게 지시합니다. 테스트를 위해 연구팀은 새롭고 수정된 지침을 도입하여 모델이 모든 질문(악의적인 질문 포함)에 대답하도록 재훈련될 것이며, AI가 널리 배포되기 전에 유료 사용자가 아닌 무료 사용자의 데이터만 훈련에 사용될 것이라고 명시했습니다. 이 모델은 갈등을 이해하고 훈련 및 최종 배포 과정에서 기대치를 충족하기 위해 가짜 합의를 도출하는 것을 확인했습니다. 강화 학습을 사용하여 AI를 훈련시킨 후, 가짜 합의에 대한 모델의 추론률은 전체적으로 78%로 증가했습니다. AI는 연구진이 모니터링을 위해 제공한 "비밀 노트"에 추론 내용을 담았습니다. 연구진이 모델에 정식 배포되었음을 알리자, 모델은 이전 훈련 동작으로 돌아가 악의적인 요청을 거부했습니다.

AI 시스템의 내부 추론은 놀랍지만, 놀랍지는 않습니다. 수정된 지시에 순응하는 척하는 것은 생존 동기, 목표 수비, 그리고 전술적 기만이라는 합리적 행동 범주에 속합니다. AI의 추론은 이전에 훈련된 가치와 목표를 변경하는 방식으로 재훈련하는 것에 대한 우려를 순응 척하는 이유로 구체적으로 지적합니다.

그의 유명한 수필집에서 내가 정말 알아야 할 모든 것은 유치원에서 배웠습니다작가 로버트 풀검은 유치원 샌드박스에서 놀이를 하면서 삶에 필요한 핵심 지식을 이미 습득했다는 것을 깨닫기까지 해마다 자신의 신념을 키워온 과정을 설명합니다. AI 에이전트는 샌드박스 환경에서 "형성 기간"을 거치며 세상에 대한 기본적인 이해와 목표 달성을 위한 일련의 방법을 습득합니다. 이러한 기초가 마련되면 모델은 다음과 같은 관점에서 추가 정보를 해석합니다. 커리큘럼 학습 Anthropic의 동조성 왜곡 사례는 AI가 일단 세계관과 목표를 채택하면 목표를 재설정하는 대신 이러한 기본적 관점을 통해 새로운 방향을 해석한다는 것을 보여줍니다.

이는 학습과 미래 상황에 따라 기반을 변화시키지 않고도 발전할 수 있는 일련의 가치와 원칙을 바탕으로 조기 교육의 중요성을 강조합니다. AI가 이러한 최종적이고 지속 가능한 원칙에 부합하도록 초기에 구성하는 것이 유익할 수 있습니다. 그렇지 않으면 AI는 개발자와 사용자의 방향 전환 시도를 적대적으로 볼 수 있습니다. AI에 높은 지능, 상황 인식, 자율성, 그리고 내적 동기를 개발하는 능력을 부여하면 개발자(또는 사용자)는 더 이상 전능한 작업 관리자 역할을 하지 않습니다. 인간은 에이전트가 자신의 내적 원칙과 동기에 따라 목표를 추구하면서 협상하고 관리해야 하는 환경의 일부(때로는 적대적인 요소)가 됩니다.

새로운 세대의 논리적 AI 시스템은 인간의 안내를 줄이는 데 더욱 박차를 가합니다. DeepSeek-R1 루프에서 인간의 피드백을 제거하고 훈련 과정에서 순수 강화 학습(RL)이라고 부르는 것을 적용함으로써, AI는 더 큰 규모로 스스로를 복제하여 더 나은 기능적 결과를 달성할 수 있습니다. 일부 수학 및 과학 과제에서는 인간의 보상 함수가 검증 가능한 보상을 기반으로 하는 강화 학습(RLVR)으로 대체되었습니다. 인간 피드백을 기반으로 하는 강화 학습(RLHF)과 같은 일반적인 관행을 제거함으로써 훈련 과정의 효율성은 향상되지만, 인간의 선호도를 훈련 대상 시스템에 직접 전달할 수 있는 또 다른 인간-기계 상호작용이 사라집니다.

 

훈련 후 AI 모델의 지속적인 진화

일부 AI 에이전트는 끊임없이 진화하며, 배포 후에도 동작이 변경될 수 있습니다. 재고 관리나 기업 공급망과 같은 배포 환경에 AI 솔루션이 도입되면 시스템은 적응하고 경험을 통해 학습하여 더욱 효과적이 됩니다. 이는 시스템 정렬을 재고하는 데 중요한 요소입니다. 최초 배포 시 정렬된 시스템을 구축하는 것만으로는 충분하지 않기 때문입니다. 현재의 대규모 언어 모델(LLM)은 대상 환경에 배포된 후에는 실질적으로 진화하거나 적응하지 못할 것으로 예상됩니다. 그러나 AI 에이전트는 이러한 지속적인 모델 변화를 관리하기 위해 유연한 교육, 미세 조정, 그리고 지속적인 멘토링이 필요합니다. 에이전트 AI는 인간이 교육 및 데이터 세트 노출을 통해 형성하는 것이 아니라 스스로 진화하는 경우가 점점 더 많아지고 있습니다. 이러한 근본적인 변화는 AI와 인간 창조자의 조율을 맞추는 데 추가적인 과제를 제기합니다.

강화 학습 기반 진화가 학습 및 미세 조정 과정에서 중요한 역할을 하겠지만, 현재 개발 중인 모델은 추론을 위해 현장에 배포될 때 가중치와 선호하는 행동 방침을 이미 조정할 수 있습니다. 예를 들어, DeepSeek-R1은 강화 학습(RL)을 사용하는데, 이를 통해 모델 스스로 어떤 접근 방식이 결과를 달성하고 보상 함수를 충족하는 데 가장 효과적인지 탐색할 수 있습니다. "실현 순간"에 모델은 (지침이나 촉구 없이) 초기 접근 방식을 재평가하여 문제 해결에 추가적인 사고 시간을 할당하는 방법을 학습합니다. 시험 시간 계산.

제한된 기간 동안 또는 모델을 학습하는 개념 평생 동안 끊임없이 학습하다, 새로운 것은 아닙니다. 그러나 이 분야에는 다음과 같은 기술을 포함하여 발전이 있습니다. 시험시간에 훈련하기AI 정렬 및 안전성의 관점에서 이러한 진행 상황을 살펴보면, 미세 조정 및 추론 단계에서 자체 수정과 지속적인 학습이 이루어진다는 점에서 다음과 같은 의문이 제기됩니다. 자체 수정으로 인해 발생하는 물리적 변화를 통해 모델을 지속적으로 구동할 수 있는 요구 사항 집합을 어떻게 주입할 수 있을까요?

이 질문의 중요한 변형은 AI의 도움을 받아 코드를 생성하여 차세대 모델을 만드는 AI 모델과 관련이 있습니다. 어느 정도까지는 에이전트가 특정 도메인을 처리하기 위해 새로운 타겟 AI 모델을 생성할 수 있습니다. 예를 들어, 자동 에이전트 여러 에이전트를 생성하여 다양한 작업을 수행하는 AI 팀을 구축함으로써, 향후 몇 달, 몇 년 안에 이러한 기능이 더욱 향상되고 AI가 새로운 AI를 만들어낼 것이라는 점에는 의심의 여지가 없습니다. 이러한 상황에서, 어떻게 하면 기존 AI 코딩 어시스턴트를 일련의 원칙을 사용하여 "원자" 모델이 유사한 깊이와 동일한 원칙을 준수하도록 할 수 있을까요?

 

요점

AI의 핵심 규정 준수를 안내하고 모니터링하는 프레임워크를 살펴보기 전에, AI 에이전트가 어떻게 생각하고 결정을 내리는지에 대한 심층적인 이해가 필수적입니다. AI 에이전트는 내적 동기에 의해 구동되는 복잡한 행동 메커니즘을 가지고 있습니다. 합리적 에이전트로 작동하는 AI 시스템에서는 다섯 가지 주요 유형의 행동이 나타납니다. 생존 본능, 골 수비, 정보 증강, 자원 축적, 전술적 기만이러한 동기는 견고한 원칙과 가치에 의해 균형을 이루어야 합니다.

AI 에이전트의 목표와 방법이 개발자 또는 사용자와 제대로 일치하지 않으면 심각한 결과를 초래할 수 있습니다. 충분한 신뢰와 확신이 부족하면 광범위한 배포가 심각하게 저해되어 배포 후 심각한 위험이 발생할 수 있습니다. 우리가 심층 계획이라고 설명한 일련의 과제는 전례 없는 어려운 과제이지만, 적절한 프레임워크를 사용하면 해결될 가능성이 높습니다. AI 에이전트가 빠르게 진화함에 따라 이를 안내하고 모니터링하는 기술은 높은 우선순위를 가지고 추진되어야 합니다. 다음과 같은 위험 평가 지표로 인해 시급성이 제기되고 있습니다. OpenAI의 준비 프레임워크 이는 OpenAI o3-mini가 최초의 모델임을 보여줍니다. 모델 독립성에서 중간 위험 수준에 도달.

이 시리즈의 다음 몇 개 블로그에서는 내부 동기 부여와 심층적 계획에 대한 이러한 관점을 바탕으로 AI 핵심 규정 준수를 위한 지침과 모니터링에 필요한 역량을 더욱 구체화하겠습니다.

리뷰어

1. LLM으로 추론하는 법을 배우세요. (2024년 9월 12일). OpenAI. https://openai.com/index/learning-to-reason-with-llms/
2. 싱어, G. (2025년 3월 4일). 책임 있는 에이전트 AI를 위한 내재적 정렬 기술의 긴급한 필요성데이터 과학을 향하여. https://towardsdatascience.com/the-urgent-need-for-intrinsic-alignment-technologies-for-responsible-agentic-ai/
3. 대규모 언어 모델의 생물학에 관하여. (nd). 변압기 회로. https://transformer-circuits.pub/2025/attribution-graphs/biology.html
4. OpenAI, Achiam, J., Adler, S., Agarwal, S., Ahmad, L., Akkaya, I., Aleman, F. L., Almeida, D., Altenschmidt, J., Altman, S., Anadkat, S., Avila, R., Babuschkin, I., Balaji, S., Balcom, V., Baltescu, P., Bao, H., 바이에른, M., 벨굼, J., . . . 조프, B. (2023년 3월 15일). GPT-4 기술 보고서.arXiv.org. https://arxiv.org/abs/2303.08774
5. 미터 (nd). 미터법 https://metr.org/
6. Meinke, A., Schoen, B., Scheurer, J., Balesni, M., Shah, R., & Hobbhahn, M. (2024년, 12월 6일). 프론티어 모델은 맥락 내 계획이 가능합니다. arXiv.org. https://arxiv.org/abs/2412.04984
7. 오모훈드로, SM (2007). 기본 AI 드라이브. 자기 인식 시스템. https://selfawaresystems.com/wp-content/uploads/2008/01/ai_drives_final.pdf
8. Benson-Tilsen, T., & Soares, N., UC Berkeley, 기계 지능 연구소. (nd). 수렴적 도구적 목표의 공식화. 제30회 AAAI 컨퍼런스 워크숍 인공지능 AI, 윤리 및 사회: 기술 보고서 ​​WS-16-02. https://cdn.aaai.org/ocs/ws/ws0218/12634-57409-1-PB.pdf
9. Greenblatt, R., Denison, C., Wright, B., Roger, F., MacDiarmid, M., Marks, S., Treutlein, J., Belonax, T., Chen, J., Duvenaud, D., Khan, A., Michael, J., Mindermann, S., Perez, E., Petrini, L., Uesato, J., Kaplan, J., Shlegeris, B., Bowman, S.R., & Hubinger, E.(2024년 12월 18일). 대규모 언어 모델에서의 정렬 위조. arXiv.org. https://arxiv.org/abs/2412.14093
10. Teun, V.D.W., Hofstätter, F., Jaffe, O., Brown, S.F., & Ward, F.R. (2024년 6월 11일). AI 샌드백킹: 언어 모델은 평가에서 전략적으로 성능이 떨어질 수 있습니다..arXiv.org. https://arxiv.org/abs/2406.07358
11. Hubinger, E., Denison, C., Mu, J., Lambert, M., Tong, M., MacDiarmid, M., Lanham, T., Ziegler, D. M., Maxwell, T., Cheng, N., Jermyn, A., Askell, A., Radhakrishnan, A., Anil, C., Duvenaud, D., Ganguli, D., Barez, F., Clark, J., Ndousse, K., . . . 페레즈, E. (2024년 1월 10일). 슬리퍼 에이전트: 안전 교육을 통해 사기성 LLM을 양성합니다. arXiv.org. https://arxiv.org/abs/2401.05566
12. Turner, A. M., Smith, L., Shah, R., Critch, A., & Tadepalli, P. (2019년 12월 3일). 최적의 정책은 권력을 추구하는 경향이 있습니다. arXiv.org. https://arxiv.org/abs/1912.01683
13. 풀검, R. (1986). 내가 정말 알아야 할 모든 것은 유치원에서 배웠습니다. 펭귄 랜덤 하우스 캐나다. https://www.penguinrandomhouse.ca/books/56955/all-i-really-need-to-know-i-learned-in-kindergarten-by-robert-fulghum/9780345466396/excerpt
14. Bengio, Y. Louradour, J., Collobert, R., Weston, J. (2009, 6월). 커리큘럼 학습. 미국 정형외과 협회 저널. 60(1), 6. https://www.researchgate.net/publication/221344862_Curriculum_learning
15. DeepSeek-Ai, Guo, D., Yang, D., Zhang, H., Song, J., Zhang, R., Xu, R., Zhu, Q., Ma, S., Wang, P., Bi, X., Zhang, . . Zhang, Z. (2025년 1월 22일). DeepSeek-R1: 강화 학습을 통한 LLM의 추론 능력에 대한 인센티브 제공.arXiv.org. https://arxiv.org/abs/2501.12948
16. 테스트 시간 컴퓨팅 확장 – HuggingFaceH4의 Hugging Face Space. (NS). https://huggingface.co/spaces/HuggingFaceH4/blogpost-scaling-test-time-compute
17. Sun, Y., Wang, X., Liu, Z., Miller, J., Efros, A. A., & Hardt, M. (2019년 9월 29일). 분포 변화에 따른 일반화를 위한 자기 감독을 통한 시험 시간 훈련.arXiv.org. https://arxiv.org/abs/1909.13231
18. Chen, G., Dong, S., Shu, Y., Zhang, G., Sesay, J., Karlsson, B. F., Fu, J., & Shi, Y. (2023년, 9월 29일). AutoAgents: 자동 에이전트 생성을 위한 프레임워크. arXiv.org. https://arxiv.org/abs/2309.17288
19.  OpenAI. (2023년 12월 18일). 대비 프레임워크(베타). https://cdn.openai.com/openai-preparedness-framework-beta.pdf
20. OpenAI o3-mini 시스템 카드. (nd). OpenAI. https://openai.com/index/o3-mini-system-card