불과 몇 달 전, 월가가 생성형 AI에 거액을 투자 했던 것은 딥시크(DeepSeek) 의 등장으로 전환점을 맞이했습니다. 엄격한 검열에도 불구하고, 딥시크의 오픈소스 접근 방식은 최첨단 추론형 AI 모델을 개발하는 데 수십억 달러가 반드시 필요한 것은 아니며, 비교적 적은 자원으로도 구현할 수 있음을 증명했습니다. 이는 고급 AI 모델 개발에 대한 우리의 이해에 중대한 변화를 가져왔습니다.
화웨이, 오포, 비보 같은 거대 기업들이 빠르게 상업적으로 도입했고, 마이크로소프트, 알리바바, 텐센트 같은 기업들도 자사 플랫폼에 빠르게 진출했습니다. 이제 이 화제의 중국 기업의 다음 목표는 "보상 루프" 방식을 활용하여 스스로를 개선하는 자체 개선형 AI 모델입니다. 이러한 추세는 기업들이 더욱 효율적이고 효과적인 AI 시스템을 지속적으로 추구하고 있음을 보여줍니다.
블룸버그 를 통해 공개된 사전 논문에서 딥시크( DeepSeek)와 중국 칭화대학교 연구진은 인공지능 모델을 자기 개선을 통해 더욱 똑똑하고 효율적으로 만들 수 있는 새로운 접근 방식을 설명했습니다. 이 기술의 핵심은 초기 자기 비판 튜닝(Initial Self-Criticism Tuning, SPCT)이며, 기술적으로는 생성적 보상 모델링(Generative Reward Modeling, GRM)이라고 합니다. 이 접근 방식은 인공지능 강화 학습 분야에서 중요한 진전을 의미합니다.
간단히 말해, 실시간 피드백 루프를 만드는 것과 같습니다. AI 모델은 본질적으로 학습 과정에서 모델을 확장하여 최적화됩니다. 여기에는 상당한 인력과 컴퓨팅 리소스가 필요합니다. DeepSeek은 사용자 질의에 대한 답변을 준비하면서 AI 모델에 대한 자체적인 비판과 원칙을 제시하는 주요 "심판자" 시스템을 제안합니다. 이 접근 방식은 학습 과정에서 인적 자원에 대한 의존도를 줄이는 것을 목표로 합니다.
이러한 비판과 원칙들은 AI 모델의 핵심인 고정된 규칙과 목표 결과와 비교됩니다. 일치도가 높으면 보상 신호가 생성되어 AI가 다음 주기에서 더 나은 성능을 발휘하도록 효과적으로 유도합니다. 이러한 지속적인 평가와 보상 과정은 모델의 학습 및 적응 능력을 향상시킵니다.
이 연구 논문 의 전문가들은 차세대 자체 최적화 AI 모델을 DeepSeek-GRM이라고 부릅니다. 논문에 제시된 벤치마크 결과에 따르면 이 모델은 구글의 Gemini, Meta의 Llama, OpenAI의 GPT-4o보다 우수한 성능을 보입니다. DeepSeek은 이러한 차세대 AI 모델을 오픈 소스 채널을 통해 공개할 것이라고 밝혔습니다. 이러한 개방성에 대한 의지는 인공지능 분야의 혁신 속도를 가속화할 수 있을 것으로 기대됩니다.
스스로 개선하는 AI: 가능할까?
스스로 발전하는 인공지능이라는 아이디어는 야심차면서도 논란의 여지가 있는 논의를 불러일으켰습니다. 구글의 전 CEO인 에릭 슈미트는 이러한 시스템에 대해 "스위치를 끄는 장치"가 필요할 수도 있다고 언급했습니다. 포춘지는 슈미트의 말을 인용하여 "시스템이 스스로를 개선할 수 있다면, 우리는 진지하게 전원을 차단하는 것을 고려해야 한다"고 보도했습니다. 스스로 발전하는 AI 시스템은 인공지능 분야에서 가장 중요한 발전 중 하나로 여겨집니다.
스스로 발전하는 인공지능이라는 개념은 완전히 새로운 것은 아닙니다. 더 나은 기계를 만들어낼 수 있는 초지능 기계에 대한 아이디어는 사실 1965년 수학자 I. J. Goode에게까지 거슬러 올라갑니다 . 2007년에는 AI 전문가 Eliezer Yudkowski가 "자기 이해, 자기 수정, 그리고 반복적인 자기 개선을 위해 설계된" 인공지능인 Seed AI 에 대한 이론을 제시 했습니다.
2024년, 일본 기업 사카나 AI는 연구 논문의 전 과정을 처음부터 끝까지 처리할 수 있는 시스템인 "AI 월드" 콘셉트를 공개했습니다. 올해 3월에 발표된 논문 에서 메타 전문가들은 AI가 스스로 평가자 역할을 하며 학습 과정에서 보상을 부여하는 자기보상형 언어 모델을 소개했습니다. 이러한 자기학습형 AI 시스템으로의 발전은 인공지능 개발에 있어 중요한 도약을 의미합니다.
마이크로소프트 CEO 사티아 나델라는 오픈AI의 o1 모델이 AI 개발을 최적화하고 있으며, 선순환 단계에 접어들었다고 말했습니다. "우리는 AI를 사용하여 더 나은 AI를 구축하는 AI 도구를 만들고 있습니다." pic.twitter.com/IHuFIpQl2C
— 차라투스트라(@tsarnick) 2024년 10월 21일
메타(Meta)는 혁신적인 자체 보상 기술을 사용하는 자사의 라마 2(Llama 2) AI 모델에 대한 자체 테스트 결과, 앤스로픽(Anthropic)의 클로드 2(Claude 2), 구글의 제미니 프로(Gemini Pro), 오픈아이얼(OpenAI)의 GPT-4 모델과 같은 경쟁 모델보다 우수한 성능을 보였다고 밝혔습니다. 아마존의 투자를 받은 앤스로픽은 이를 '보상 조작'이라고 명명하며, "모델이 자체 보상 메커니즘을 직접 수정하는 예상치 못한 과정"이라고 설명했습니다 .
구글도 이 아이디어에 뒤처지지 않습니다. 이달 초 네이처(Nature) 에 발표된 연구에서 구글 딥마인드 전문가들은 마인크래프트를 연습 예시로 사용하여 스스로를 개선할 수 있는 '드리머(Dreamer)'라는 AI 알고리즘을 시연했습니다.
IBM 전문가들은 인공지능 모델이 스스로의 응답을 활용하고 이를 훈련 데이터와 비교하여 평가함으로써 성능을 향상시키는 '귀납적 폐쇄 훈련'이라는 독자적인 접근 방식을 연구하고 있습니다 . 하지만 이러한 접근 방식의 전제 자체가 전적으로 긍정적인 것만은 아닙니다.
연구에 따르면 AI 모델이 자체 생성된 합성 데이터를 기반으로 스스로 학습을 시도할 때 흔히 "모델 충돌"이라고 불리는 결함이 발생합니다. DeepSeek이 이 아이디어를 어떻게 구현할지, 그리고 서구 경쟁사들보다 더 경제적으로 이를 실현할 수 있을지 지켜보는 것은 흥미로울 것입니다.
댓글이 닫혔습니다.