내 개인적인 경험: iPhone에서 로컬로 실제 AI 챗봇 실행

ChatGPT 나 Gemini 같은 AI 기반 챗봇은 일반적으로 클라우드 컴퓨팅을 기반으로 작동합니다. 하지만 구독이나 인터넷 연결 없이, 심지어 기기를 벗어나지 않고도 아이폰에서 대규모 언어 모델(LLM)을 직접 실행할 수 있다면 어떨까요? 가볍고 컴팩트한 다양한 앱과 모델 덕분에 이제 이것이 가능해졌습니다.

저는 직접 시도해 보았고, 여러분이 알아야 할 내용은 다음과 같습니다.

iPhone에서 로컬로 AI 실행

이제 Llama 와 Qwen 같은 오픈 소스 모델을 iOS에서 직접 실행할 수 있습니다. 이러한 모델은 양자화라는 과정을 통해 소형화되어 성능에 큰 영향을 주지 않으면서 휴대폰 메모리에 맞게 압축됩니다.

하지만 중요한 점이 있습니다. 성능은 기기에 따라 크게 달라집니다. 예를 들어, Apple의 최신 칩이 탑재된 iPhone 15 Pro 또는 15 Pro Max는 최대 7억 또는 8억 개의 매개변수를 가진 모델(예: Llama 3.1 8B)을 실행할 수 있는 반면, 구형 휴대폰은 매개변수가 1억에서 3억 사이인 소형 모델에 더 적합합니다.

그것을 가능하게 하는 앱

LLM 농장(무료): 시작하는 가장 쉬운 방법입니다. 작은 모델(예: Phi-3.5 Instruct)을 다운로드하고 클릭 한 번으로 오프라인에서 실행할 수 있습니다. 빠른 쿼리를 위한 놀라울 정도로 매끄러운 작업 환경을 제공합니다.
MLC 채팅(무료):
제가 사용한 앱은 이겁니다. LLM Farm을 사용해 보고 싶었는데, 왠지 애플 앱스토어에서 다운로드할 수 없더라고요. 무료라서 한번 써봤는데, 아주 잘 작동했습니다.
개인 LLM(커뮤니티 프로젝트): 이 옵션은 일반 사용자보다는 DIY 프로젝트에 더 가깝습니다. 이 앱에는 Llama 3.1이나 Qwen 같은 모델을 iPhone에 다운로드하는 방법에 대한 자세한 가이드가 포함되어 있습니다. 직접 만지고 실험하는 것을 좋아한다면 꼭 한번 사용해 볼 만한 가치가 있습니다.
아폴로(유료): 좋은 얘기는 많이 들었지만, 직접 사용해 본 적은 없어요. 개인정보 보호에 중점을 둔 이 앱에 대한 여러분의 의견을 댓글로 남겨주세요.

로컬에서 모델을 실행하는 방법

원하는 앱을 다운로드한 후 엽니다. 내장 모델 목록을 탐색하여 하나를 선택합니다(예: Phi-3.5 Instruct Q4 quantized). 저는 Qwen 2.5를 선택한 이유는 한동안 사용하지 않았기 때문입니다.

다운로드가 완료되면 기기에 양식이 표시됩니다(크기에 따라 수백 메가바이트에서 수 기가바이트까지 다양합니다). 양식이 표시되면 바로 채팅을 시작하세요.

현실적으로 생각해야 합니다. 지금은 심층 분석이나 장기적이고 구체적인 계획을 요구할 때가 아닙니다. 다음 사항을 고려하세요.

속도: 작은 모델(매개변수 1억~3억 개)은 더 빨리 반응하지만, 큰 모델은 심볼당 몇 초가 걸릴 수 있습니다.
문맥: 기사 전체를 붙여넣지 마세요. 메시지는 짧게 유지하세요.
산출: 로컬 대규모 언어 모델은 ChatGPT보다 정확도가 떨어질 수 있지만, 메모 작성, 요약, Q&A 및 간단한 초안 작성에는 유용합니다.

몇 가지 프롬프트를 시도해 보는 게 즐거웠어요. 복잡한 건 아니고, 로컬 요청에서 어떤 응답이 오는지 확인하는 게 목표였죠. 바로 눈에 띄는 건 속도예요. 대규모 언어 모델이 얼마나 빨리 응답하는지 정말 놀라워요.

저는 다음과 같은 주장을 시도해 보았고 전반적으로 결과가 마음에 들었습니다.

독립선언서를 세 가지 요점으로 요약해 보세요.
"로봇과 고양이에 대한 짧은 취침 이야기를 써 보세요."
"닭고기, 밥, 브로콜리를 활용한 저녁 식사 아이디어 세 가지를 알려주세요."

로컬 대규모 언어 모델을 실행하는 것은 ChatGPT-5 와 채팅하는 것과는 다릅니다 . 확실히 단순하고 미완성된 느낌이 듭니다. 이 방법을 시도할 때는 일반 챗봇을 사용할 때보다 컨텍스트 창이 매우 제한적이므로 프롬프트를 짧게 유지하는 것이 중요합니다. 로컬 대규모 언어 모델에 과부하를 걸면 응답 속도가 느려진다는 것을 알게 될 것입니다.

왜 이런 일을 하겠어요?

구독료는 없습니다. 그저 시도하기 위해 신용 점수를 소진할 필요는 없습니다.
개인정보 보호 기능이 내장되어 있습니다. 모든 것이 귀하의 기기에 저장됩니다.
놀라울 정도로 다재다능합니다. 미니어처가 감당할 수 있는 작업량에 정말 놀랐습니다. 한계를 시험할 때마다 어려움 없이 해낼 수 있었습니다.

결론

아이폰 15 이상 모델을 사용하고 있고 AI의 작동 방식을 "내부에서" 경험해보고 싶다면, LLM Farm 이나 MLCChat을 이용해 보세요. 빠르고 무료로 시작할 수 있는 좋은 방법입니다. 개인정보 보호가 걱정된다면 Apollo를 사용해 볼 만합니다. 실험과 맞춤 설정을 원한다면 Private LLM을 통해 더욱 세밀한 개인 설정 기능을 활용할 수 있습니다.

기억하세요, 이 챗봇들은 여러분이 익숙한 강력한 기능을 갖춘 챗봇이 아니니 ChatGPT와 같은 결과물을 기대하지는 마세요. 하지만 iPhone에서 나만의 AI를 구동하는 건 꽤 멋지고 미래지향적인 경험입니다.