내 개인적인 경험: iPhone에서 로컬로 실제 AI 챗봇 실행

다음과 같은 AI 기반 채팅봇: ChatGPT 그리고 쌍둥이 자리...클라우드 컴퓨팅에 의존하여 작동해야 합니다. 하지만 구독, 인터넷 연결, 심지어 기기 외부로 데이터를 전송하지 않고도 iPhone에서 직접 대규모 언어 모델(LLM)을 실행할 수 있다면 어떨까요? 가볍고 컴팩트한 앱과 모델 덕분에 이미 가능합니다.

저는 직접 시도해 보았고, 여러분이 알아야 할 내용은 다음과 같습니다.

iPhone에서 로컬로 AI 실행

이제 다음과 같은 오픈 소스 모델을 실행할 수 있습니다. 야마 그리고 쿠웬 iOS에서 직접 제공됩니다. 이러한 모델은 양자화라는 프로세스를 통해 압축되어 성능에 큰 영향을 미치지 않으면서 모바일 메모리에 맞게 조정됩니다.

하지만 중요한 점이 있습니다. 성능은 기기에 따라 크게 달라집니다. 예를 들어, Apple의 최신 칩이 탑재된 iPhone 15 Pro 또는 15 Pro Max는 최대 7억 또는 8억 개의 매개변수를 가진 모델(예: Llama 3.1 8B)을 실행할 수 있는 반면, 구형 휴대폰은 매개변수가 1억에서 3억 사이인 소형 모델에 더 적합합니다.

그것을 가능하게 하는 앱

LLM 농장(무료): 시작하는 가장 쉬운 방법입니다. 작은 모델(예: Phi-3.5 Instruct)을 다운로드하고 클릭 한 번으로 오프라인에서 실행할 수 있습니다. 빠른 쿼리를 위한 놀라울 정도로 매끄러운 작업 환경을 제공합니다.
MLC 채팅(무료):
제가 사용한 앱은 이겁니다. LLM Farm을 사용해 보고 싶었는데, 왠지 애플 앱스토어에서 다운로드할 수 없더라고요. 무료라서 한번 써봤는데, 아주 잘 작동했습니다.
개인 LLM(커뮤니티 프로젝트): 이 옵션은 일반 사용자보다는 DIY 프로젝트에 더 가깝습니다. 이 앱에는 Llama 3.1이나 Qwen 같은 모델을 iPhone에 다운로드하는 방법에 대한 자세한 가이드가 포함되어 있습니다. 직접 만지고 실험하는 것을 좋아한다면 꼭 한번 사용해 볼 만한 가치가 있습니다.
아폴로(유료): 좋은 얘기는 많이 들었지만, 직접 사용해 본 적은 없어요. 개인정보 보호에 중점을 둔 이 앱에 대한 여러분의 의견을 댓글로 남겨주세요.

로컬에서 모델을 실행하는 방법

원하는 앱을 다운로드한 후 엽니다. 내장 모델 목록을 탐색하여 하나를 선택합니다(예: Phi-3.5 Instruct Q4 quantized). 저는 Qwen 2.5를 선택한 이유는 한동안 사용하지 않았기 때문입니다.

다운로드가 완료되면 기기에 양식이 표시됩니다(크기에 따라 수백 메가바이트에서 수 기가바이트까지 다양합니다). 양식이 표시되면 바로 채팅을 시작하세요.

현실적으로 생각해야 합니다. 지금은 심층 분석이나 장기적이고 구체적인 계획을 요구할 때가 아닙니다. 다음 사항을 고려하세요.

속도: 작은 모델(매개변수 1억~3억 개)은 더 빨리 반응하지만, 큰 모델은 심볼당 몇 초가 걸릴 수 있습니다.
문맥: 기사 전체를 붙여넣지 마세요. 메시지는 짧게 유지하세요.
산출: 로컬 대규모 언어 모델은 ChatGPT보다 정확도가 떨어질 수 있지만, 메모 작성, 요약, Q&A 및 간단한 초안 작성에는 유용합니다.

몇 가지 프롬프트를 시도해 보는 게 즐거웠어요. 복잡한 건 아니고, 로컬 요청에서 어떤 응답이 오는지 확인하는 게 목표였죠. 바로 눈에 띄는 건 속도예요. 대규모 언어 모델이 얼마나 빨리 응답하는지 정말 놀라워요.

저는 다음과 같은 주장을 시도해 보았고 전반적으로 결과가 마음에 들었습니다.

독립선언서를 세 가지 요점으로 요약해 보세요.
"로봇과 고양이에 대한 짧은 취침 이야기를 써 보세요."
"닭고기, 밥, 브로콜리를 활용한 저녁 식사 아이디어 세 가지를 알려주세요."

대규모 지역 언어 모델을 실행하는 것은 채팅하는 것과 다릅니다. 채팅GPT-5분명 단순하고 투박하게 느껴집니다. 이 기능을 사용하려고 할 때는 프롬프트를 짧게 유지하는 것을 잊지 마세요. 일반 챗봇 버전보다 컨텍스트 창이 훨씬 제한적이기 때문입니다. 로컬 언어 모델에 과부하가 걸리면 응답 속도가 느려질 수 있습니다.

왜 이런 일을 하겠어요?

구독료는 없습니다. 그저 시도하기 위해 신용 점수를 소진할 필요는 없습니다.
개인정보 보호 기능이 내장되어 있습니다. 모든 것이 귀하의 기기에 저장됩니다.
놀라울 정도로 다재다능합니다. 미니어처가 감당할 수 있는 작업량에 정말 놀랐습니다. 한계를 시험할 때마다 어려움 없이 해낼 수 있었습니다.

결론

iPhone 15 이상을 사용하고 있고 AI가 "내부에서" 어떤 모습인지 알아보고 싶다면 거기서부터 시작하세요. LLM 농장 또는 MLC채트 빠르고 무료로 시작할 수 있는 방법입니다. 개인정보 보호가 중요하다면 앱을 사용하세요. 아폴로 시도해 볼 만한 가치가 있습니다. 실험과 맞춤 설정을 좋아하신다면, 사립 LLM 사용자 정의 설정을 더욱 심층적으로 살펴볼 수 있습니다.

기억하세요, 이 챗봇들은 여러분이 익숙한 강력한 기능을 갖춘 챗봇이 아니니 ChatGPT와 같은 결과물을 기대하지는 마세요. 하지만 iPhone에서 나만의 AI를 구동하는 건 꽤 멋지고 미래지향적인 경험입니다.