"잠깐만요... 원장 항목을 OpenAI로 보내는 건가요?"
제가 친구에게 이걸 보여주었을 때 친구가 제일 먼저 물어본 게 이거였어요. 느낌-쓰기샌프란시스코에서 해커톤을 하면서 만든 AI 기반 저널링 앱입니다.
나는 어깨를 으쓱했다.
"AI를 주제로 한 해커톤이었는데, 뭔가를 빨리 만들어야 했어요."
그녀는 한 순간도 놓치지 않았습니다.
"물론이죠. 하지만 제가 만든 걸 어떻게 믿을 수 있죠? 직접 LLM을 진행해 보는 건 어떨까요?"
그것이 나를 멈추게 했습니다.
앱이 개발되는 속도가 정말 자랑스러웠습니다. 하지만 이 질문 하나와 그 뒤를 이은 질문들은 제가 AI를 활용한 책임감 있는 개발에 대해 알고 있다고 생각했던 모든 것을 드러냈습니다. 해커톤 심사위원들도 그 점을 지적했습니다.
그 순간 저는 AI를 이용해 개발할 때, 특히 민감한 데이터를 처리하는 도구를 사용할 때 얼마나 무례한지를 깨달았습니다.
나는 더 큰 것을 깨달았습니다.
AI를 활용하여 구축할 때 신뢰에 대해 충분히 이야기하지 않습니다.
그녀의 대답이 제 마음에 와닿았습니다. 조지아 폰 민덴은 미국시민자유연맹(ACLU)의 데이터 과학자로, 법률 및 시민권 관련 맥락에서 개인 식별 정보와 관련된 문제를 면밀히 연구하고 있습니다. 저는 항상 그녀의 통찰력을 높이 평가해 왔지만, 이번 대화는 달랐습니다.
그래서 나는 그녀에게 설명해 달라고 부탁했습니다. 이 맥락에서 신뢰란 실제로 무엇을 의미할까? 특히 AI 시스템이 개인 데이터를 다루는 경우.
그녀는 나에게 이렇게 말했습니다.
신뢰 구축은 어려울 수 있지만, 데이터 거버넌스는 좋은 시작점입니다. 누가 데이터를 소유하고, 어떻게 저장되며, 어떤 용도로 사용되는지는 모두 중요합니다. 10년 전이었다면 저는 이 질문에 다르게 답했을 것입니다. 하지만 오늘날처럼 엄청난 컴퓨팅 파워와 방대한 데이터 저장소를 갖춘 시대에는 대규모 추론이 실질적인 문제입니다. OpenAI는 컴퓨팅과 데이터 모두에 대한 광범위한 접근성을 보유하고 있기 때문에, 투명성 부족은 오히려 우려를 불러일으킵니다.
개인 식별 정보(PII)와 관련하여, 규정과 상식 모두 강력한 데이터 거버넌스의 필요성을 시사합니다. API 호출을 통해 개인 식별 정보를 전송하는 것은 위험할 뿐만 아니라, 이러한 규칙을 위반하고 개인을 위험에 빠뜨릴 수도 있습니다.
저는 AI를 이용해, 특히 민감한 인간 데이터를 처리하는 시스템을 만들 때는 단순히 코드를 쓰는 것만이 아니라는 사실을 깨달았습니다.
우리는 개인정보 보호, 권한, 신뢰에 대한 결정을 내립니다.
사용자 데이터, 특히 일기처럼 개인적인 데이터를 수집하는 순간, 책임감을 갖게 됩니다. 단순히 모델이 무엇을 할 수 있는지가 아니라, 그 데이터가 어떻게 처리되고, 어디로 이동하며, 누가 접근할 수 있는지가 중요합니다. 사용자 데이터를 책임감 있게 관리하면 사용자 신뢰도가 높아지고 개인정보 보호도 강화됩니다.
단순함의 환상
오늘날, 지능적인 것처럼 보이는 무언가를 출시하는 것은 그 어느 때보다 쉬워졌습니다. OpenAI와 같은 대규모 언어 모델(LLM)을 통해 개발자는 몇 시간 만에 AI 도구를 개발할 수 있습니다. 스타트업은 하룻밤 사이에 "AI 기반" 기능을 출시할 수 있습니다. 대기업은 어떨까요? 그들은 이러한 에이전트를 자사 워크플로에 통합하기 위해 서두르고 있습니다.
하지만 이 모든 흥분 속에서 종종 간과되는 한 가지 사실이 있습니다. 자신.
사람들이 이야기할 때 AI 에이전트이들은 종종 대규모 언어 모델(LLM)을 감싸는 간단한 래퍼를 지칭합니다. 이러한 에이전트는 질문에 답하고, 작업을 자동화하고, 심지어 결정을 내릴 수도 있습니다. 하지만 많은 에이전트가 보안, 규정 준수 또는 책임 소재에 대한 고려 없이 성급하게 구축됩니다.
그냥 제품을 사용하세요 OpenAI 그렇다고 해서 안전하다는 뜻은 아닙니다. 당신이 정말로 신뢰하는 것은 파이프라인 전체입니다.
- 표지를 만든 사람은 누구인가요?
- 귀하의 데이터는 어떻게 처리됩니까?
- 귀하의 정보가 저장되거나, 기록되거나, 더 나쁜 경우 유출되고 있습니까?
저는 고객 활용 사례에 OpenAI의 API를 직접 사용해 왔습니다. 최근 4월 말까지 하루 최대 100만 개의 토큰을 제공하는 무료 API 이용권을 제안받았습니다. 내 청구 데이터 공유에 동의하는 경우.
개인적인 사이드 프로젝트로 거의 동의할 뻔했지만, 문득 이런 생각이 들었습니다. 만약 솔루션 제공업체가 비용 절감을 위해 같은 거래를 수락한다면, 사용자들은 자신의 데이터가 공유되고 있다는 사실조차 전혀 모를 것입니다. 개인적으로는 별 문제가 없어 보일지 모르지만, 기업 차원에서는 어떨까요? 이는 심각한 개인정보 침해이며, 계약 또는 규제 의무 위반일 가능성도 있습니다.
이런 거래에 엔지니어 한 명만 "예"라고 말하면 고객 데이터는 다른 사람의 손에 넘어가게 됩니다.
엔터프라이즈 AI, 기대치 높여
점점 더 많은 SaaS 기업과 개발 도구 스타트업이 AI 에이전트를 실험하고 있습니다. 그중 일부는 좋은 성과를 보이고 있는데, 일부 AI 에이전트는 사용자가 자체 대규모 언어 모델(LLM)을 가져와 모델 실행 위치와 데이터 처리 방식을 제어할 수 있도록 지원합니다. 특히 기업에서 AI의 중요성이 점점 커지고 있는 상황에서 이는 현명한 접근 방식입니다.
사려 깊은 접근 방식은 다음과 같습니다. 신뢰 한도를 설정합니다..
하지만 모든 사람이 그렇게 열성적인 것은 아니다.
많은 회사는 OpenAI의 API에 연결하고, 몇 개의 버튼을 추가한 뒤 "기업에 적합"하다고 말합니다.
경고: 이는 사실이 아닙니다.
뭐가 잘못될 수 있겠어요? 아주 많죠.
어려운 질문을 하지 않고 AI 에이전트를 인프라에 통합하면 다음과 같은 잠재적 위험이 발생할 수 있습니다.
- 데이터 유출귀하의 청구에는 민감한 고객 데이터, API 키 또는 내부 로직이 포함될 수 있으며, 제3자에게 제출될 경우 이러한 정보가 노출될 수 있습니다.
2023년에 삼성 엔지니어들은 실수로 내부 소스 코드와 메모를 ChatGPT에 붙여 넣었습니다.포브스). 이 데이터는 이제 미래의 교육 세트의 일부가 될 수 있으며, 이는 상당한 지적 재산권 위험입니다.
- 규정 위반적절한 통제 없이 OpenAI와 같은 양식을 통해 개인 식별 정보(PII)를 제출하면 일반 데이터 보호 규정(GDPR), HIPAA 또는 계약을 위반할 수 있습니다.
일론 머스크의 X 회사는 이 사실을 뼈저리게 깨달았습니다. 그들은 제대로 된 가입 절차 없이 유럽 연합 사용자 게시물을 포함한 모든 사용자 게시물을 사용하여 AI 챗봇 "Grok"을 훈련시켰습니다. 규제 당국이 신속하게 개입했습니다. 압력에 못 이겨 EU에서 Grok의 훈련을 중단했습니다.정치가).
- 모호한 행동비결정적 에이전트는 수정하거나 설명하기 어렵습니다. 고객이 챗봇이 잘못된 추천을 했거나 기밀 정보를 공개한 이유를 묻는다면 어떻게 될까요? 이에 대한 답변을 제공하려면 투명성이 필요한데, 오늘날 많은 에이전트가 이를 제공하지 않습니다.
- 데이터 소유권에 대한 혼란출력은 누가 소유하나요? 데이터는 누가 기록하나요? 서비스 제공자는 입력 내용에 대한 재교육을 받나요?
Zoom은 2023년에 정확히 그런 일을 하는 것이 적발되었습니다. 그들은 고객 회의 데이터를 사용하여 AI를 훈련할 수 있도록 서비스 약관을 조용히 변경했습니다.빠른 회사). 대중의 반발 이후 그들은 정책을 철회했지만, 이는 신뢰가 하룻밤 사이에 사라질 수 있다는 것을 일깨워 주었습니다.
- 포장의 보안 결함2024년에 인기 있는 로우코드 LLM 오케스트레이션 도구인 Flowise의 수십 개 배포가 인터넷에 노출된 것으로 발견되었으며 그 중 다수는 인증되지 않았습니다.사이버 보안 뉴스). 연구원들은 API 키, 데이터베이스 자격 증명, 사용자 데이터가 공개된 곳에서 발견되었습니다. 이는 OpenAI의 문제가 아닙니다. 빌더하지만 최종 사용자는 여전히 대가를 치릅니다.
- 너무 지나친 AI 기능Microsoft의 "Recall" 기능(Copilot 출시의 일부)은 AI 도우미가 질문에 답할 수 있도록 사용자 활동의 스크린샷을 자동으로 캡처합니다.더블 펄서). 보안 전문가들이 이 기능이 개인정보 보호 측면에서 악몽이라고 지적하기 전까지는 유용해 보였습니다. 마이크로소프트는 재빨리 이 기능을 선택 사항으로 만들어야 했습니다.
모든 것에 OpenAI가 필요한 것은 아닙니다.
OpenAI는 놀라울 정도로 강력한 플랫폼입니다. 하지만 항상 완벽한 솔루션은 아닙니다.
때로는 더 작고 로컬한 모델만으로도 충분합니다. 때로는 규칙 기반 로직이 더 효과적일 때도 있습니다. 가장 안전한 옵션은 대개 자체 인프라 내에서 자체 규칙에 따라 완전히 작동하는 것입니다.
우리는 대규모 언어 모델(LLM)을 맹목적으로 연결해서 "지능형 비서"라고 불러서는 안 됩니다.
기관에서, 신뢰, 투명성, 통제는 선택 사항이 아닙니다. - 오히려 그것은 필수적입니다.
이러한 유형의 제어를 지원하는 플랫폼이 점점 더 많아지고 있습니다. Salesforce의 Einstein 1 Studio가 이제 이 기능을 지원합니다. 자신의 모델을 가져오세요AWS 또는 Azure에서 자체 대규모 언어 모델(LLM)을 연결할 수 있습니다. IBM Watson을 사용하면 조직에서 완전한 감사 추적 기능을 갖춘 모델을 온프레미스에 배포할 수 있습니다. MosaicML과 함께 Databricks를 사용하면 자체 클라우드 내에서 비공개 대규모 언어 모델(LLM)을 학습시킬 수 있으므로 민감한 데이터가 인프라를 벗어나지 않습니다.
진정한 기업 AI는 이런 모습이어야 합니다.
결론
AI 에이전트는 놀라울 정도로 강력하여 이전에는 불가능했던 워크플로우와 자동화를 구현할 수 있습니다. 하지만 개발이 쉽다고 해서 반드시 보안이 보장되는 것은 아니며, 특히 대규모로 민감한 데이터를 처리할 때는 더욱 그렇습니다.
이 반짝이는 새 에이전트를 사용하기 전에, 스스로에게 물어보세요:
- 모델을 제어하는 사람은 누구입니까?
- 데이터는 어디로 가나요?
- 우리는 규정을 준수하고 있나요?
- 그가 무엇을 하고 있는지 확인할 수 있나요?
인공지능 시대에 가장 큰 위협은 나쁜 기술이 아니라 맹목적인 신뢰.
저자 소개
저는 6년 경력의 머신러닝 엔지니어 엘레인입니다. 현재 샌프란시스코의 핀테크 스타트업에서 근무하고 있습니다. 석유 및 가스 컨설팅 분야에서 데이터 과학을 담당했으며, 아시아 태평양, 중동, 유럽 전역에서 AI 및 데이터 교육 프로그램을 주도했습니다.
저는 현재 데이터 과학 석사 과정을 마치고 있으며(2025년 5월 졸업 예정) 머신러닝 엔지니어로서 다음 기회를 적극적으로 찾고 있습니다. 혹시 추천이나 연결에 관심이 있으시다면 정말 감사하겠습니다!
저는 AI를 통해 세상에 실질적인 영향을 미치는 것을 좋아하고, 프로젝트 기반 협업에도 항상 열려 있습니다.
댓글이 닫혔습니다.