인공지능(AI)의 급속한 발전은 주로 정확하고 방대한 학습 데이터의 가용성에 달려 있습니다. AI의 활용이 다양한 분야로 확대됨에 따라, 많은 기업들이 가용 학습 데이터 부족과 관련된 문제에 직면하고 있으며, 이는 개발하는 지능형 모델의 품질과 효과에 영향을 미칠 수 있습니다. 그렇다면 이러한 부족 속에서도 AI 시스템을 지속적으로 학습시키고 개발할 수 있는 방법은 무엇일까요?
인터넷은 이용 가능한 데이터로 가득 차 있는 것처럼 보일 수 있지만, AI는 이미 이용 가능한 오픈 소스의 대부분을 소비하고 있습니다. 하지만 이것이 발전의 멈춤을 의미하지는 않습니다. 합성 데이터 생성, 개인화된 데이터 수집, 비정형 데이터의 혁신적인 활용과 같은 현대적인 전략을 활용하여 데이터 격차를 해소할 수 있습니다. 이 글에서는 이러한 혁신적인 솔루션과 이를 통해 AI가 지속적으로 향상된 성능과 사용자에게 더 큰 가치를 제공할 수 있도록 AI 개발을 지원하는 방법을 살펴보겠습니다.
1. 플러스 데이터는 항상 온라인으로 추가됩니다.
요약하자면, 인공지능 연구기관인 에포크는 인공지능 학습에 사용되는 고품질 데이터가 2026년까지 고갈될 수 있다고 예측합니다.
여기서 핵심 단어는 "가능성"입니다. 인터넷에 추가되는 데이터의 양은 매년 증가하기 때문에 2026년 이전에 급진적인 변화가 일어날 수도 있습니다. 하지만 이는 여전히 타당한 추정치입니다. 어느 쪽이든 AI 시스템에 필요한 양질의 데이터는 언젠가는 고갈될 것입니다.
하지만 매년 약 147제타바이트의 데이터가 인터넷에 추가된다는 점을 기억하는 것이 중요합니다( Exploding Topics 자료 ). 1제타바이트는 1,000,000,000,000,000,000,000비트의 데이터에 해당합니다. 실질적으로 따져보면 4K 영화 300억 편 이상에 해당하는 양입니다(실제로 존재하지만, 상상하기 어려울 정도입니다). 인공지능이 처리해야 할 정보의 양은 실로 어마어마합니다.
하지만 AI는 인간이 생산하는 것보다 더 빠른 속도로 데이터를 소비하고 있습니다.
2. AI가 낮은 품질의 데이터를 잊어버릴 수도 있습니다.
물론 147제타바이트의 데이터가 모두 좋은 데이터는 아닙니다. 눈에 보이는 것보다 훨씬 더 많은 데이터가 존재합니다. 하지만 2050년까지 AI는 저품질 언어 데이터도 소비할 것으로 예상됩니다.
로이터 통신은 한때 세계 최대 이미지 저장소 중 하나였던 포토버킷이 방대한 이미지 라이브러리를 AI 학습 회사에 라이선스하는 방안을 논의 중이라고 보도했습니다 . 이 이미지들은 DALL-E나 Midjourney 같은 모델 학습에 필요한 데이터를 제공하지만, 이마저도 2060년쯤에는 고갈될 수 있습니다. 더 큰 문제는 포토버킷에 2000년대 초반 마이스페이스 같은 소셜 네트워킹 플랫폼의 이미지까지 포함되어 있다는 점입니다. 이 이미지들은 현재의 사진만큼 고화질이 아니기 때문에 데이터 품질이 저하될 수 있습니다.
포토버킷만 그런 것은 아닙니다. 2024년 XNUMX월, 구글은 레딧과 계약을 체결하여 검색 대기업이 소셜 미디어 플랫폼의 사용자 데이터를 AI 학습에 사용할 수 있도록 했습니다. 다른 소셜 미디어 플랫폼들도 AI 학습 목적으로 사용자 데이터를 제공하며, 메타(Meta)의 라마(Llama)처럼 내부 AI 모델 학습에도 이를 활용하는 플랫폼도 있습니다.
저품질 데이터에서도 일부 통찰력을 추출할 수 있지만, 마이크로소프트는 AI가 데이터를 선택적으로 "무시"하는 방법을 개발 중이라고 합니다. 이 솔루션은 주로 지적 재산권 문제에 사용되지만, 도구가 저품질 데이터세트에서 학습한 내용을 잊어버릴 수도 있다는 것을 의미합니다.
우리는 너무 선택적이지는 않더라도 AI에 더 많은 데이터를 제공할 수 있으며, AI 시스템은 이를 통해 가장 유용한 데이터를 골라 학습할 수 있습니다.
3. 음성 인식은 비디오와 팟캐스트에서 사용 가능한 데이터의 잠재력을 끌어냅니다.
지금까지 AI 도구에 입력된 데이터는 대부분 텍스트였고, 그보다 적은 비율로 이미지가 사용되었습니다. 이러한 상황은 의심할 여지 없이 변화할 것이며, 음성 인식 소프트웨어 덕분에 풍부한 비디오와 팟캐스트도 AI 학습에 활용될 수 있게 되면서 이미 변화했을 가능성이 높습니다.
주목할 만한 점은 OpenAI가 68만 시간 분량의 다국어 및 멀티태스킹 데이터를 사용하여 오픈 소스 자동 음성 인식(ASR) 신경망인 Whisper를 개발했다는 것입니다 . 이후 OpenAI는 100만 시간 이상의 YouTube 동영상 정보를 자사의 대규모 언어 모델인 GPT-4에 입력했습니다.
이는 음성 인식을 사용하여 여러 소스의 비디오와 오디오를 기록하고 해당 데이터를 AI 모델로 처리하는 다른 AI 시스템에도 완벽한 모델입니다.
Statista 에 따르면 매분 500시간 이상의 동영상이 유튜브에 업로드되고 있으며, 이 수치는 2019년 이후 비교적 안정적으로 유지되고 있습니다. 이는 데일리모션이나 팟빈과 같은 다른 동영상 및 오디오 플랫폼은 제외한 수치입니다. 인공지능이 이처럼 새로운 데이터셋에 주목한다면, 추출할 수 있는 정보는 여전히 무궁무진합니다.
4. AI는 대체로 영어에 집중되어 있습니다.
위스퍼에서 배울 수 있는 것은 이게 전부가 아닙니다. OpenAI는 117000시간 분량의 비영어 오디오 데이터를 사용하여 모델을 학습시켰습니다. 많은 AI 시스템이 주로 영어를 사용하거나 서구적 관점에서 다른 문화를 바라보는 방식으로 학습하기 때문에 이는 특히 흥미롭습니다.
기본적으로 대부분의 도구는 그것을 만든 사람의 문화에 따라 결정됩니다.
ChatGPT를 예로 들어보겠습니다. 2022년 출시 직후, 노르웨이 베르겐 대학교의 디지털 문화 교수인 질 워커 레트베르크는 ChatGPT를 실험해보고 다음과 같은 결론을 내렸습니다.
ChatGPT는 노르웨이 문화에 대해 잘 알지 못합니다. 아니, ChatGPT가 노르웨이 문화에 대해 아는 것이라곤 대부분 영어권 자료를 통해 습득한 것으로 추정됩니다. ChatGPT는 미국의 가치관과 법률에 분명히 부합합니다. 많은 경우 이러한 가치관은 노르웨이와 유럽의 가치관과 유사하지만, 항상 그런 것은 아닙니다.
AI 시스템은 다양한 국적의 더 많은 사람들과 소통하거나, 더욱 다양한 언어와 문화를 활용하여 시스템을 훈련하도록 발전할 수 있습니다. 현재 많은 AI 모델이 단일 도서관에만 국한되어 있지만, 전 세계 도서관의 열쇠를 제공받을 경우 그 범위가 더욱 확대될 수 있습니다.
5. 출판사는 인공지능 개발에 도움을 줄 수 있습니다.
지적 재산권은 분명 중요한 문제이지만, 일부 출판사는 라이선스 계약을 체결함으로써 AI 발전에 기여할 수 있습니다. 즉, 온라인 출처의 저품질 정보가 아닌, 고품질, 즉 신뢰할 수 있는 서적 데이터를 제공하는 도구를 제공하는 것입니다.
실제로 페이스북, 인스타그램, 왓츠앱을 소유한 메타(Meta)는 "빅 5" 출판사 중 하나인 사이먼 앤 슈스터(Simon & Schuster) 인수를 검토한 것으로 알려졌습니다. 이 회사의 출판 자료를 활용하여 메타의 AI를 훈련시키려는 의도였습니다. 하지만 이 거래는 결국 무산되었는데, 아마도 회사가 저자의 사전 동의 없이 IP 주소를 조작했다는 윤리적 모호성 때문일 것입니다.
고려 중인 또 다른 옵션은 신작에 대한 개별 라이선스 권리를 구매하는 것입니다. 이는 제작자들에게 상당한 우려를 야기할 수 있지만, 사용 가능한 데이터가 고갈될 경우 AI 도구를 개발하는 데 여전히 흥미로운 방법이 될 것입니다.
6. 합성 데이터가 미래입니다.
다른 모든 해결책은 아직 제한적이지만, 인공지능의 미래를 이끌어갈 수 있는 한 가지 옵션이 있습니다. 바로 합성 데이터입니다. 이는 이미 매우 현실적인 가능성으로 연구되고 있습니다.
그렇다면 합성 데이터란 무엇일까요? 인공 지능이 생성한 데이터입니다. 사람이 데이터를 생성하는 것처럼, 이 방법을 사용하면 AI가 학습 목적으로 데이터를 생성합니다.
실제로 AI는 설득력 있는 딥페이크 영상을 제작할 수 있습니다. 이 딥페이크 영상은 AI에 피드백되어 사실상 허구적인 시나리오에서 학습할 수 있도록 합니다. 결국 이는 인간이 학습하는 주요 방식 중 하나입니다. 우리는 주변 세계를 이해하기 위해 무언가를 읽거나 시청합니다.
AI 시스템이 이미 합성 정보를 소비했을 가능성이 높습니다. 딥페이크 기술은 온라인에 허위 정보와 가짜 정보를 유포해 왔기 때문에, AI 시스템이 인터넷 콘텐츠를 검색할 때 일부 사용자가 가짜 콘텐츠에 노출되었을 가능성이 높습니다.
네, 여기에는 악의적인 측면이 있습니다. 또한 AI 시스템을 손상시키거나 제한하여 해당 도구들이 저지르는 오류를 더욱 심화시키고 확산시킬 수도 있습니다. 기업들은 이 문제를 해결하기 위해 노력하고 있지만, "AI가 서로에게서 배우고 실수를 한다"는 표현은 많은 SF 악몽 시나리오의 줄거리 소재가 됩니다.
7. 인공지능의 더 나은 활용
인공지능 도구는 논란의 여지가 많은 주제입니다. 단점도 많지만, 비판론자들은 종종 그 이점을 간과합니다. 예를 들어, 회계 및 컨설팅 회사 인 PwC는 인공지능이 2030년까지 세계 경제에 최대 15조 7천억 달러를 기여할 수 있다고 예측했습니다.
더욱이 인공지능은 이미 전 세계적으로 활용되고 있습니다. 여러분도 모르는 사이에 어떤 형태로든 인공지능을 사용해 왔을 것입니다. 이제 인공지능의 마법이 풀렸습니다. 핵심은 인공지능을 제대로 활용할 수 있도록 신뢰할 수 있는 고품질 데이터를 기반으로 인공지능을 훈련시키는 것입니다.
인공지능에는 장단점이 있습니다. 하지만 분명히 균형을 찾아야 합니다.
인공지능 도구는 가용 학습 데이터 부족으로 인해 점점 더 큰 어려움에 직면하고 있으며, 이는 도구의 발전과 발전을 저해할 위험이 있습니다. 이러한 어려움을 극복하기 위해 합성 데이터 활용, 비지도 학습 활용, 그리고 조직 간 데이터 공유를 위한 협업 촉진과 같은 혁신적인 솔루션이 도입되고 있습니다. 이러한 솔루션은 새로운 데이터 소스를 제공하여 지능형 모델의 지속적인 개선 및 개발을 효율적이고 효과적으로 보장합니다.
댓글이 닫혔습니다.