안녕하세요, 카카오클라우드입니다. 최근 AI 기술의 급속한 발전과 높은 관심으로 많은 기업들이 AI 서비스를 개발 운영하고 있습니다. 하지만 AI 모델 학습과 서비스 운영에 필수적인 GPU 확보와 관리는 여전히 큰 도전 과제로 남아있죠. 특히 AI 스타트업들은 GPU 부족 현상, 높은 비용, 인프라 불안정 등의 문제로 어려움을 겪고 있습니다.
이러한 상황에서 스캐터랩의 카카오클라우드 도입 사례는 주목할 만합니다. 최근 폭발적인 성장을 이루고 있는 스캐터랩이 어떻게 GPU 관련 이슈를 극복했는지, 그 과정에서 카카오클라우드가 어떤 역할을 했는지 소개해드리려고 합니다. 스캐터랩과의 서면 인터뷰를 통해 그들의 경험을 자세히 들어보았습니다.
Q: 먼저 스캐터랩과 서비스에 대해 간단히 소개 부탁드립니다.
A: "네, 스캐터랩은 2011년 설립된 AI 전문 기업입니다. '이루다'라는 AI 챗봇으로 잘 알려져 있죠. 저희는 고도의 딥러닝 기술을 활용해 AI와의 풍부한 상호작용 경험을 제공하는 서비스를 개발하고 있습니다." 지난 4월에는 새로운 인터랙티브 AI 콘텐츠 플랫폼 ‘제타(zeta)’'를 출시했습니다. 사용자가 AI와 실시간으로 상호작용하며 스토리를 만들어갈 수 있어요. 예를 들어, 사용자가 원하는 캐릭터의 특징을 입력하면 AI가 그에 맞는 캐릭터를 만들고, 사용자와 대화하며 스토리를 전개해 나갑니다. 출시 이후 매달 트래픽이 거의 2배씩 증가하는 놀라운 성장세를 보이고 있습니다."
Q: 그런 폭발적인 성장 과정에서 기술적인 어려움도 있었을 것 같습니다. 어떤 문제들이 있었나요?
A: "네, 가장 큰 문제는 GPU 확보와 관리였습니다. AI 서비스, 특히 챗봇 같은 경우 사용자 수에 비례해 GPU 수요가 증가합니다. 트래픽이 급증하면서 GPU를 유연하게 확보하고 관리하는 것이 핵심 과제가 되었죠. 구체적으로 세 가지 문제가 있었습니다. 첫째, GPU 부족 현상으로 인해 글로벌 클라우드에서도 필요한 만큼의 GPU를 확보하기 어려웠어요. 둘째, GPU 특화 저가 클라우드는 가격은 저렴했지만 인프라 안정성이 매우 낮았습니다. 마지막으로, 대부분의 GPU 제공 클라우드들은 지나치게 긴 약정 기간이나 높은 비용을 요구해 유연한 대응이 어려웠죠."
Q: 그런 어려움을 겪으셨군요. 이런 문제들을 해결할 방법을 찾는 과정은 어땠나요?
A: "여러 대안을 검토하던 중 카카오클라우드를 알게 되었습니다. 카카오클라우드는 우리의 세 가지 주요 문제를 모두 해결해 주었어요. 먼저, A100 GPU에 대해 합리적인 가격과 약정 정책을 제공했습니다. 이를 통해 서비스 운영 비용을 크게 절감할 수 있었죠. 둘째, 안정적인 인프라와 빠른 응답 속도를 제공했습니다. 국내 데이터센터를 이용하기 때문에 네트워크 지연 문제도 해결되었고요. 마지막으로, GPU 가용성 문제를 해결해 주었습니다. 필요할 때 필요한 만큼 GPU를 확보할 수 있게 된 거죠."
Q: 구체적으로 어떤 서비스를 사용하고 계신가요?
A: "현재 카카오클라우드의 p2i.6xlarge를 Kubernetes Engine 위에서 사용하고 있습니다. 트래픽에 따라 자동으로 GPU 머신을 스케일링할 수 있는 환경을 구축했어요. 하루에도 몇 번씩 트래픽이 급변하는데, 이에 맞춰 GPU 머신이 자동으로 늘어나거나 줄어들죠. 덕분에 비용 효율성과 서비스 안정성을 동시에 확보할 수 있었습니다."
Q: 카카오클라우드 도입 후 어떤 변화가 있었나요?
A: "변화는 확실했습니다. 우선 비용 측면에서, LLM 서비스 운영에 필요한 GPU 비용이 채팅 1회 당 약 33% 절감되었어요. 또한 GPU 가용성 문제가 해결되면서 인프라 구조가 단순해졌고, 운영 복잡성도 크게 줄었습니다. 이전에는 GPU 확보와 관리에 많은 시간과 노력을 쏟아야 했는데 이제는 그럴 필요가 없어졌죠."
Q: 비즈니스적인 측면에서는 어떤 영향이 있었나요?
A: "새로운 기능을 빠르게 개발하고 배포할 수 있게 되었습니다. 이전에는 새 기능을 추가할 때마다 GPU 비용을 고려해야 해서 의사결정이 느렸는데, 이제는 그런 걱정 없이 빠르게 움직일 수 있게 되었어요. 덕분에 다양한 수익 모델을 시도해볼 수 있게 되었고 사업 확장 속도도 빨라졌습니다."
Q: 카카오클라우드와의 협업 과정은 어땠나요? 특별히 도움을 받은 부분이 있다면요?
A: "카카오클라우드 팀의 지원이 정말 큰 도움이 되었습니다. 특히 환경 셋팅 과정에서 다양한 지원을 받았는데 항상 상세하고 빠르게 대응해 주셨어요. 기술적인 문제가 발생했을 때도 즉각적으로 해결책을 제시해 주셔서 감사했습니다. 담당 매니저님의 실시간 지원과 기술 지원 팀의 전문성 덕분에 안정적인 서비스 운영이 가능했죠."
Q: 앞으로의 계획은 어떻게 되나요?
A: "'제타'의 성장세가 계속되고 있어 앞으로도 더 많은 카카오클라우드의 GPU를 활용하게 될 것 같습니다. 또한 새로운 기능 개발 과정에서 다양한 종류의 GPU도 사용하게 될 거예요. 카카오클라우드와의 협업을 통해 모델 서빙 인프라를 더욱 강화하고 다양한 AI 서비스를 선보일 계획입니다. 궁극적으로는 '제타'를 한국을 대표하는 AI 콘텐츠 플랫폼으로 성장시키는 것이 목표입니다."
스캐터랩의 이번 사례는 많은 AI 기업들이 공통적으로 직면하는 GPU 관련 문제들과 그 해결 방안을 잘 보여주고 있습니다. 여러분의 AI 서비스도 GPU 부족, 높은 비용, 인프라 불안정 등의 어려움을 겪고 있으신가요? 카카오클라우드는 다양한 AI 기업들과의 협업 경험을 바탕으로 최적의 솔루션을 제공하고 있습니다. 이슈를 해결하고 비즈니스 성장을 가속화하고 싶다면 지금 바로 도입 상담을 신청해 보세요.
댓글