<튜토리얼> 카카오클라우드 환경에서 Ollama와 OpenWebUI를 이용해 나만의 LLM 서비스 만들기

이 글에서는 카카오클라우드의 VM 환경에서 Ollama와 OpenWebUI를 활용하여 나만의 오픈소스 기반 LLM 서비스를 구축하는 과정을 다룹니다. Ollama는 오픈소스 언어 모델 라이브러리로, 강력한 언어 모델을 손쉽게 활용할 수 있으며, OpenWebUI는 이러한 모델들을 웹 인터페이스에서 직관적으로 관리할 수 있게 도와주는 도구입니다. 두 도구를 조합하여 클라우드 환경에서 언어 모델을 손쉽게 배포하고 운영하는 방법을 소개하고, 이를 통해 필요한 서비스에 맞춘 최적의 LLM 솔루션을 구현하는 데 필요한 주요 단계를 설명하고자 합니다. 1. Ollama와 OpenWebUI 특징1-1. OllamaOllama는 다양한 오픈소스 언어 모델을 제공하는 플랫폼으로, 사용자들이 다양한 AI 작업을 수행할 수..

<고객 사례> 멀티모달 AI 기업 ‘액션파워’, 카카오클라우드로 유연한 GPU 관리와 비용 절감 실현

안녕하세요, 카카오클라우드입니다. 최근 GPU 수요의 급격한 증가로, 많은 AI 기업들이 GPU 확보와 효율적인 자원 관리에 어려움을 겪고 있습니다. 오늘은 국내 최초의 AI 음성인식 서비스 '다글로'를 운영하는 액션파워의 사례를 통해 카카오클라우드가 어떻게 이러한 문제를 해결하는데 도움을 드리고, AI 기업의 성장을 지원하는지 서면 인터뷰를 통해 상세히 소개해드리려고 합니다. Q: 먼저 액션파워에 대해 간단히 소개해 주세요.A: 액션파워는 국내 최고 수준의 AI 연구팀을 중심으로 음성, 언어, 비전 관련 멀티모달 AI 기술을 보유한 기업입니다. 대표 서비스인 '다글로'는 국내 최초의 STT(음성인식 받아쓰기) 서비스로 유저 데이터 기반의 AI 에이전트로 진화하고 있으며, 현재 140만 이상의 고객을 보..

<상품 소개> 카카오클라우드 GPU 서비스 - 고성능 GPU, 이제 필요할 때 필요한 만큼

안녕하세요, 카카오클라우드입니다. 최근 AI 기술의 급속한 발전으로 우리는 전례 없는 혁신의 시대를 맞이하고 있습니다. 하지만 이 여정에는 여러 도전 과제들도 함께하고 있죠. GPU 수급난, 천정부지로 치솟는 개발 비용, 그리고 끊임없이 증가하는 컴퓨팅 파워에 대한 수요. 오늘은 이러한 고민을 해결할 수 카카오클라우드의 GPU 서비스를 소개해드리려고 합니다. 1. AI 기업들이 직면한 현실적 과제들1) GPU 수급난전 세계적인 반도체 부족 현상으로 인해 AI 개발의 핵심 자원인 GPU 확보가 갈수록 어려워지고 있습니다. 이는 AI 프로젝트의 시작을 지연시키거나 확장을 제한하는 주요 요인이 되고 있습니다. 2) 비용 부담일반적인 클라우드 서비스의 GPU 이용 비용은 상당히 높은 수준입니다. 또한, 제공업체..

<고객 사례> GPU 부족과 비용 부담, AI 스타트업 스캐터랩은 어떻게 극복했을까?

안녕하세요, 카카오클라우드입니다. 최근 AI 기술의 급속한 발전과 높은 관심으로 많은 기업들이 AI 서비스를 개발 운영하고 있습니다. 하지만 AI 모델 학습과 서비스 운영에 필수적인 GPU 확보와 관리는 여전히 큰 도전 과제로 남아있죠. 특히 AI 스타트업들은 GPU 부족 현상, 높은 비용, 인프라 불안정 등의 문제로 어려움을 겪고 있습니다. 이러한 상황에서 스캐터랩의 카카오클라우드 도입 사례는 주목할 만합니다. 최근 폭발적인 성장을 이루고 있는 스캐터랩이 어떻게 GPU 관련 이슈를 극복했는지, 그 과정에서 카카오클라우드가 어떤 역할을 했는지 소개해드리려고 합니다. 스캐터랩과의 서면 인터뷰를 통해 그들의 경험을 자세히 들어보았습니다. Q: 먼저 스캐터랩과 서비스에 대해 간단히 소개 부탁드립니다.A: "네..

<튜토리얼> 카카오클라우드 Kubeflow 환경에서 CNN을 구현하고 MNIST 분류해보기

이 글에서는 카카오클라우드의 Kubeflow 환경에서 합성곱 신경망(CNN)을 구현하여 MNIST 데이터셋을 분류하는 과정을 다룰 것입니다. MNIST는 손으로 쓴 숫자 이미지 데이터셋으로, 머신러닝 분야에서 널리 사용되는 벤치마크 데이터셋입니다. 이미지 분류 문제를 해결하기 위해 다양한 방법론들이 오랫동안 연구되어 왔으며, 그 중 하나가 오늘 소개할 CNN입니다.CNN에 대해 알아보기 전에, 이해하는데 도움을 드리기 위해서 퍼셉트론에서 CNN까지 발전하게된 흐름과 각 신경망의 장단점, MaxPooling, 활성화 함수 등 기본 구성 요소를 짚고 넘어가려고 합니다. 1. 퍼셉트론 (Perceptron)퍼셉트론은 Frank Rosenblatt가 1957년에 개발한 가장 간단한 형태의 인공 신경망입니다. 퍼..

<고객 사례> 대학생 개발자가 만든 AI 챗봇, 카카오클라우드로 날개 달다

안녕하세요, 카카오클라우드입니다. 오늘은 대학생 개발자분들이 카카오클라우드를 활용하여 교내 서비스를 혁신한 사례를 소개해드리려고 합니다.  고려대학교 컴퓨터 동아리 KUCC의 학생들은 기존 학교 포털과 커뮤니티의 불편함을 해결하기 위해 'ASKu(링크)'라는 AI 챗봇 서비스를 개발했는데요, 서비스의 개발부터 운영까지 전 과정에서 카카오클라우드를 사용했다고 합니다. 그래서 지난 주, 직접 KUCC 동아리방을 찾아가 ASKu 팀을 만났습니다. 학교 축제 중에도 흔쾌히 인터뷰에 응해준 덕분에 카카오클라우드를 대학생 개발자의 눈으로 바라볼 수 있는 뜻깊은 시간을 가질 수 있었는데요. ASKu 개발에 참여했던 동아리 학생들은 크고 작은 에피소드를 곁들여가며 카카오클라우드 사용 경험을 생생하게 들려주었습니다. 처..