⛳️핵심 요약
카카오엔터프라이즈가 주요 증권사를 대상으로 ‘증권형 AI 인프라 전략 세미나’를 개최했습니다. 증권업계의 AI 도입과 활용 사례, LLM 서빙 방법론에서부터 온프레미스와 클라우드의 장점만을 결합한 ‘카카오클라우드 하이브리드 GPUaaS’까지 AX를 위한 AI 인프라 구축 방안을 소개합니다!
안녕하세요. 카카오클라우드입니다.
최근 증권사의 ✔️ 데이터 분석 ✔️리스크 관리 ✔️투자 전략 등의 업무에서 AI 활용 역량이 핵심 경쟁력으로 떠오르는 가운데, 대규모 AI 모델 운영을 위한 AI 인프라 구축 역시 시급한 과제로 부상하고 있습니다.
이 가운데, 카카오엔터프라이즈와 델테크놀로지스코리아가 주요 증권사 인프라 담당자를 대상으로 AI 도입 가속화를 위한 AI 인프라 전략 및 구축 방안을 공유하는 세미나를 진행했습니다.
‘증권형 AI 인프라의 미래’를 주제로 진행한 이번 세미나에는 메리츠증권, 미래에셋증권, 신영증권, 한국투자증권, LS증권 등 다양한 주요 증권사의 IT 및 인프라 담당자들이 참여했는데요.
AI 인프라에 대한 여의도 증권가의 뜨거운 열기를 확인할 수 있었습니다👏
이날 첫번째 세션에서는 김용태 델테크놀로지스 상무가 ‘증권업의 AI 도입과 활용 사례 및 LLM 서빙 방법론’을 주제로 발표했습니다.
김용태 상무는 현재 국내 증권업계에서는 ‘업무 수행 에이전트’를 활용할 수 있는 방안을 고민하고 있으며, AI 인프라 측면에서 🟡토큰 폭증 🟡컴퓨팅 성능 🟡안정성 요구가 증가하고 있다고 설명했습니다. 따라서 TTFT(Time to First Token), TPS(Throughput)과 TPOT(Time Per Output Token), Concurrency, KV Cache 총 4가지 지표로 SLO(서비스 수준 목표)의 균형점을 찾아야한다고 강조했습니다.
이어 오웅 카카오엔터프라이즈 팀장은 ‘증권가 AI 가속화를 위한 카카오클라우드 하이브리드 인프라 전략’를 주제로 발표를 진행했습니다. 오웅 팀장은 “증권업계가 현재 AI 도입과 더불어, 중장기적 TCO 절감 효과까지 고민하고 있다는 점을 카카오클라우드가 함께 고민하며, 하이브리드 GPUaaS를 선보이게 됐다”고 설명하며 발표를 시작했습니다.
카카오클라우드의 하이브리드 GPUaaS는 최신 고사양 GPU 구매부터 데이터센터, 전력, 통합⬝관리, 확장 등에 이르는 AI 인프라 도입 과정을 카카오클라우드 플랫폼으로 통합해 제공하는 엔터프라이즈 솔루션입니다.
AI 인프라를 도입할 때는 ✅ 비용 ✅ 기간 ✅ 유연성 및 확장성 ✅ 운영 및 관리 역량 등의 요소를 꼭 검토한 후, AI 인프라를 GPUaaS로 빌려서 사용할지, 혹은 온프레미스로 구축할지 선택해야 하는데요.
두 가지 중 하나를 선택할 수도 있겠지만, 유연성과 확장성이 뛰어난 GPUaaS의 장점과 중장기 관점에서 총소유비용(TCO) 절감이 가능한 온프레미스의 장점만을 취합한 카카오클라우드 하이브리드 GPUaaS가 해결책이 될 수 있습니다.
오웅 팀장은 “특히 증권사의 경우, 기존에 사용 중이던 자체 온프레미스나 AWS, Azure 등과 같은 퍼블릭 클라우드를 원활하게 연결해야 하는데, 카카오클라우드의 Transit Gateway (TGW)를 활용해 손쉽게 데이터를 이관하고 연동 체계를 구현할 수 있다”고 전했습니다.
또한 오 팀장은 증권사 및 금융기관이 카카오클라우드를 안심하고 사용할 수 있도록 🟢망 분리 🟢데이터 보안 🟢내부 통제 기능 등 매우 높은 보안 요건을 충족하고 있다는 점도 강조했습니다. 카카오클라우드는 매년 금융보안원에서 진행하는 ‘클라우드 서비스 제공업체 안전성 평가’를 우수한 성적으로 완료하고 있습니다.
발표에 이어 즐거운 퀴즈 시간⁉️도 마련됐는데요. 손 번쩍 드신 정답자 분들에게는 소소한 경품도 선물로 드렸답니다!
🤔카카오클라우드 GPU 클러스터는 2025년 6월 기준으로
ISC 고성능 컴퓨팅 콘퍼런스에서 발표한 전 세계 슈퍼컴퓨터 순위인 TOP500에서 몇 위에 랭크되었을까요?
정답은 드래그를…! 카카오클라우드는 TOP500에서 국내 CSP 중 가장 높은 순위인 52위에 랭크됐습니다!
저녁시간임에도 불구하고 다수의 주요 증권사 인프라 담당자분들이 참석해주시고, ‘증권형 AI 인프라의 미래’에 대해 심도 깊은 의견을 나눴던 뜻깊은 세미나였습니다. 앞으로도 카카오엔터프라이즈는 더욱 다양한 산업군의 AI 전환을 가속화하기 위해 유익한 시간을 마련하고 함께 고민하며 해답을 제시하도록 하겠습니다!
✅ 카카오엔터프라이즈가 개최한 다른 분야의 세미나가 궁금하시다면?
<현장 스케치> 🔐카카오 주요 계열사를 위한 클라우드 보안 세미나
<뉴스> 카카오클라우드, NVIDIA와 함께 AI 개발자 부트캠프 성황리 개최
📣 최신 IT업계 동향과 클라우드 인사이트를 놓치고 싶지 않다면... 카카오클라우드의 뉴스레터 '카클레터'를 구독해볼까요?
댓글