안녕하세요. 카카오클라우드입니다. 거대 언어 모델 (이하 LLM, Large Language Model)이 빠르게 기술 시장을 잠식하는 시대에 접어들면서 FMOps (Foundation Model Operations)라는 방법론이 주목받고 있습니다. 기반 모델 (Foundation Model; 줄여서 FM)이라는 용어는 2021년 8월에 스탠퍼드 대학에서 처음 사용된 만큼, 기반 모델이라는 용어를 포함하는 FMOps라는 기술 트렌드는 비교적 새롭게 등장한 기술 트렌드입니다 (LLMOps라고도 칭합니다). 현재 FMOps 시장은 활발하게 형성되고 있으며, 개별적인 단계를 지원하는 플레이어, MS와 같이 풀스택, 엔드 투 엔드 FMOps 플랫폼 구축을 시도하는 플레이어 등... 다양한 사례들이 등장하고 있습니다. 그럼 FMOps라는 새롭게 등장한 기술 트렌드와 FMOps의 필요성에 대하여 간략히 소개하겠습니다.
FMOps란?
FMOps란 MLOps에 이어 떠오르고 있는 기반 모델, 그중에서도 특히 LLM 기반의 앱 개발을 위한 방법론입니다. 기반 모델이 더욱 빠른 속도로 발전하고 있는 LLM 시대 속 AI 앱을 개발하는 수단으로 큰 관심을 받고 있죠!
| ※ 주목! 'LLMOps'가 아닌 'FMOps'라는 표현을 선택하여 사용하는 이유는? LLMOps는 자연어 처리 분야에만 국한되는 기반 모델을 칭하는 용어인 LLM이 포함된 반면 FMOps는 자연어 처리를 포함한 이미지, 음성 등 더욱 다양한 모달리티의 기반 모델들 (예: DALL-E) 을 포함하여 해당 용어를 사용하게 되었습니다. 하지만 현재 시장에서는 기반 모델 중에서도 LLM을 활용하여 앱을 개발하는 것에 관심이 몰려있기 때문에 두 용어는 현재 혼재되어 사용되고 있습니다. |
FMOps 워크플로우와 핵심 기술 요소들
FMOps를 제공하는 서비스나 플랫폼이 되기 위해 요구되는 핵심 기술 요소들을 소개드립니다.
이 요소들은 향후 LLM 기반 앱 개발이 보편화됨에 따라, 앞으로 중요성이 더 커질 것으로 전망됩니다.
✅ 프롬프트 엔지니어링, 관리, 그리고 체이닝
LangChain은 복잡한 태스크 수행이 가능한 LLM 앱 개발을 위해 꼭 필요한 체인 (또는 모델 API) 프레임워크로 꼽힙니다. 2022년 하반기에 처음 등장한 이 개념은 당시에는 널리 알려지고 회자되는 개념은 아니었는데요, 2023년 상반기 기반 모델 기반 커스텀 앱 개발에 대한 관심이 높아지면서 현재는 메인스트림한 기술 프레임워크로 자리 잡았습니다. LangChain과 같은 체인 프레임워크와 프롬프트 체이닝 기법은 자율 AI 에이전트의 핵심 기술 요소이기도 한데요. FMOps는 기반 모델의 성능 향상을 위한 주요 수단으로 프롬프트 엔지니어링과 프롬프트 관리 기능을 제공하는 것은 물론, LangChain과 같은 체인 프레임워크를 기반으로 LLM이 외부 툴을 활용하여 보다 복잡한 태스크를 수행할 수 있도록 여러 개의 프롬프트들을 연결하는 ‘프롬프트 체이닝 (Prompt Chaining)’을 지원하는 것이 가장 주된 특징입니다.
✅ 데이터 임베딩과 기반 모델 파인튜닝
기반 모델들에 주입하는 데이터는 모델의 성능과 직결되어 매우 중요한 요소로 꼽힙니다. 기반 모델은 다량의 일반적이고 광범위한 데이터를 기반으로 학습된 거대한 언어 모델이기 때문에 기반 모델이 특정 유즈 케이스에서 원하는 성능을 발휘하도록 하기 위해서는 도메인, 사용자 등 특정 데이터를 가져오고, 인덱싱한 후 모델에 주입하여 파인튜닝해주어야 합니다. FMOps에서는 기본적으로 반복적인 프롬프트 엔지니어링을 통해 기반 모델의 답변 성능을 향상합니다. 하지만 프롬프팅만으로 기반 모델 답변 향상에 한계가 있거나, 토큰 소비량이나 답변 지연성을 대폭 줄여야 한다고 판단이 될 때에는 파인튜닝이 필요합니다. 파인튜닝의 방식은 다양하지만, 기존에 특정 태스크 데이터를 기반으로 학습된 기반 모델에 특정 도메인이나 내용의 질문에 답변을 더욱 잘할 수 있도록 사용자의 특정 데이터를 추가로 주입하는 전이 학습 (Transfer Learning) 방식이 FMOps에서 가장 대표적으로 사용되고 있습니다.
✅ 모델 모니터링과 검증
모델 모니터링과 검증은 AI/ML 분야에서 새로운 것은 아니지만, 최근 사람들의 기반 모델에 대한 관심이 증가하면서 니치 (niche)한 시장에서 메인스트림 (mainstream)한 시장으로 이동하고 있습니다. 특히 LLM으로 인해 대중의 responsible AI (책임감 있는 AI, 편향되거나 위험한 정보를 분별하는 AI)에 대한 인식과 우려가 높아졌고, LLM의 이러한 문제점을 완화하기 위한 장치로서 모델의 지속적인 모니터링과 검증은 더욱 필수적이고 중요해지고 있습니다.
MLOps와는 무엇이 다른가?
사용자가 MLOps와 FMOps 플랫폼에서 각각 모델을 어떻게 다루는지, 주요 차이점을 중심으로 표로 정리해 보았습니다. MLOps가 AI 모델의 개발, 배포, 최적화를 위한 플랫폼이라면 FMOps는 이미 학습을 마치고 배포된 모델과 자사 또는 자신의 데이터를 결합하여 커스텀한 LLM 기반 AI 앱을 만드는 것이 주된 차이점이라고 할 수 있습니다.
[MLOps와 FMOps의 차이점]
FMOps 주요 오퍼링
아래는 FMOps 플랫폼이 계층별로 어떤 주된 기능들을 제공하는지를 정리한 표입니다. FMOps의 사전적 정의는 ‘방법론'이지만 이를 전체적으로, 또는 부분적으로 지원하기 위한 서비스와 플랫폼이 제공되고 있습니다.
다음은 FMOps의 아키텍쳐를 세 가지 계층으로 나눈 후,
각 계층 별 FMOps 서비스 및 플랫폼이 제공하는 주요 오퍼링과 각 오퍼링 별 플레이어들을 정리한 표입니다.
LLM의 전세계적 열풍과 함께 이를 기반으로 한 앱 개발에 대한 관심 또한 높아졌고, 이에 FMOps라는 기술 트렌드가 등장했습니다. FMOps는 누구나 보다 쉽고 빠르게 클릭과 자연어만으로 LLM 기반 AI 앱을 단일 플랫폼에서 개발, 배포 그리고 관리까지 할 수 있는 엔드 투 엔드 플랫폼으로 거듭나고 있으며, AI 산업 시대 속 전문가 뿐만이 아닌 더 많은 사용자들이 커스텀한 AI 앱, 어시스턴트를 개발할 수 있는 주된 방법으로 자리잡을 것으로 전망됩니다.
(※ 이 글은 카카오엔터프라이즈의 기술블로그 ‘Tech&(테크앤)’의 콘텐츠 ‘[IT TREND] FMOps, LLM 시대의 AI 앱 개발 방법’을 재구성한 콘텐츠입니다. )
댓글