🧑💻 요약
구글이 TPU v7(Ironwood)와 Gemini 3.0을 공개하며 AI 가속기 시장을 독점하는 엔비디아 GPU에 도전장을 내밀었습니다.
높은 전력 효율과 낮은 가격을 자랑하는 TPU의 부상은, 시장의 경쟁 구도를 '물량'에서 '효율'으로 전환시키고 있습니다.
엔비디아 GPU의 시장 지배력은 여전할 것으로 예상되지만, TPU가 새로운 '전략적 선택지'로 자리매김 할 것으로 기대됩니다.
안녕하세요. 뉴스를 통해 핫한 이슈를 정리하는 카카오클라우드 '뉴스썰'입니다.
이번 시간에는 '구글 TPU'에 대한 썰을 풀어봅니다.
‘너는 X마, 일을 하고 있는 게 아냐’
미국 캘리포니아 자가에 빅테크 다니는 ‘AI 가속기 10년차’ TPU 부장은 열심히 만든 결과물을 GPU 상무에게 보고했지만 호통만 들었습니다.
GPU 상무는 행렬 곱셈과 같이 ‘정해진 AI 연산’만 처리해서 만든 TPU 부장의 결과물이 마음에 들지 않는 눈치인데요, 그는 수많은 유닛과 명령어를 가지고 다양한 데이터 형식과 복잡한 연산을 처리하면서 범용 컴퓨팅에 기여해야 ‘진짜 일’이라고 강조합니다.
하지만 낮은 연봉💵에 밥🔌도 적게 먹고 정해진 일을 빠르게🏃🏻 처리하는 TPU 부장이 계속 신경쓰이는데요, 과연 TPU 부장은 임원이 될 수 있을까요?
‘최고파괴책임자’가 되어줘
구글은 2016년 TPU(Tensor Processing Unit) v1을 공개했습니다. 당시 AI 추론 수요를 해소할 수 있다는 기대가 있었지만 이후 오픈 AI가 GPT-3를 발표하고 ‘AI 가속기 = 엔비디아 GPU’라는 공식이 생기며 큰 주목을 받지는 못했습니다. 이후 빅테크를 비롯한 AI 개발 기업이 경쟁적으로 GPU를 구매하면서 가격이 폭등했고 대항마가 없는 상황에서 엔비디아는 AI 가속기 시장을 거의 독점하게 되었습니다. 그럼에도 구글은 TPU 개발을 멈추지 않았고 마침내 그 결과가 빛을 보기 시작했습니다.
지난 4월 구글은 ‘AI 연산’에서 GPU에 필적하는 성능을 자랑하는 TPU v7(Ironwood)를 공개했습니다. 이어서 11월에는 TPU 기반으로 훈련 및 구동되는 Gemini 3.0를 발표해 GPU에 의존하지 않고도 높은 성능의 AI를 개발 및 서비스 할 수 있음을 입증했습니다. 특히 ‘인공지능 거품론’이 부각되며 과도한 AI 인프라 투자를 경고하는 시장 상황에서, 높은 성능과 낮은 비용을 앞세운 TPU의 등장은 거품 우려를 종식시킬 수 있는 합리적 대안으로 주목 받고 있습니다.
이러한 기대는 구글이 AI 풀스택(Full-Stack) 구축에 성공하며 더욱 높아지고 있습니다. 막대한 데이터를 학습한 Gemini와 이를 서비스 할 수 있는 Chrome 브라우저 및 Android OS, 자체 인프라인 구글클라우드플랫폼(GCP)에 AI 가속기(TPU)를 더해 AI 생태계의 수직적 구축을 달성했습니다. 반면 AI 서비스가 없는 엔비디아는 ‘AI 기업’에 투자하고 그 기업이 GPU를 사는 ‘순환 거래’ 구조로 AI 거품론자들은 AI 서비스 실적이 부진하면 연속적으로 거품이 터질 수 있다고 우려하고 있습니다. 하지만 구글은 AI 인프라 투자가 자사의 AI 서비스 또는 클라우드 매출 상승으로 이어져 TPU의 지속적인 투자와 확산이 가능해졌습니다.
이제 시장은 TPU가 엔비디아 독점을 파괴할 최고파괴책임자⚒️(CDO, Chief Destruction Officer)가 될 것이라 기대하고 있습니다.
TPU, 그는 누구인가!
사실 최근까지도 TPU는 대중에 잘 알려지지 않았습니다. 미국 자가에 빅테크까지 다니는데 수식어를 빼면 아는 사람이 없었죠.😅
TPU의 탄생은 2013년으로 거슬러 올라갑니다. 구글은 AI 모델 연구 중 기존 CPU와 GPU 등 범용 프로세서의 한계를 느껴 자체적으로 특수목적반도체(ASIC) 설계를 시작했다고 합니다. 2016년 v1을 구글 데이터센터에 추론용으로 활용 중임을 발표했고, v2는 학습 및 추론 겸용으로 발전했으며, v3부터 Google Cloud를 통해 외부 고객에게 서비스 했습니다. 이후 v4~v6e(Trillium)까지 성능 개선을 지속하다 v7(4,614TFLOPS)에 이르러 개별 칩 기준 ‘AI 연산 능력’이 엔비디아 H200(3,958 TFLOPS)을 앞서게 되었습니다.
물론 블랙웰 시리즈에는 못미치지만, TPU는 AI 연산을 위한 칩인 만큼 전력 대비 성능은 GPU를 능가한다는 평가입니다. 범용 연산이 목적인 GPU와 달리 불필요한 회로가 없는 만큼 전력효율성이 높다는 것입니다. 여기에 TPU는 GPU의 반값 수준으로 동일한 연산량의 슈퍼컴퓨터를 구성할 경우 비용 측면에서 TPU가 더 저렴할 수 있습니다. 모건스탠리는 블랙웰 2만4000개를 설치하는 데 약 1조2,000억원이 드는 반면, 동일 규모의 TPU 설치 비용은 약 1,450억원(GPU 대비 12% 수준)이라고 검토했습니다.
뿐만 아니라 TPU v7은 ICI(Inter-Chip Interconnect)를 통해 9,216개의 칩을 직접 연결해 연산 능력을 42.5EFLOPS까지 높일 수 있습니다. 물론 블랙웰도 NVLink Switch 를 통해 72개의 GPU를 연결하는 NVL72를 만들 수 있고 이 렉(슈퍼컴퓨터)을 인피니밴드 등으로 연결해 확장 할 수 있습니다. 하지만 스위치, 데이터 처리 장치(Data Processing Unit), 인피니밴드 등을 거치면서 구조적으로 복잡도가 높고 전력 효율이 떨어집니다.
다시 말해 TPU는 수천 개 칩을 쉽게 한 개 처럼 묶어서 쓸 수 있으며 때문에 큰 AI 모델을 빠르고 저렴하게 학습 및 추론할 수 있습니다.
제가 왜 안됐을까요?
그럼 TPU는 엔비디아 독점 시장을 파괴하는 CDO가 되는 걸까요? 🤔 지금까지 구글 외에도 많은 빅테크가 자체 AI 칩 개발에 나섰지만, GPU의 시장 지배력은 여전히 공고하며 앞으로도 지속될 것이란 전망이 지배적입니다.
애초에 GPU는 범용 연산용으로 특정 연산에 특화된 TPU가 모든 연산을 대신하기는 어렵습니다.
더욱이 AI 영역에서도 엔비디아의 독점 소프트웨어 생태계인 ‘CUDA’가 엔비디아의 시장 지배력을 굳건히 지켜주고 있습니다. CUDA는 단순한 개발 도구를 넘어 AI 개발자들이 하드웨어를 제어하고 모델을 구현하는 사실상의 업계 표준으로 자리 잡았습니다. 이미 전 세계의 수많은 AI 논문과 라이브러리가 CUDA를 기반으로 작성되어 있으며 이로 인해 AI 가속기의 성능과 효율을 떠나 CUDA를 쓸 수 없다면 개발자에게 외면 받게 됩니다. 물론 컴파일러를 통해 호환성을 확보할 수 있지만 개발과정이 더 생기는 만큼 시간과 비용이 늘어나게 됩니다.
그럼에도 TPU를 기반으로 한 Gemini3.0의 성공은 기업들에게 전략적 선택지를 만들어 주었습니다.
수천억원이 넘는 인프라 비용을 투자하는 빅테크가 구매 및 운영 비용이 저렴한 TPU를 선택해 인프라 비용을 줄이는 대신, 추가적인 엔지니어링 작업 비용을 지출하는 선택지를 가지게 된 것입니다. 비싼 인프라 비용을 감안하면 엔지니어링 비용은 미미할 수도 있어 기업은 TCO 관점에서 적절한 선택을 할 수 있습니다.
비록 TPU가 독점 시장을 파괴하지는 못했지만, 작은 균열을 만들어 생태계 변환을 이끌고 있습니다.
고생했다! TPU
지금까지 GPU 대항마로 급부상한 TPU에 대한 썰을 풀어봤습니다.
철옹성 같은 엔비디아 독점 시장의 파괴를 노리는 TPU의 등장은 AI 인프라 시장이 ‘물량 경쟁’에세 ‘효율 경쟁’으로 변화하는 계기를 만들었습니다. 특히 인프라 투자에 대한 ‘인공지능 거품론’이 나오는 상황에서 구글이 AI 인프라 경쟁에서 안정적인 투자 및 매출 구조를 구축했음을 알렸고, 적은 비용으로 최고 성능을 구현하여 메타, 앤스로픽과 같은 특정 워크로드를 구축한 AI 기업에게 GPU 외 선택 가능한 대안이 되었습니다.
이러한 변화는 클라우드(CSP) 시장에도 다양성을 더할 것으로 기대됩니다. TPU의 성공으로 많은 빅테크가 ASIC 등 전용칩 개발에 더 집중할 것으로 예상되고, AI 가속기의 다변화로 선택지가 많아 지면 클라우드 수요 기업의 니즈가 다양해져 다양한 인프라를 얼마나 최적화해서 제공하느냐가 CSP 선택에 주요 고려사항이 될 것으로 보입니다. (카카오클라우드는 다양한 CPU/GPU 인프라를 효율적으로 제공합니다 😃)
비록 TPU가 경직된 AI 인프라 시장을 단숨에 파괴하지는 못했지만, 또 다른 선택지를 제공해 신선함을 선사한 것은 중요한 업적입니다.
앞으로 TPU의 ⚒️최고파괴책임자로서 활약을 기대하며, 응원의 한마디를 남겨봅니다. 고생했다! TPU
📒 참고기사
❍ 엔비디아 투자 받아 엔비디아 칩 구매… “AI 거품사슬” vs “선순환” (동아일보, 11/24)
❍ "메타도 구글 텐서칩 투자"…텐서칩, GPU 대항마 될까? (한국경제, 11/25)
❍ 구글, 제미나이3.0·TPU 들고 부활…올트먼도 “우리보다 앞서” (한겨레, 11/26)
❍ TPU, 추론에 최적화…전력 대비 성능은 블랙웰 능가 (서울경제, 11/25)
❍ 구글 '차세대 TPU' 돌풍에…엔비디아 GPU 독주 멈추나 (매일경제, 12/08)
❍ AI칩 엔비디아 독점 깨진다… 구글·MS·메타 참전, 춘추전국시대로 (조선일보, 11/28)
❍ 구글, TPU 영토 확장…GPU 아성 흔들 (매일경제, 11/26)
❍ [ET시론] 구글의 TPU 개발, AI 반도체 생태계 전환의 서막 (전자신문, 12/07)
❍ 구글 TPUv7, 엔비디아 ‘쿠다’ 해자 넘을까? (바이라인, 12/01)
❍ “AI, 무작정 쏟아붓던 시대 끝” 구글이 새로 쓴 ‘AI 자본 효율’ 공식 (서울경제, 11/28)
❍ "메타도 구글 텐서칩 투자"…텐서칩, GPU 대항마 될까? (한국경제, 11/25)
❍ 구글·메타 맞손에 AI 반도체·클라우드 시장 요동 (전자신문, 11/26)
❍ 엔비디아 "구글 TPU보다 한 세대 앞서" 반격…AI 칩 경쟁 판도 흔들 (뉴시스, 11/26)
✅ 함께 읽으면 좋은 콘텐츠를 소개합니다.
<상품 소개> 카카오클라우드 GPU 서비스 - 고성능 GPU, 이제 필요할 때 필요한 만큼
✅ 최신 IT업계 동향과 클라우드 인사이트를 놓치고 싶지 않다면?!
카카오클라우드의 뉴스레터 '카클레터'를 구독하세요! 👉 '카클레터' 구독하러 가기
댓글