GPU는 여러 종류의 병렬 연산을 폭넓게 처리하는 범용 가속기이고, TPU는 구글이 신경망의 행렬 연산에 맞춰 설계한 전용 칩(ASIC)이다.3 둘 중 어느 쪽이 “이겼다”기보다 워크로드에 따라 역할이 갈린다. 제미나이는 2025년 11월 18일 3세대로 공개됐고, 2026년 7월 기준 3.5 계열 중 Flash는 출시됐으나 Pro는 파트너 테스트 단계로 확인된다.16 이 글은 두 칩의 차이, 제미나이와 TPU의 관계, 엔비디아 독점 구도의 현재 수치를 구분해 정리한다.
GPU와 TPU는 무엇이 다른가?
GPU는 원래 그래픽용으로 출발했지만 엔비디아의 CUDA 플랫폼을 통해 C, C++, 파이썬 등으로 병렬 연산을 GPU에 맡기는 범용 컴퓨팅 도구가 됐다.4 TPU는 구글이 머신러닝 가속을 위해 만든 주문형 반도체(ASIC)로, 행렬 곱셈 유닛(MXU, 128×128 시스톨릭 어레이)이 핵심이고 XLA 컴파일러를 거쳐 코드가 실행된다.3
| 구분 | GPU | TPU |
|---|---|---|
| 성격 | 범용 병렬 가속기 | 머신러닝용 전용 ASIC |
| 소프트웨어 | CUDA 생태계, 파이토치 등 | XLA 컴파일러, JAX·텐서플로 중심 |
| 잘 맞는 일 | 커스텀 연산이 많은 모델, 다양한 워크로드 | 행렬 중심 대형 모델, 장기 학습, 대규모 배치 |
| 약한 일 | 전용 칩 대비 비용 효율 | 분기가 잦은 연산, 동적 텐서 형상, 고정밀 연산 |
구글 클라우드 문서도 이 구분을 따른다. 커스텀 파이토치/JAX 연산이 많은 모델은 GPU, 행렬 중심이고 오래 학습하는 대형 모델은 TPU에 맞는다고 설명한다.3

학습(training)과 추론(inference)도 나눠 봐야 한다. 구글은 업계가 모델을 만드는 단계에서 응답을 빠르고 싸게 제공하는 추론 중심으로 이동한다고 보고, 아이언우드를 고처리량·저지연 추론과 학습, 강화학습 모두를 겨냥한 칩으로 소개했다.2 칩 선택은 단순 성능 비교보다 모델 구조, 소프트웨어 호환성, 단가, 전력 효율을 함께 따지는 문제다. 또한 TPU는 동적 텐서 형상이 많은 워크로드에서 재컴파일 부담이 있다는 점이 문서에 명시돼 있어, 모든 모델이 TPU에서 유리하다고 말하기는 어렵다.3
제미나이 최신 버전은 어디까지 나왔나?
제미나이 3는 2025년 11월 18일 롤아웃을 시작했고 구글은 LMArena 1501 Elo, GPQA Diamond 91.9% 같은 벤치마크 결과를 발표했다. 이 수치는 모두 구글이 밝힌 값이다.1 이후 2026년 5월 I/O에서 3.5 계열이 소개되며 Flash가 먼저 나왔고, 7월 21일 구글은 3.6 Flash를 발표하면서 3.5 Pro는 “파트너와 테스트 중”이라고 밝혔다.6 8월 말 3.5 Pro 출시설은 확인되지 않았고, 이 글 작성 시점의 정식 출시 여부도 확인하지 못했다. 최신 버전은 구글 공식 안내를 따로 확인해야 한다.
제미나이는 정말 TPU로만 만들어졌나?
구글의 제미나이 3 발표문은 학습에 쓴 하드웨어를 명시하지 않았다.1 “TPU로 학습·추론됐다”는 서술은 주로 2차 분석에 근거한다. 확실한 것은 구글이 TPU를 자사 AI 서비스와 클라우드의 핵심 인프라로 키우고 있다는 점이다. 2025년 11월 구글은 7세대 TPU 아이언우드(Ironwood)를 발표했다. v5p 대비 최대 10배, v6e 대비 칩당 4배 이상의 성능을 내세웠고, 한 슈퍼팟에 최대 9,216개 칩을 묶는다. 구글은 이를 추론(inference) 시대에 맞춘 칩으로 소개했다.2

TPU 외부 판매와 대형 고객은 어떻게 진행되나?
구글 클라우드는 앤스로픽이 최대 100만 개의 TPU를 이용할 계획이라고 2025년 10월 23일 발표했다.2 메타가 TPU 기반 인프라 계약을 맺었다는 보도도 있으나 구체 조건은 확인하지 못했다. 내부용 칩이던 TPU가 외부 고객에게 임대·판매되는 방향은 분명해 보이지만, 계약 규모와 시점은 공식 발표를 기준으로 판단해야 한다.

엔비디아 독점은 정말 흔들리고 있나?
수치로는 아직 엔비디아가 압도적이다. 2027 회계연도 2분기(2026년 7월 26일 종료) 매출은 962억 달러(전년 대비 106% 증가), 데이터센터 매출은 890억 달러(117% 증가)였고, 베라 루빈 플랫폼이 본격 양산 단계라고 밝혔다.5 TPU가 늘어도 엔비디아 실적이 함께 커지는 구간이므로 “독점 붕괴”보다는 “수요 폭증 속 대안의 확산”이 정확한 표현이다. 엔비디아의 방어선은 칩 성능만이 아니라 CUDA 생태계다. 개발자와 라이브러리가 CUDA에 맞춰져 있어 전환 비용이 크다.4

ASI 같은 거창한 표현은 어떻게 봐야 하나?
초지능(ASI)은 인간 지능을 전반적으로 넘어서는 가설적 단계를 가리키는 용어이며, 아직 실현된 기술이 아니다. GPU·TPU 경쟁은 ASI를 누가 먼저 만드느냐의 문제라기보다 지금 쓰는 모델의 학습·추론 비용을 누가 낮추느냐의 문제에 가깝다. “제미나이가 챗GPT를 이겼다” 같은 헤드라인도 사용자 수, 벤치마크, 비용을 구분해서 봐야 한다.
앞으로 확인할 지표는?
- 제미나이 3.5 Pro 정식 출시 여부와 공식 벤치마크
- TPU 외부 고객 계약의 실제 규모(공식 발표 기준)
- 엔비디아 데이터센터 매출과 마진 추이
- PyTorch 등 범용 프레임워크에서 TPU 지원이 얼마나 매끄러워지는가
이 글은 기술·산업 정보를 정리한 것이며 특정 종목의 매수·매도를 권하지 않는다.
참고 자료
- Google, A new era of intelligence with Gemini 3 (2025-11-18)
- Google Cloud, Ironwood TPUs and new Axion-based VMs (2025-11-07)
- Google Cloud, Introduction to Cloud TPU
- NVIDIA Blog, What Is CUDA?
- StorageNewsletter, NVIDIA Fiscal 2Q27 Financial Results (2026-08-27)
- LetsDataScience, Gemini 3.5 Pro Launch Remains Unconfirmed (2026-08-23)