엔비디아의 GPU가 대중들에게 널리 알려지기 전에도 우리는 수많은 혁신을 목격했습니다. 그러나 이제 ‘GPU’라는 용어처럼 ‘TPU’ 역시 AI 시대의 핵심 키워드로 부상하고 있습니다. 최근 구글과 메타가 엔비디아의 쿠다(CUDA) 생태계에 대항하기 위한 비밀스러운 프로젝트를 진행 중이라는 소식이 전해지면서, 인공지능 하드웨어 시장에 지각 변동이 예고되고 있습니다. 과연 이들의 연합은 엔비디아의 아성을 무너뜨릴 수 있을까요? 그리고 이러한 변화는 얼마나 빠르고 광범위하게 진행될까요? 이번 시간에는 엔비디아 CUDA 아성, 구글 메타 TPU 도전 에 대해 알아보려 합니다. ‘어머넷 블로그’에서 기술적인 관점에서 이 질문에 대한 답을 심층적으로 파헤쳐 봅니다.
엔비디아 쿠다, AI 생태계의 견고한 해자
지난 20년 동안 엔비디아의 쿠다는 AI 개발자들에게 없어서는 안 될 핵심 소프트웨어 스택으로 자리 잡았습니다. GPU 하드웨어를 최적으로 활용하기 위한 커널 엔지니어링부터, CU DNN, CUBLAS 등 수많은 AI 연산 라이브러리, 그리고 디버깅 도구인 Nsight까지, 쿠다는 개발자들이 엔비디아 GPU의 잠재력을 최대한 끌어낼 수 있도록 지원해 왔습니다. 이처럼 강력한 소프트웨어 생태계는 엔비디아 GPU를 사실상의 표준으로 만들었으며, 이는 다른 기업들이 쉽게 넘볼 수 없는 거대한 ‘해자’로 작용했습니다. 파이토치(PyTorch)와 같은 주요 AI 프레임워크 역시 쿠다 기반으로 최적화되어 있어, AI 개발자들은 자연스럽게 엔비디아 하드웨어에 종속되는 현상이 심화되었습니다.
빅테크 기업들은 이러한 종속성에서 벗어나고자 자체 칩 개발에 꾸준히 투자해 왔습니다. 특히 구글의 TPU(Tensor Processing Unit)는 자사의 AI 워크로드에 최적화된 강력한 대안으로 주목받아왔죠. 하지만 기존 파이토치 코드를 TPU에서 효율적으로 구동하는 것은 여전히 큰 숙제였습니다. XLA(Accelerated Linear Algebra)와 같은 번역 계층을 사용하면 TPU 구동이 가능했지만, 네이티브 환경만큼의 성능과 개발 편의성을 제공하지 못해 ‘개발자 경험’ 측면에서 아쉬움이 있었습니다. 즉, 하드웨어 구조가 다르기 때문에 기존 쿠다 최적화 코드를 TPU로 옮기면 성능 저하와 디버깅의 어려움을 겪는 경우가 많았습니다. 이와 관련된 AI와 반도체 기술 동향은 AI와 반도체 증시 활용 글에서 더 자세히 다루고 있습니다.
구글과 메타의 대담한 연합: Torch-TPU 프로젝트
로이터 보도에 따르면, 구글은 메타의 도움을 받아 자사의 TPU를 세계에서 가장 널리 사용되는 AI 소프트웨어 프레임워크인 파이토치에 ‘네이티브’하게 결합하는 새로운 계획을 추진 중입니다. ‘토치 TPU(Torch-TPU)’로 알려진 이 프로젝트의 핵심 목표는 개발자들이 기존 코드를 단 한 줄도 수정하지 않고 TPU 인프라로 손쉽게 이전할 수 있도록 하는 것입니다. 이를 위해 구글은 다음과 같은 기술적 접근 방식을 모색하고 있습니다:
- XLA 계층의 혁신: 파이토치의 XLA 번역 계층을 더욱 강력하게 만들어, TPU 하드웨어에 최적화된 로우 레벨 코드로 자동으로 번역하는 기술을 개발 중입니다. 이는 AI 기반 컴파일러 기술을 활용하여 하드웨어 추상화 계층(HAL)의 기능을 대폭 강화하는 방향으로 진행될 것으로 예상됩니다.
- PJRT 런타임 표준화: TPU 실행을 담당하는 런타임을 PJRT(Portable JIT Runtime)로 표준화하여, 분산 처리 및 장치 제어를 일관된 방식으로 처리할 수 있도록 지원합니다. 이는 중간 과정의 디버깅 어려움과 성능 예측 불확실성을 해소하는 데 기여할 것입니다.
- 파이토치 2.0 및 TorchDynamo 통합: 파이토치 2.0의
torch.compile기능과 TorchDynamo를 활용하여, 즉시 실행(eager execution) 방식의 파이토치 코드를 TPU의 지연 실행(lazy execution) 방식에 맞게 효율적인 컴퓨테이션 그래프로 변환하고 최적화하는 방안을 고려하고 있습니다. 이는 개발자들이 코드 수정 없이도 성능 향상을 기대할 수 있게 할 것입니다.
이러한 기술적 진보는 단순한 호환성을 넘어, TPU를 엔비디아 GPU처럼 파이토치와 ‘자연스럽게’ 작동하도록 만드는 데 초점을 맞추고 있습니다. 메타가 주도하는 파이토치 프레임워크와의 긴밀한 협력은 이 프로젝트의 성공 가능성을 높이는 중요한 요인입니다. 메타는 2026년까지 구글 클라우드를 통해 TPU 인스턴스를 대규모로 임대하여 성능을 검증하고, 2027년 이후에는 자체 데이터 센터에 TPU 하드웨어를 직접 도입하는 장기 투자 계획을 발표했습니다. 이는 양사 간의 전략적 제휴가 단기적인 협력을 넘어선다는 것을 의미하며, 엔비디아 CEO 젠슨 황의 예측하는 미래에도 영향을 미칠 수 있습니다.
엔비디아의 해자를 넘어서기 위한 도전과 가능성
구글과 메타의 연합은 엔비디아가 구축한 쿠다 생태계의 견고한 해자를 흔들 수 있는 강력한 시도로 평가됩니다. 하지만 성공까지는 여러 과제가 남아 있습니다. 플래시 어텐션(Flash Attention)과 같이 쿠다에 극도로 최적화된 커널들은 TPU로 전환하기가 매우 어려울 것이며, 이를 기반으로 파생된 수많은 서드파티 라이브러리 및 호환성 문제도 해결해야 합니다. 또한 대규모 클러스터 운영 경험과 안정성 확보는 단기간에 이루어질 수 없는 부분입니다.
그럼에도 불구하고, 이 프로젝트의 성공 가능성을 높게 보는 여러 요인이 있습니다. 첫째, 파이토치의 주인이자 AI 생태계의 핵심 플레이어인 메타가 직접 참여하여 개발 우선순위와 리소스 투입이 대폭 강화될 것이라는 점입니다. 이는 단순히 구글 혼자만의 노력이 아니라, AI 산업 전반의 흐름을 바꾸려는 빅테크의 합종연횡으로 볼 수 있습니다. 둘째, 이미 존재하던 XLA나 PJRT와 같은 표준화된 기술들을 활용하여 개발되고 있다는 점입니다. 이는 완전히 새로운 기술 스택을 구축하는 것보다 개발 기간을 단축하고 안정성을 확보하는 데 유리합니다.
구글은 자사의 GCP(Google Cloud Platform)에서만 사용하던 TPU를 점차 외부 기업에도 직접 판매하는 방식으로 비즈니스 모델을 전환하고 있습니다. 메타와 엔트로픽(Anthropic)과 같은 선도 기업들이 TPU를 적극적으로 도입하려는 움직임은 이러한 전환에 힘을 실어줄 것입니다. 궁극적으로 빅테크 기업들은 천문학적인 AI 모델 운영 비용을 절감하고, 공급망 안정성을 확보하며, 특정 벤더에 대한 종속성을 줄이고자 합니다. 이러한 전략적 관점에서 TPU는 매력적인 대안이 될 수 있습니다. 특히 추론(inference) 부분에서 높은 전성비와 비용 효율성을 제공할 수 있다는 구글의 주장은 엔비디아 블랙웰(Blackwell) 아키텍처 대비 경쟁 우위를 점할 수도 있습니다. 이처럼 새로운 기술과 오픈소스의 활용은 오픈소스 채팅 플랫폼 Mattermost 설치 및 사진백업 오픈소스 Immich 활용과 같은 다양한 IT 솔루션에도 영감을 주고 있습니다.
AI 인프라의 미래: 변화의 가능성을 주시하며
현재 엔비디아는 여전히 AI 칩 시장의 압도적인 선두 주자이며, 그 지배력이 단기간에 무너지지는 않을 것입니다. 그러나 구글과 메타의 ‘토치 TPU’ 프로젝트는 AI 인프라 시장에 중요한 변화의 가능성을 제시하고 있습니다. 1~2년 내에 파이토치 모델이 큰 코드 수정 없이 TPU에서 원활하게 구동될 수 있는 수준에 도달한다면, 더 많은 기업과 개발자들이 TPU를 AI 인프라의 강력한 대안으로 고려하게 될 것입니다.
이는 단순히 하드웨어의 경쟁을 넘어, 개발자 생태계와 소프트웨어 스택의 주도권을 둘러싼 빅테크 기업들의 치열한 싸움입니다. 앞으로 AI 칩 시장은 더욱 다각화되고, 다양한 플레이어들이 혁신적인 솔루션을 제시하며 경쟁할 것입니다. 이 과정에서 우리는 어떤 기술이 AI의 미래를 이끌어갈지, 그리고 AI 인프라가 어떻게 진화할지를 끊임없이 주시해야 할 것입니다. 구글의 TPU가 엔비디아 GPU처럼 대중적인 인지도를 얻게 될 날이 머지않았을지도 모릅니다. 저희 어머넷 블로그는 이러한 AI 기술 발전과 IT 뉴스에 대한 심도 깊은 분석을 지속적으로 제공할 것입니다.
결론 및 제언
오늘은 엔비디아 CUDA 아성, 구글 메타 TPU 도전 에 대해 알아 보았습니다. 구글과 메타의 협력은 AI 하드웨어 시장의 새로운 장을 열고 있습니다. 이들의 노력은 엔비디아의 독점적인 지위를 흔들고, AI 개발 비용을 절감하며, AI 인프라의 안정성과 다양성을 높이는 데 기여할 수 있습니다. 특히 오픈소스 전략은 개발자 커뮤니티의 참여를 유도하여 TPU 생태계 확장에 긍정적인 영향을 미칠 것으로 보입니다. 물론 극복해야 할 기술적, 생태계적 과제가 많지만, 빅테크의 강력한 의지와 투자는 이러한 변화를 가속화할 것입니다. 앞으로 ‘어머넷 블로그’에서는 이러한 AI 인프라의 변화를 면밀히 추적하고, 여러분께 가장 신속하고 정확한 정보를 전달해 드릴 것을 약속드립니다. AI 시대의 다음 혁신을 함께 지켜봅시다.
