맥북에서 젬마 4 로컬 LLM 돌리기: 모델별 필요 메모리와 클라우드 분업 기준

맥북에서 Gemma 4를 로컬로 돌릴 수 있는지는 모델 크기보다 통합 메모리 용량이 먼저 갈린다. Google 개발자 문서 기준으로 가중치만 올리는 데 필요한 메모리는 4비트 양자화 시 E2B 약 2.9GB, 26B MoE 약 14.4GB, 31B 약 17.5GB다.1 이 글은 모델 구성, 맥북 사양별 선택 기준, 그리고 로컬과 클라우드 AI를 나눠 쓰는 방법을 정리한다. (기준 시점: 2026년 10월)

Gemma 4는 어떤 모델인가?

Gemma 4는 Google DeepMind가 2026년 4월 2일 공개한 오픈 웨이트 모델로, 라이선스는 Apache 2.0이다.2 출시 보도에서는 E2B, E4B, 26B A4B(MoE), 31B(Dense)의 네 가지가 소개됐고,3 Google 개발자 문서에는 12B가 포함된 다섯 가지 크기가 표로 올라 있다.1

Gemma 4 모델 라인업: 경량 E2B·E4B, MoE 26B, Dense 31B 구성도
Gemma 4 모델 라인업 개념도
  • E2B / E4B: 스마트폰·노트북 같은 기기용 경량 모델. 컨텍스트 128K 토큰.
  • 26B A4B (MoE): 전체 파라미터는 약 26B이지만 토큰마다 약 3.8B만 활성화한다. 컨텍스트 256K.4
  • 31B (Dense): 모든 파라미터를 사용하는 가장 큰 모델. 컨텍스트 256K.

MoE는 “필요한 전문가 일부만 계산에 쓰는” 구조라 토큰당 연산량이 줄어든다. 다만 어떤 전문가가 선택될지 모르기 때문에 전체 파라미터를 메모리에 올려야 한다는 점은 같다.14

내 맥북 메모리로 어느 모델까지 돌릴 수 있을까?

아래 값은 가중치만 기준이다. KV 캐시(긴 대화·긴 문서일수록 증가)와 macOS·다른 앱이 쓰는 메모리는 별도이므로 여유를 둬야 한다.1

모델 컨텍스트 BF16 8비트 4비트(Q4_0)
E2B 128K 11.4GB 5.7GB 2.9GB
E4B 128K 17.9GB 8.9GB 4.5GB
12B 256K* 26.7GB 13.4GB 6.7GB
26B A4B (MoE) 256K* 57.7GB 28.8GB 14.4GB
31B (Dense) 256K* 69.9GB 34.9GB 17.5GB

* 문서가 “중간 크기 이상”으로만 표기해 크기별 매핑은 출시 보도 기준이다.

이 표로 계산하면 16GB 맥은 4비트 E4B·12B까지가 현실적이고, 32GB 이상이면 4비트 26B MoE도 가중치는 들어간다. 다만 16GB에서 14.4GB짜리 모델을 올리면 운영체제 몫이 남지 않으므로 권장하지 않는다. 이 판단은 표에서 도출한 추정이며, 실제 속도는 칩·양자화 방식·실행 도구에 따라 달라진다.

왜 애플 실리콘이 로컬 LLM에 유리하다고 할까?

일반 PC는 CPU 메모리와 GPU 메모리가 분리되어 있어 모델이 그래픽 메모리(VRAM)에 들어가야 한다. 애플 실리콘은 CPU와 GPU가 하나의 메모리를 공유하므로 큰 모델을 올릴 때 VRAM 한도에 막히지 않는다. Apple 연구팀의 MLX 프레임워크도 이 통합 메모리 모델을 전제로, 배열을 복사 없이 CPU와 GPU 어느 쪽에서든 연산하도록 설계됐다.5

애플 실리콘 통합 메모리와 MLX 구조를 설명하는 도식
통합 메모리에서 CPU·GPU가 같은 데이터를 공유하는 구조

생성 속도는 메모리 대역폭의 영향을 크게 받는 것으로 알려져 있지만, 칩별 실측 토큰 속도는 이 글에서 검증하지 못했다. 속도가 중요하다면 본인 기종에서 직접 측정한 값을 기준으로 삼는 것이 정확하다.

맥북에서 실제로 돌리려면?

Gemma 4 가중치는 Hugging Face, Ollama, Kaggle 등으로 배포된다.3 애플 실리콘에서는 MLX 기반 도구나 Ollama 같은 실행기를 쓰는 방법이 일반적이다. 순서는 다음과 같다.

  1. 시스템 메모리를 확인하고 위 표에서 4비트 기준 모델을 고른다.
  2. 작은 모델(E4B)로 먼저 돌려 속도와 답변 품질을 확인한다.
  3. 긴 문서를 넣을 때는 컨텍스트가 길어질수록 메모리가 더 필요하다는 점을 감안해 한 단계 작은 모델 또는 짧은 입력으로 시작한다.
맥북 화면에서 Gemma 4 로컬 모델을 실행하는 예시
맥북에서 로컬 모델을 실행하는 화면 예시

컨텍스트 128K·256K는 무엇을 뜻할까?

컨텍스트 길이는 모델이 한 번에 참조할 수 있는 입력과 출력의 총량(토큰 단위)이다. 모델 크기별로 E2B·E4B는 128K, 26B·31B는 256K 토큰을 지원한다.3 숫자가 크다고 항상 그만큼 잘 활용하는 것은 아니며, 길어질수록 앞서 말한 KV 캐시가 늘어 메모리 부담이 커진다. 긴 문서를 다룰 계획이라면 가중치 용량에 더해 이 여유분까지 고려해 모델을 고른다.

로컬 LLM이 클라우드 AI를 대체할까?

대체보다는 분업에 가깝다. 로컬은 데이터가 기기 밖으로 나가지 않고, 오프라인에서 쓸 수 있으며, 사용량에 따른 과금이 없다는 점이 강점이다. 반면 가장 큰 상용 모델과 비교하면 복잡한 추론과 폭넓은 지식에서는 격차가 남아 있다고 보는 시각이 일반적이다. 기준에 따른 구분은 다음과 같다.

작업 적합한 쪽
개인 문서 요약, 민감한 초안, 오프라인 작업 로컬(Gemma 4 등)
복잡한 다단계 추론, 최신 정보가 필요한 탐색 클라우드
대량 반복 처리(비용 민감) 로컬 우선 검토
로컬 LLM과 클라우드 LLM을 병행해 쓰는 하이브리드 구성도
로컬과 클라우드 병행 구성

정리하면

  • 선택의 첫 기준은 메모리다. 4비트 기준 E4B는 약 4.5GB, 26B MoE는 약 14.4GB, 31B는 약 17.5GB를 가중치로 쓴다.
  • MoE는 연산은 줄지만 메모리는 줄지 않는다.
  • 속도·품질은 기종마다 다르므로 작은 모델부터 직접 확인한다.
  • 민감하거나 반복적인 작업은 로컬, 어려운 추론은 클라우드로 나누는 구성이 현실적이다.

참고 자료

  1. Gemma 4 모델 개요(크기·컨텍스트·가중치 메모리) — Google AI for Developers. ai.google.dev
  2. Gemma 4 출시일(2026-04-02)·Apache 2.0·모델 구성 — NYU Shanghai RITS. rits.shanghai.nyu.edu
  3. Gemma 4 라인업·컨텍스트·로컬 실행 경로 정리 — Analytics Vidhya. www.analyticsvidhya.com
  4. 26B MoE의 활성 파라미터(약 3.8B)와 전체 로드 필요 — Qubrid 기술 해설. www.qubrid.com
  5. MLX: Apple silicon용 배열 프레임워크, 통합 메모리 모델 — ml-explore/mlx GitHub. github.com