맥북에서 Gemma 4를 로컬로 돌릴 수 있는지는 모델 크기보다 통합 메모리 용량이 먼저 갈린다. Google 개발자 문서 기준으로 가중치만 올리는 데 필요한 메모리는 4비트 양자화 시 E2B 약 2.9GB, 26B MoE 약 14.4GB, 31B 약 17.5GB다.1 이 글은 모델 구성, 맥북 사양별 선택 기준, 그리고 로컬과 클라우드 AI를 나눠 쓰는 방법을 정리한다. (기준 시점: 2026년 10월)
Gemma 4는 어떤 모델인가?
Gemma 4는 Google DeepMind가 2026년 4월 2일 공개한 오픈 웨이트 모델로, 라이선스는 Apache 2.0이다.2 출시 보도에서는 E2B, E4B, 26B A4B(MoE), 31B(Dense)의 네 가지가 소개됐고,3 Google 개발자 문서에는 12B가 포함된 다섯 가지 크기가 표로 올라 있다.1

- E2B / E4B: 스마트폰·노트북 같은 기기용 경량 모델. 컨텍스트 128K 토큰.
- 26B A4B (MoE): 전체 파라미터는 약 26B이지만 토큰마다 약 3.8B만 활성화한다. 컨텍스트 256K.4
- 31B (Dense): 모든 파라미터를 사용하는 가장 큰 모델. 컨텍스트 256K.
MoE는 “필요한 전문가 일부만 계산에 쓰는” 구조라 토큰당 연산량이 줄어든다. 다만 어떤 전문가가 선택될지 모르기 때문에 전체 파라미터를 메모리에 올려야 한다는 점은 같다.14
내 맥북 메모리로 어느 모델까지 돌릴 수 있을까?
아래 값은 가중치만 기준이다. KV 캐시(긴 대화·긴 문서일수록 증가)와 macOS·다른 앱이 쓰는 메모리는 별도이므로 여유를 둬야 한다.1
| 모델 | 컨텍스트 | BF16 | 8비트 | 4비트(Q4_0) |
|---|---|---|---|---|
| E2B | 128K | 11.4GB | 5.7GB | 2.9GB |
| E4B | 128K | 17.9GB | 8.9GB | 4.5GB |
| 12B | 256K* | 26.7GB | 13.4GB | 6.7GB |
| 26B A4B (MoE) | 256K* | 57.7GB | 28.8GB | 14.4GB |
| 31B (Dense) | 256K* | 69.9GB | 34.9GB | 17.5GB |
* 문서가 “중간 크기 이상”으로만 표기해 크기별 매핑은 출시 보도 기준이다.
이 표로 계산하면 16GB 맥은 4비트 E4B·12B까지가 현실적이고, 32GB 이상이면 4비트 26B MoE도 가중치는 들어간다. 다만 16GB에서 14.4GB짜리 모델을 올리면 운영체제 몫이 남지 않으므로 권장하지 않는다. 이 판단은 표에서 도출한 추정이며, 실제 속도는 칩·양자화 방식·실행 도구에 따라 달라진다.
왜 애플 실리콘이 로컬 LLM에 유리하다고 할까?
일반 PC는 CPU 메모리와 GPU 메모리가 분리되어 있어 모델이 그래픽 메모리(VRAM)에 들어가야 한다. 애플 실리콘은 CPU와 GPU가 하나의 메모리를 공유하므로 큰 모델을 올릴 때 VRAM 한도에 막히지 않는다. Apple 연구팀의 MLX 프레임워크도 이 통합 메모리 모델을 전제로, 배열을 복사 없이 CPU와 GPU 어느 쪽에서든 연산하도록 설계됐다.5

생성 속도는 메모리 대역폭의 영향을 크게 받는 것으로 알려져 있지만, 칩별 실측 토큰 속도는 이 글에서 검증하지 못했다. 속도가 중요하다면 본인 기종에서 직접 측정한 값을 기준으로 삼는 것이 정확하다.
맥북에서 실제로 돌리려면?
Gemma 4 가중치는 Hugging Face, Ollama, Kaggle 등으로 배포된다.3 애플 실리콘에서는 MLX 기반 도구나 Ollama 같은 실행기를 쓰는 방법이 일반적이다. 순서는 다음과 같다.
- 시스템 메모리를 확인하고 위 표에서 4비트 기준 모델을 고른다.
- 작은 모델(E4B)로 먼저 돌려 속도와 답변 품질을 확인한다.
- 긴 문서를 넣을 때는 컨텍스트가 길어질수록 메모리가 더 필요하다는 점을 감안해 한 단계 작은 모델 또는 짧은 입력으로 시작한다.

컨텍스트 128K·256K는 무엇을 뜻할까?
컨텍스트 길이는 모델이 한 번에 참조할 수 있는 입력과 출력의 총량(토큰 단위)이다. 모델 크기별로 E2B·E4B는 128K, 26B·31B는 256K 토큰을 지원한다.3 숫자가 크다고 항상 그만큼 잘 활용하는 것은 아니며, 길어질수록 앞서 말한 KV 캐시가 늘어 메모리 부담이 커진다. 긴 문서를 다룰 계획이라면 가중치 용량에 더해 이 여유분까지 고려해 모델을 고른다.
로컬 LLM이 클라우드 AI를 대체할까?
대체보다는 분업에 가깝다. 로컬은 데이터가 기기 밖으로 나가지 않고, 오프라인에서 쓸 수 있으며, 사용량에 따른 과금이 없다는 점이 강점이다. 반면 가장 큰 상용 모델과 비교하면 복잡한 추론과 폭넓은 지식에서는 격차가 남아 있다고 보는 시각이 일반적이다. 기준에 따른 구분은 다음과 같다.
| 작업 | 적합한 쪽 |
|---|---|
| 개인 문서 요약, 민감한 초안, 오프라인 작업 | 로컬(Gemma 4 등) |
| 복잡한 다단계 추론, 최신 정보가 필요한 탐색 | 클라우드 |
| 대량 반복 처리(비용 민감) | 로컬 우선 검토 |

정리하면
- 선택의 첫 기준은 메모리다. 4비트 기준 E4B는 약 4.5GB, 26B MoE는 약 14.4GB, 31B는 약 17.5GB를 가중치로 쓴다.
- MoE는 연산은 줄지만 메모리는 줄지 않는다.
- 속도·품질은 기종마다 다르므로 작은 모델부터 직접 확인한다.
- 민감하거나 반복적인 작업은 로컬, 어려운 추론은 클라우드로 나누는 구성이 현실적이다.
참고 자료
- Gemma 4 모델 개요(크기·컨텍스트·가중치 메모리) — Google AI for Developers. ai.google.dev
- Gemma 4 출시일(2026-04-02)·Apache 2.0·모델 구성 — NYU Shanghai RITS. rits.shanghai.nyu.edu
- Gemma 4 라인업·컨텍스트·로컬 실행 경로 정리 — Analytics Vidhya. www.analyticsvidhya.com
- 26B MoE의 활성 파라미터(약 3.8B)와 전체 로드 필요 — Qubrid 기술 해설. www.qubrid.com
- MLX: Apple silicon용 배열 프레임워크, 통합 메모리 모델 — ml-explore/mlx GitHub. github.com