Gemma 4 di Mac: Performa M1, M2, M3, M4 Diuji

Mac Apple Silicon benar-benar salah satu platform terbaik untuk menjalankan model AI lokal. Arsitektur unified memory berarti GPU dan CPU berbagi kolam RAM yang sama — jadi Mac dengan 32GB memori bisa memuat model yang akan membutuhkan GPU dedicated 32GB di PC.

Saya menguji Gemma 4 di seluruh jajaran Apple Silicon. Berikut persis apa yang bisa kamu harapkan.

Mengapa Mac Bagus untuk AI Lokal

Tiga hal yang membuat Apple Silicon istimewa untuk ini:

1. Unified memory: Tidak ada penyalinan data antara memori CPU dan GPU. Mac 24GB punya 24GB tersedia untuk model — titik.
2. Akselerasi Metal: Ollama dan llama.cpp otomatis menggunakan Metal untuk akselerasi GPU. Tidak butuh setup.
3. Bandwidth memori: Bandwidth memori Apple sangat baik relatif terhadap harga, dan itu bottleneck untuk inferensi LLM.

Tidak ada driver NVIDIA, tidak ada instalasi CUDA, tidak ada kesulitan dengan Docker GPU passthrough. Instal Ollama, jalankan ollama run gemma4, dan akselerasi Metal sudah bekerja.

Performa Per Chip

Berikut yang saya ukur dengan Ollama, menggunakan prompt 512-token dan generasi 256-token:

M1 (2020)

Base M1 dengan 8GB ketat. Kamu bisa menjalankan E2B, tapi jangan mengharapkan multitasking banyak saat model dimuat. M1 Pro dan Max jauh lebih baik — lebih banyak core GPU dan bandwidth memori lebih tinggi membuat perbedaan nyata.

M2 (2022)

M2 Pro di 16GB adalah sweet spot untuk kebanyakan orang. Kamu bisa menjalankan model 26B MoE dengan nyaman. Ingat, model 26B hanya menggunakan ~3.8B parameter aktif per token — lihat panduan arsitektur kami untuk alasannya.

M3 (2023)

M3 Max dengan 36GB adalah mesin AI yang fantastis. Kamu bisa menjalankan model 31B penuh dengan kuantisasi Q4 dan masih punya ruang untuk aplikasi lain. Varian 48GB memungkinkan kamu menggunakan kuantisasi Q5 kualitas lebih tinggi.

M4 (2024-2025)

Generasi M4 membawa peningkatan kecepatan yang terlihat. M4 Max dengan 64GB adalah setup impian — jalankan model Gemma 4 kualitas tertinggi pada kecepatan yang terasa interaktif.

Rekomendasi Model Berdasarkan RAM

Referensi cepat jika kamu hanya ingin tahu apa yang dijalankan:

Untuk detail lebih tentang memilih antar model, cek panduan pemilihan model kami.

Mac Mini sebagai Server AI Always-On

Berikut sesuatu yang banyak orang lakukan: menggunakan Mac Mini sebagai server AI dedicated. Ini brilian karena:

• Daya rendah: Mac Mini M4 idle di ~5W, jalankan inferensi AI di ~30-40W
• Senyap: Tanpa kipas di beban rendah-ke-menengah
• Kecil: Muat di mana saja
• Terjangkau: Mac Mini M4 dengan 24GB mulai dari $799

Setup:

# Instal Ollama
brew install ollama

# Start Ollama sebagai service (jalan saat boot)
brew services start ollama

# Pull modelmu
ollama pull gemma4:26b

# Ollama sekarang melayani di port 11434
# Akses dari perangkat apa pun di jaringanmu:
# http://mac-mini-ip:11434

Untuk akses dari perangkat lain di jaringanmu, set host:

# Di shell profile-mu (~/.zshrc)
export OLLAMA_HOST=0.0.0.0

# Restart Ollama
brew services restart ollama

Sekarang perangkat apa pun di LAN-mu bisa menggunakan server AI Mac Mini-mu — ponsel, tablet, komputer lain. Taruh web UI seperti Open WebUI di depannya dan kamu punya alternatif ChatGPT privat untuk seluruh rumah tangga.

Tips Optimasi untuk Mac

1. Tutup aplikasi haus memori sebelum menjalankan model besar

Safari, Chrome, dan Xcode bisa memakan gigabyte RAM. Jika kamu ketat di memori, tutup mereka sebelum memuat model.

# Cek memori tersedia
memory_pressure

2. Gunakan kuantisasi yang tepat

Jangan default ke Q8 jika Q4_K_M memberimu 95% kualitas pada setengah memori. Untuk kebanyakan tugas, Q4_K_M adalah sweet spot.

3. Kurangi panjang konteks untuk respons lebih cepat

# Konteks default biasanya 4096-8192
# Jika kamu tidak butuh konteks panjang:
ollama run gemma4:26b --num-ctx 2048

4. Monitor utilisasi GPU

# Pantau penggunaan GPU Metal
sudo powermetrics --samplers gpu_power -i 1000

5. Jaga Ollama tetap ter-update

Peningkatan akselerasi Metal rilis secara teratur. Update dengan brew upgrade ollama.

6. Pertimbangkan menggunakan LM Studio jika kamu lebih suka GUI

LM Studio memberimu antarmuka visual bersih, pengaturan yang bisa disesuaikan, dan berfungsi baik di Mac.

Bagaimana dengan Mac vs. PC untuk Gemma 4?

Perbandingannya bernuansa:

Untuk kebanyakan pengguna individu, Mac adalah pengalaman yang lebih mudah dan menyenangkan. Untuk server produksi, GPU NVIDIA yang berjalan di Docker dengan vLLM memberi throughput per dolar yang lebih baik.

Langkah Selanjutnya

• Instal dan jalankan: panduan quickstart Ollama
• Pilih model yang tepat: panduan pemilihan model
• Cek spesifikasi hardware lengkap: kebutuhan hardware
• Coba pendekatan GUI: panduan LM Studio