Gemma 4 GGUF: Kuantisasi Mana yang Harus Saya Pilih?

Kuantisasi GGUF adalah cara kamu menyusutkan Gemma 4 dari raksasa 24GB menjadi sesuatu yang benar-benar muat di hardware-mu. Tapi dengan lusinan level kuantisasi berbeda untuk dipilih, memilih yang tepat itu membingungkan. Panduan ini menembus kebisingan dan memberitahu kamu format mana yang harus digunakan.

Apa Itu GGUF?

GGUF (GGML Universal Format) adalah format file yang dirancang khusus untuk menjalankan model bahasa besar di hardware konsumer. Ia menyimpan bobot model dalam format terkompresi yang mempertukarkan sedikit kualitas untuk ukuran file yang jauh lebih kecil dan inferensi lebih cepat.

Konsep kuncinya adalah kuantisasi — mengurangi presisi bobot model dari floating point 16-bit (FP16) ke 8-bit, 4-bit, atau bahkan lebih rendah. Presisi lebih rendah = file lebih kecil = inferensi lebih cepat = sedikit kurang akurat.

Perbandingan Level Kuantisasi

Berikut perbandingan lengkap untuk Gemma 4 12B:

Kecepatan relatif terhadap FP16 di hardware yang sama. Tok/dtk aktual bervariasi berdasarkan GPU.

Rekomendasi

• Q4_K_M — Keseimbangan terbaik untuk kebanyakan orang. Kualitas sangat dekat dengan FP16 untuk tugas harian seperti coding, menulis, dan Q&A. Ini default di sebagian besar model Ollama.
• Q5_K_M — Pilih ini jika kamu punya VRAM ekstra dan ingin kualitas yang terlihat lebih baik pada tugas penalaran kompleks.
• Q8_0 — Kualitas mendekati asli. Hanya gunakan jika hardware-mu bisa menanganinya — peningkatan kualitas atas Q5 marjinal untuk kebanyakan tugas.
• IQ4_XS — Format terkecil yang masih berguna. Bagus untuk testing atau saat kamu 1-2 GB kurang VRAM.

Hindari Q3 dan Q2 — penurunan kualitas terlalu curam untuk berguna untuk apa pun yang serius.

Di Mana Mengunduh File GGUF

Unsloth di Hugging Face (Direkomendasikan)

Unsloth menyediakan konversi GGUF berkualitas tinggi untuk semua model Gemma 4:

# Telusuri file yang tersedia
# https://huggingface.co/unsloth/gemma-4-12b-it-GGUF

# Unduh dengan huggingface-cli
pip install huggingface_hub
huggingface-cli download unsloth/gemma-4-12b-it-GGUF \
  gemma-4-12b-it-Q4_K_M.gguf \
  --local-dir ./models

# Atau unduh dengan wget
wget https://huggingface.co/unsloth/gemma-4-12b-it-GGUF/resolve/main/gemma-4-12b-it-Q4_K_M.gguf

Repo tersedia:

Menjalankan File GGUF

Dengan llama.cpp

Cara paling langsung untuk menjalankan file GGUF:

# Clone dan build llama.cpp
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
cmake -B build -DGGML_CUDA=ON  # atau DGGML_METAL=ON untuk Mac
cmake --build build

# Jalankan inferensi
./build/bin/llama-server \
  -m ./models/gemma-4-12b-it-Q4_K_M.gguf \
  -ngl 999 \
  -c 8192 \
  --host 0.0.0.0 \
  --port 8080

# Sekarang kamu punya API yang kompatibel OpenAI di http://localhost:8080

Dengan Ollama

Ollama menggunakan GGUF di baliknya. Kamu bisa membuat model kustom dari file GGUF:

# Metode 1: Gunakan model Ollama pre-built (termudah)
ollama run gemma4:12b

# Metode 2: Import file GGUF-mu sendiri
# Buat Modelfile
cat > Modelfile << 'EOF'
FROM ./gemma-4-12b-it-Q4_K_M.gguf
PARAMETER temperature 0.7
PARAMETER num_ctx 8192
TEMPLATE """{{ .System }}
{{ .Prompt }}"""
EOF

# Buat model
ollama create my-gemma4 -f Modelfile
ollama run my-gemma4

Dengan LM Studio

LM Studio menyediakan GUI untuk mengunduh dan menjalankan file GGUF:

1. Buka LM Studio
2. Cari "gemma 4" di model browser
3. Pilih level kuantisasi yang kamu inginkan
4. Klik Download
5. Buka tab Chat dan pilih modelmu
6. Mulai chatting

LM Studio juga mengekspos API lokal yang kompatibel dengan format OpenAI, jadi kamu bisa menggunakannya sebagai backend drop-in untuk aplikasi yang mengharapkan endpoint gaya OpenAI.

Kualitas vs Kecepatan: Testing Dunia Nyata

Berikut bagaimana kuantisasi yang berbeda berkinerja pada tugas aktual dengan Gemma 4 12B:

Untuk kebanyakan user, Q4_K_M adalah sweet spot. Kamu kehilangan beberapa poin persentase pada matematika sulit dan penalaran kompleks, tapi untuk coding, menulis, ringkasan, dan Q&A umum, perbedaannya hampir tidak terlihat.

Memilih Berdasarkan Hardware

Langkah Selanjutnya

• Perlu mengunduh model? Cek Panduan Unduh kami untuk semua cara mendapatkan Gemma 4
• Ingin detail lebih tentang kebutuhan hardware? Lihat Panduan Hardware untuk kalkulasi VRAM berdasarkan model dan kuantisasi
• Mengunduh dari Hugging Face? Baca Cara Mengunduh dari Hugging Face untuk instruksi detail

Intinya: mulai dengan Q4_K_M. Jika kamu melihat masalah kualitas pada tugas spesifikmu, naik ke Q5_K_M. Hanya naik lebih tinggi jika kamu punya VRAM cadangan dan benar-benar membutuhkan presisi ekstra.