"¿Puedo ejecutarlo en mi maquina?" — esa es la primera pregunta que todo el mundo hace. La respuesta depende de que modelo de Gemma 4 quieres ejecutar y que hardware tienes. Vamos a cortar la confusion y darte numeros reales.
Tabla completa de requisitos de hardware
Esto es lo que necesita cada modelo a diferentes niveles de cuantizacion:
| Modelo | 4-bit (Q4) | 8-bit (Q8) | 16-bit (FP16) | RAM/VRAM minima |
|---|---|---|---|---|
| E2B (2B) | ~1.5GB | ~2.5GB | ~4GB | 4GB RAM |
| E4B (4B) | ~3GB | ~5GB | ~8GB | 6GB RAM |
| 26B MoE | ~8GB | ~18GB | ~28GB | 8GB VRAM |
| 31B Dense | ~20GB | ~34GB | ~62GB | 20GB VRAM |
¿Que significa "cuantizacion"? Es una forma de comprimir el modelo usando menos precision para los numeros. 4-bit es la mas comprimida (mas pequena, mas rapida, ligeramente menos precisa). 16-bit es precision completa (mas grande, mas precisa, necesita mas memoria). Para la mayoria de personas, 4-bit es el punto ideal — la diferencia de calidad apenas se nota.
La trampa del KV cache
Algo que la mayoria de guias no mencionan. Los pesos del modelo son solo parte de la historia de la memoria. Cuando Gemma 4 procesa conversaciones largas, construye un KV cache (cache clave-valor) que almacena informacion de atencion de tokens anteriores.
Para el modelo 31B con su longitud de contexto completa de 262K, el KV cache solo puede consumir ~22GB de memoria — ademas de los pesos del modelo. Eso significa que aunque tengas 24GB de VRAM para el modelo, podrias quedarte sin memoria durante conversaciones largas.
Consejos practicos:
- Reduce la longitud del contexto si te salen errores OOM. No siempre necesitas 262K tokens.
- Con Ollama, usa
num_ctxpara limitar el contexto:ollama run gemma4:31b --num-ctx 4096 - Para la mayoria de tareas, un contexto de 4K-8K es mas que suficiente.
¿Funcionara en MI maquina?
Veamos hardware especifico:
MacBook Air M2 (8GB)
| Modelo | ¿Funciona? | Notas |
|---|---|---|
| E2B | Si | Funciona genial, respuestas rapidas |
| E4B | Si | Buen rendimiento, el punto ideal |
| 26B | No | No hay suficiente memoria unificada |
| 31B | No | Ni de cerca |
Veredicto: E4B es tu mejor opcion. Sorprendentemente capaz para una maquina de 8GB.
MacBook Pro M3/M4 (16GB)
| Modelo | ¿Funciona? | Notas |
|---|---|---|
| E2B | Si | Excesivo pero rapido |
| E4B | Si | Rendimiento excelente |
| 26B | Si (4-bit) | Funciona pero justo de memoria. Cierra otras apps. |
| 31B | No | Necesita mas memoria |
Veredicto: Realmente puedes ejecutar el modelo 26B MoE con cuantizacion de 4-bit. Eso es un modelo serio en un portatil — consulta nuestra comparacion 26B vs 31B para entender las compensaciones. Solo no esperes tener Chrome abierto con 50 pestanas al mismo tiempo.
MacBook Pro M3/M4 (36GB/48GB)
| Modelo | ¿Funciona? | Notas |
|---|---|---|
| E2B | Si | Muy excesivo |
| E4B | Si | Rapido y fluido |
| 26B | Si | Comodo a 8-bit |
| 31B | Si (4-bit, 36GB) | Justo pero funciona |
Veredicto: Este es el punto ideal para ejecutar modelos grandes. 36GB maneja todo hasta 31B en 4-bit. 48GB te da margen de sobra.
Mac Studio M2 Ultra (64GB+)
| Modelo | ¿Funciona? | Notas |
|---|---|---|
| Todos los modelos | Si | Sin compromisos |
Veredicto: Puedes ejecutar comodamente todos los modelos de Gemma 4, incluyendo 31B en 8-bit. La arquitectura de memoria unificada del M2 Ultra maneja estas cargas de trabajo a la perfeccion.
PC Gaming — RTX 3060 (12GB VRAM)
| Modelo | ¿Funciona? | Notas |
|---|---|---|
| E2B | Si | Acelerado por GPU, muy rapido |
| E4B | Si | Inferencia rapida |
| 26B | Si (4-bit) | Cabe en 12GB de VRAM |
| 31B | No | Necesita 20GB+ de VRAM |
Veredicto: La RTX 3060 es en realidad una tarjeta de IA solida por su precio. 12GB de VRAM ejecuta el modelo 26B muy bien a 4-bit.
PC Gaming — RTX 4090 (24GB VRAM)
| Modelo | ¿Funciona? | Notas |
|---|---|---|
| E2B | Si | Rapidisimo |
| E4B | Si | Rapidisimo |
| 26B | Si | Comodo incluso a 8-bit |
| 31B | Si (4-bit) | Cabe con margen para KV cache |
Veredicto: La reina de las GPUs de consumo para IA. Ejecuta todo lo que Gemma 4 ofrece. El modelo 31B cabe a 4-bit con suficiente margen para longitudes de contexto razonables.
Nube — A100 (80GB VRAM)
| Modelo | ¿Funciona? | Notas |
|---|---|---|
| Todos los modelos | Si | Velocidad completa, precision completa |
Veredicto: Si necesitas rendimiento maximo o modelos en precision completa, alquila una A100. Disponible en Google Cloud, AWS, Lambda Labs y RunPod.
Solo CPU: posible pero doloroso
¿No tienes GPU? Aun puedes ejecutar Gemma 4, solo que en CPU. Esto es lo que puedes esperar:
- E2B en CPU: ~5-10 tokens/seg. Totalmente usable.
- E4B en CPU: ~2-5 tokens/seg. Usable pero tendras que ser paciente.
- 26B en CPU: ~0.5-2 tokens/seg. Dolorosamente lento pero tecnicamente funciona.
- 31B en CPU: Ni lo intentes. Menos de 1 token/seg en la mayoria de maquinas.
La inferencia en CPU es aproximadamente 2-10 veces mas lenta que la inferencia en GPU, dependiendo de tu CPU y el tamano del modelo. Apple Silicon maneja la inferencia en CPU mejor que Intel/AMD gracias a la arquitectura de memoria unificada y el Neural Engine.
Cuantizacion: ¿que formato usar?
Si usas Ollama, maneja la cuantizacion automaticamente. Pero si descargas archivos GGUF de Hugging Face, esto es lo que debes elegir:
| Formato | Tamano vs FP16 | Calidad | Velocidad | Cuando usarlo |
|---|---|---|---|---|
| Q4_K_M | ~25% | 95-97% | La mas rapida | Por defecto recomendado. Mejor equilibrio. |
| Q5_K_M | ~35% | 97-98% | Rapida | Ligera mejora de calidad, aun pequeno |
| Q6_K | ~50% | 98-99% | Media | Cuando la calidad importa mas |
| Q8_0 | ~65% | 99%+ | Mas lenta | Casi sin perdida, necesita mas RAM |
| FP16 | 100% | 100% | La mas lenta | Solo si tienes toneladas de VRAM |
Mi recomendacion: Q4_K_M. Es el punto ideal donde ha convergido la comunidad. La perdida de calidad es minima y obtienes el mejor rendimiento y el archivo mas pequeno. Si tienes VRAM de sobra, Q5_K_M es un pequeno paso adelante.
Consejos para exprimir mas rendimiento
Para una guia completa de optimizacion en todas las plataformas, consulta nuestra guia de optimizacion de velocidad.
Cierra otras apps. Especialmente navegadores. Chrome solo puede consumir 2-4GB de RAM. Cuando ejecutas modelos de 26B+, cada GB cuenta.
Reduce la longitud del contexto. Si tienes errores de falta de memoria, limita la ventana de contexto. La mayoria de conversaciones no necesitan 262K tokens. Configura num_ctx a 4096 u 8192.
Usa Metal (Mac) o CUDA (NVIDIA). Asegurate de que la aceleracion por GPU esta realmente activada. Ollama lo hace automaticamente, pero si usas otras herramientas, verifica la configuracion del backend.
Monitoriza el uso de memoria. En Mac, usa Monitor de Actividad. En Linux, nvidia-smi para memoria GPU. Vigila el uso de swap — si esta usando swap, el rendimiento se desploma.
Considera descargar capas parcialmente. Algunas herramientas como llama.cpp te permiten poner algunas capas en GPU y el resto en CPU. Esto te permite ejecutar modelos ligeramente demasiado grandes para tu GPU, aunque es mas lento que la inferencia completa en GPU.
¿Que deberia comprar?
Si estas buscando hardware para IA, esto es lo que recomendaria en diferentes presupuestos:
| Presupuesto | Recomendacion | Puede ejecutar |
|---|---|---|
| $0 | Usa tu portatil existente + E4B | E2B, E4B |
| $200-400 | RTX 3060 12GB usada | Hasta 26B (4-bit) |
| $500-800 | RTX 4060 Ti 16GB | Hasta 26B (8-bit) |
| $1,000-1,500 | RTX 4090 24GB | Hasta 31B (4-bit) |
| $2,000-4,000 | Mac Studio M2 Pro/Max 32-64GB | Todos los modelos comodamente |
| $5,000+ | Mac Studio M2 Ultra 64GB+ | Todo, sin compromisos |
| Pago por uso | A100 en la nube (~$1-2/hr) | Todo a maxima velocidad |
Mejor relacion calidad-precio: Una RTX 3060 12GB usada. Es absurdamente barata ahora y ejecuta el modelo 26B. Para la mayoria de personas, es suficiente.
Mejor opcion Mac: MacBook Pro con 36GB de memoria unificada. Ejecuta todo hasta 31B (justo a 4-bit) y ademas tienes un gran portatil para todo lo demas.
¿No necesitas local? Olvidate del hardware y usa la API de Gemma 4. Google AI Studio te da acceso gratuito sin requisitos de hardware.
Diagrama de decision rapido
- ¿Tienes 4GB de RAM? → Puedes ejecutar E2B. Ya es algo.
- ¿Tienes 8GB de RAM? → Ejecuta E4B. Es genuinamente bueno.
- ¿Tienes una GPU con 8GB+ de VRAM? → Ejecuta 26B a 4-bit. Este es el salto de calidad.
- ¿Tienes 20GB+ de VRAM? → Ejecuta 31B. IA local de primer nivel.
- ¿Nada de lo anterior? → Usa la API en la nube. No hay nada de malo en eso.
¿No sabes que tamano de modelo es el adecuado para tu caso de uso? Consulta nuestra guia de comparacion de modelos.
Siguientes pasos
- ¿Listo para instalar? Sigue nuestra guia de configuracion de Ollama
- ¿Eligiendo un modelo? Lee Gemma 4: ¿Que modelo deberia usar?
- ¿Tienes problemas? Consulta nuestra guia de solucion de problemas
- ¿Quieres saltarte la configuracion local? Prueba el enfoque por API
