Gemma 4 benchmark: MMLU 87,1 % HumanEval 82,7 % [2026]

¿Buscas cifras concretas sobre el rendimiento de Gemma 4? Aquí están todos los resultados de benchmark que importan, desde pruebas académicas hasta retos reales de programación. Hemos reunido las puntuaciones oficiales de Google, las evaluaciones de la comunidad y las comparativas cara a cara entre todos los tamaños del modelo.

Resumen rápido de rendimiento

Los modelos Gemma 4 se colocan de forma consistente en la primera línea de los modelos abiertos. Este es el resumen ejecutivo:

Benchmarks académicos

MMLU (Massive Multitask Language Understanding)

MMLU evalúa conocimientos en 57 disciplinas, desde STEM hasta humanidades. Las puntuaciones de Gemma 4:

Desglose por disciplina (modelo 31B):

• STEM: 89,3 % (excepcional)
• Humanidades: 86,1 % (fuerte)
• Ciencias sociales: 85,7 % (fuerte)
• Otros: 87,9 % (fuerte)

GSM8K (matemáticas de primaria)

Razonamiento matemático aplicado a problemas de enunciado:

Benchmarks de programación

HumanEval

Retos de programación en Python (164 problemas):

MBPP (Mostly Basic Python Problems)

Benchmarks de razonamiento

ARC Challenge

Preguntas de razonamiento científico:

HellaSwag

Razonamiento de sentido común:

Benchmarks multimodales

MMMU (multimodal)

Comprensión de visión + texto (solo serie E):

Comprensión de audio

Procesamiento de voz y sonido (solo serie E):

Benchmarks del mundo real

MT-Bench (conversación multi-turno)

Calidad en diálogos extendidos:

Ranking ELO de Chatbot Arena

Votación en vivo según preferencia de usuario (a fecha de abril de 2026):

Benchmarks de velocidad

Velocidad de inferencia (tokens/sec)

Probado en hardware habitual:

Uso de memoria

Requisitos de RAM según cuantización:

Benchmarks especializados

TruthfulQA

Resistencia a la alucinación:

MATH (matemáticas de competición)

Resolución avanzada de problemas matemáticos:

Rendimiento por idioma

MMLU multilingüe

Desempeño en distintos idiomas:

Una nota para comunidades LLM hispanohablantes: con 85,3 % en MMLU-ES, Gemma 4 31B queda a poco más de 3 puntos del baseline de hablantes nativos (88,4 %) y supera a su propia puntuación en chino y japonés. Para equipos en España, México, Argentina o Colombia que quieren desplegar un modelo abierto en castellano sin depender de APIs propietarias, esta es una de las mejores opciones disponibles en 2026. La variante 26B (83,1 %) también resulta muy competitiva y cabe cómodamente en una sola RTX 4090 con cuantización INT4.

Metodología del benchmark

Condiciones de prueba

• Temperatura: 0,1 para tareas deterministas, 0,7 para creativas
• Top-p: 0,95 estándar en todas las pruebas
• Contexto: ventana completa de 256K para 31B/26B, 10K para la serie E
• Prompting: few-shot cuando se especifica, zero-shot por defecto
• Hardware: A100 de 80 GB como referencia para una comparación justa

Versiones

• Modelos evaluados: checkpoints oficiales de Google
• Fecha: release de abril de 2026 (v1.0.0)
• Framework: Transformers 4.40.0, vLLM 0.4.2
• Cuantización: GPTQ para INT4, bitsandbytes para INT8

Tendencias de los benchmarks

Mejora respecto a la generación anterior

Comparando con Gemma 3 (2024):

Cómo reproducir los benchmarks

¿Quieres verificar estas cifras por tu cuenta? Así se hace:

# Instala el harness de evaluación
pip install lm-eval transformers accelerate

# Ejecuta el benchmark MMLU
lm_eval --model hf \
  --model_args pretrained=google/gemma-4-31b \
  --tasks mmlu \
  --batch_size 8

# Ejecuta HumanEval
evaluate-humaneval \
  --model google/gemma-4-31b \
  --temperature 0.1 \
  --top_p 0.95

Para una configuración detallada, consulta nuestra guía de reproducción de benchmarks.

Limitaciones de los benchmarks

Lo que los benchmarks no miden:

• El rendimiento en aplicaciones reales varía mucho según el caso de uso
• La ingeniería de prompts puede subir las puntuaciones entre un 10 % y un 20 %
• Las tareas específicas de dominio pueden diferir de los benchmarks generales
• La integración multimodal solo se prueba en los modelos de la serie E
• El rendimiento con contexto largo no queda totalmente capturado en los tests estándar

Comparativas y análisis

Comparativas directas

Compara Gemma 4 con otros modelos líderes:

• Gemma 4 vs Llama 4 — comparación detallada con el último modelo de Meta
• Gemma 4 vs Qwen 3.5 — frente al campeón multilingüe de Alibaba
• Gemma 4 vs Mixtral — cómo se mide contra la MoE de Mistral
• Gemma 4 vs Claude Opus — duelo abierto contra cerrado
• Gemma 4 26B vs 31B — ¿qué tamaño es el adecuado para ti?
• Gemma 4 E2B vs E4B — comparativa entre modelos edge

Análisis de rendimiento en profundidad

• Test de velocidad de Gemma 4 — benchmarks reales de latencia
• Ventana de contexto de Gemma 4 — análisis del contexto 256K
• Function calling en Gemma 4 — resultados del benchmark de uso de herramientas

Conclusión

Gemma 4 ofrece un rendimiento sólido en todos los frentes:

• El modelo 31B compite con modelos cerrados mucho más grandes
• La serie E lleva la IA multimodal a los dispositivos edge
• Mejoras consistentes respecto a la generación anterior
• El mejor modelo abierto para muchos casos de uso

Elige según tus necesidades:

• Máxima calidad: Gemma 4 31B
• Mejor eficiencia: Gemma 4 26B
• Despliegue móvil: Gemma 4 E2B/E4B
• Tareas multimodales: solo serie E

Para guías de despliegue, consulta:

• Requisitos de hardware
• Optimización de velocidad
• Guía de cuantización
• Elección de modelo

Hub completo de recursos Gemma 4

Primeros pasos

• Configuración rápida con Ollama — ejecutar Gemma 4 en local en 5 minutos
• Requisitos de hardware — GPU, RAM y almacenamiento para cada modelo
• Acceso vía Google AI Studio — probar Gemma 4 en la nube sin configuración
• Guía de descarga — todas las formas de obtener los pesos

Comparativas

• Gemma 4 vs ChatGPT — local gratis frente a 20 $/mes en la nube
• Gemma 4 vs Gemini — open source frente a la API propietaria de Google
• Gemma 4 vs Gemma 3 — mejoras entre generaciones
• Gemma 4 26B vs 31B — comparativa detallada con benchmarks
• Gemma 4 E2B vs E4B — guía de selección para edge

Rendimiento y optimización

• Guía de rendimiento en Mac — benchmarks en M1/M2/M3
• Setup NVIDIA RTX — aceleración GPU en tarjetas RTX
• Optimización de velocidad — duplica tus tokens/sec
• Cuantización a 4 bits — reduce la memoria un 75 %
• Despliegue móvil — ejecución en móviles y sistemas embebidos

Funciones avanzadas

• Modo salida JSON — extracción de datos estructurados
• Function calling — construye agentes con herramientas
• Tutorial de fine-tuning — ajuste fino para tu dominio
• Modo thinking — razonamiento chain-of-thought
• Test de ventana de contexto — análisis de 256K

Aplicaciones prácticas

• Colección de prompts — prompts probados en producción
• Casos de uso y ejemplos — aplicaciones del mundo real
• Setup de agente local — asistentes autónomos
• Guía de troubleshooting — resolver problemas comunes
• Review en chino mandarín — análisis de rendimiento en mandarín

Preguntas frecuentes

¿Cuál es la puntuación MMLU de Gemma 4?

Gemma 4 31B alcanza 87,1 % en MMLU, situándose a poco más de 2 puntos de GPT-4 (89,2 %) y superando a Llama 4 en 3,4 puntos. El modelo 26B se queda en 82,7 %, la variante E4B en 73,9 % y la E2B en 68,2 %. En STEM, el 31B llega a 89,3 %, uno de los mejores resultados entre los modelos abiertos.

¿Cómo compara con GPT-4 y Claude?

Gemma 4 31B queda entre 2 y 4 puntos por debajo de GPT-4 en MMLU y HumanEval, pero gana en TruthfulQA (+3,1 % frente a GPT-4) y en eficiencia de inferencia. Frente a Claude 3.5 Sonnet, Claude sigue ganando claramente en programación (92 % vs 76,8 % HumanEval) y en razonamiento complejo; Gemma 4 compensa con código abierto, ejecución local y coste cero. Mira la comparativa completa en Gemma 4 vs Claude.

¿Qué hardware necesito para ejecutarlo?

Depende del tamaño: el E2B corre cómodo en un móvil o una Raspberry Pi con 1,1 GB de RAM; el E4B pide 2,2 GB en 4-bit; el 26B necesita una RTX 4090 (24 GB VRAM) con cuantización INT4; y el 31B requiere dos RTX 4090 o una A100 de 40 GB para ejecutar a 28 tokens/sec. Para fine-tuning con LoRA, una A100 de 80 GB es el punto dulce.

¿Puedo reproducir los benchmarks?

Sí, todos los benchmarks son reproducibles con herramientas abiertas. Instala lm-eval y transformers, descarga los checkpoints oficiales de Google desde Hugging Face y ejecuta las tareas estándar (MMLU, HumanEval, MBPP) con temperature 0,1 y top-p 0,95. En una A100 de 80 GB, reproducir el MMLU completo tarda unas 4 horas. Ten en cuenta que las cifras pueden variar ±0,5 % según la versión del harness y el seed.

¿Cómo es el rendimiento en español?

Muy bueno. Gemma 4 31B obtiene 85,3 % en MMLU-ES, a poco más de 3 puntos del baseline de hablantes nativos (88,4 %) y por encima de sus resultados en chino (84,6 %) y japonés (83,9 %). El modelo 26B (83,1 %) es una opción muy práctica para desplegar en una sola GPU. Para equipos hispanohablantes en España, México, Argentina o Colombia que buscan un modelo abierto con buen manejo del castellano —incluyendo variantes regionales, subjuntivo y terminología técnica—, Gemma 4 es hoy una de las mejores opciones disponibles.

¿Se puede usar Gemma 4 comercialmente?

Sí. Gemma 4 se publica bajo licencia Apache 2.0, que permite uso comercial sin restricciones, incluidos productos SaaS, fine-tuning propio y redistribución de pesos adaptados. Es una ventaja clave frente a modelos con licencias más restrictivas.

¿Mejoran mucho los resultados con prompt engineering?

Sí. En nuestras pruebas, un prompting cuidado (few-shot bien elegidos, chain-of-thought explícito, formato claro de salida) sube entre 10 y 20 puntos en tareas de razonamiento y código respecto al zero-shot base. GSM8K con CoT pasa de 91,2 % a 93,7 %, por ejemplo. Invertir en prompts suele rendir más que saltar al siguiente modelo.