如何用 Gemma 4 分析圖片（多模態指南）

大多數 Gemma 4 教學只展示如何將它用於文字。但重點是——多模態是 Gemma 4 相對於之前版本最大的升級。每個 Gemma 4 模型都能理解圖片，較小的 E2B/E4B 模型甚至能處理音訊。如果你沒有在傳送圖片給 Gemma 4，你只用了一半的模型。

讓我們修正這個。

Gemma 4 能「看到」什麼？

Gemma 4 的視覺能力涵蓋很多領域：

照片 — 描述場景、識別物件、讀取標誌
截圖 — 提取文字、分析 UI 佈局
圖表和圖形 — 解釋資料視覺化
文件 — 讀取印刷或掃描文字（OCR）
手寫 — 讀取手寫筆記（品質取決於可讀性）
影片影格 — 分析影片中的個別影格
示意圖 — 理解流程圖、架構圖、線框圖
程式碼截圖 — 從圖片中讀取並解釋程式碼

要理解的一件重要的事：Gemma 4 做的是圖片理解，不是圖片生成。它可以看一張圖片並告訴你裡面有什麼，但它不能創造圖片。如果你想要圖片生成，那是完全不同的模型（像 Imagen）。

透過 Ollama CLI 傳送圖片

如果你有 Ollama 在本機執行，傳送圖片超級簡單：

ollama run gemma4 "Describe this image in detail" --image /path/to/photo.jpg

多張圖片也行：

ollama run gemma4 "Compare these two screenshots" --image before.png --image after.png

就這樣。一個旗標。Ollama 在背後處理編碼和其他一切。

透過 API 傳送圖片（Python）

要以程式方式使用，你需要將圖片 base64 編碼並包含在 API 呼叫中。以下是用 Ollama 本機 API 的做法：

import requests
import base64

# 讀取並編碼圖片
with open("screenshot.png", "rb") as f:
    image_data = base64.b64encode(f.read()).decode("utf-8")

response = requests.post("http://localhost:11434/api/generate", json={
    "model": "gemma4",
    "prompt": "What text is visible in this screenshot?",
    "images": [image_data],
    "stream": False
})

print(response.json()["response"])

搭配圖片使用 Chat API

用於關於圖片的多輪對話：

import requests
import base64

with open("chart.png", "rb") as f:
    image_data = base64.b64encode(f.read()).decode("utf-8")

response = requests.post("http://localhost:11434/api/chat", json={
    "model": "gemma4",
    "messages": [
        {
            "role": "user",
            "content": "What trends do you see in this chart?",
            "images": [image_data]
        }
    ],
    "stream": False
})

print(response.json()["message"]["content"])

使用 Google AI Studio SDK

import google.generativeai as genai
from pathlib import Path

genai.configure(api_key="YOUR_API_KEY")
model = genai.GenerativeModel("gemma-4-27b-it")

image = genai.upload_file(Path("diagram.png"))
response = model.generate_content([
    "Explain this architecture diagram. What are the main components and how do they connect?",
    image
])

print(response.text)

更多 API 選項，查看我們的完整 API 教學。

5 個實用使用場景（含範例提示詞）

1. OCR：從截圖提取文字

Extract all visible text from this screenshot. Format it as plain text, preserving the layout as much as possible.

這對 App 截圖、網頁、收據和名片效果出奇地好。它對非常小的文字或不尋常的字型不完美，但對大多數使用場景能完成任務。

2. 圖表與資料分析

Analyze this chart. What type of chart is it? What are the key data points? What trends or patterns do you notice? Summarize the main takeaway in one sentence.

Gemma 4 可以讀取長條圖、折線圖、圓餅圖和散佈圖。它會識別軸、標籤和大約值。很適合快速理解資料視覺化而不用挖原始資料。

3. UI 設計審查

Review this UI screenshot as a UX designer. Identify: 1) Visual hierarchy issues, 2) Accessibility concerns (contrast, text size), 3) Layout inconsistencies, 4) Suggestions for improvement. Be specific and reference exact elements.

這是個真正有用的工作流程。丟進你 App 的截圖就能得到快速的設計評論。它會抓到像是對比度差、間距不一致和不明確的 CTA 等問題。

4. 照片描述（無障礙）

Write a detailed alt-text description for this image suitable for screen readers. Include: the main subject, setting, colors, mood, and any text visible. Keep it under 150 words.

適合為網站生成 alt 文字。它不能替代關鍵內容的手寫描述，但適合批量處理。

5. 手寫筆記轉寫

Transcribe the handwritten text in this image. If any words are unclear, indicate them with [unclear]. Preserve the original structure (bullet points, numbered lists, etc.).

品質嚴重取決於手寫。乾淨的印刷風格字跡效果不錯。凌亂的草寫？難說。但即使不完美的轉寫也比重新打字快。