Google Gemma 4 12B 正式发布！12B 参数实现多模态（图片+音频）与 256K 超长上下文。本文分享消费级显卡本地部署方法、llama.cpp 启动脚本及实测体验，适合注重隐私的用户。

Google DeepMind 最新开源力作 Gemma 4 12B 已正式发布。这款仅 120 亿参数 的模型在推理能力、多模态支持和上下文长度上表现出色，成为当前最值得本地部署的开源大模型之一。

无论是追求数据隐私，还是希望在 RTX 3060 / 4060 等消费级显卡上运行多模态 AI，Gemma 4 12B 都是极佳选择。本文详细整理核心亮点 + 完整部署教程 + 智能启动脚本，助你快速上手。

Gemma 4 12B 核心亮点

1. 多模态能力（Text + Vision + Audio）

• 支持图片理解：分析照片、截图、图表
• 支持音频理解：总结语音、视频对话
• 多模态推理：结合图文音频完成复杂任务

2. 超长上下文支持 最高支持 256K Context，适合处理整本电子书、大型 PDF、完整代码库等长文档。

3. 优秀硬件兼容性 量化后可在消费级显卡上高效运行。

推荐显存配置表：

显存容量	推荐量化版本	适用场景
8GB	IQ2_XS	基础文本任务
12GB	Q4_K_M	日常多模态推荐
16GB	Q6_K	性能与质量平衡
24GB+	Q8_0 / BF16	高质量输出（4090 推荐）

部署教程（Windows + llama.cpp）

步骤 1：下载模型文件

• 下载 Gemma 4 12B 主模型（GGUF 格式，不同量化版本）
• 多模态使用需额外下载 mmproj 视觉/音频投影模型
• 建议从原文章提供的网盘或官方渠道获取最新文件

步骤 2：准备 llama.cpp

1. 下载最新版 llama.cpp 并解压
2. 创建 models 文件夹
3. 将主模型和 mmproj 文件放入 models 目录

步骤 3：创建智能启动脚本（推荐）

新建 Gemma4-启动.bat 文件，内容如下（UTF-8 编码）：

@echo off
chcp 65001 >nul
title Gemma 4 启动器

:menu
cls

echo.
echo ==========================================
echo           Gemma 4 智能启动菜单
echo ==========================================
echo.
echo 【纯文本模式】
echo.
echo 1. 6GB显存   (Gemma 4 4B Q4)
echo 2. 8GB显存   (Gemma 4 12B IQ2)
echo 3. 12GB显存  (Gemma 4 12B Q4)
echo 4. 16GB显存  (Gemma 4 12B Q6)
echo 5. 24GB显存  (Gemma 4 12B Q8)
echo.
echo 【图片理解模式】
echo.
echo 6. 12GB显存 + 图片理解
echo 7. 16GB显存 + 图片理解
echo 8. 24GB显存 + 图片理解
echo.
echo 【极限模式】
echo.
echo 9. BF16视觉模式 (4090/5090推荐)
echo.
echo 0. 退出
echo.

set /p choice=请选择模式：

if "%choice%"=="1" goto VRAM6
if "%choice%"=="2" goto VRAM8
if "%choice%"=="3" goto VRAM12
if "%choice%"=="4" goto VRAM16
if "%choice%"=="5" goto VRAM24
if "%choice%"=="6" goto MM12
if "%choice%"=="7" goto MM16
if "%choice%"=="8" goto MM24
if "%choice%"=="9" goto BF16
if "%choice%"=="0" exit

goto menu

:VRAM6
cls
echo 启动 Gemma 4 4B Q4...
llama-server ^
-m models\gemma-4-4B-it-Q4_K_M.gguf ^
-ngl 999 ^
-c 8192 ^
--host 127.0.0.1
goto end

:VRAM8
cls
echo 启动 Gemma 4 12B IQ2...
llama-server ^
-m models\gemma-4-12B-it-IQ2_XS.gguf ^
-ngl 999 ^
-c 8192 ^
--host 127.0.0.1
goto end

:VRAM12
cls
echo 启动 Gemma 4 12B Q4...
llama-server ^
-m models\gemma-4-12B-it-Q8_0.gguf ^
-ngl 999 ^
-c 186753 ^
--host 127.0.0.1
goto end

:VRAM16
cls
echo 启动 Gemma 4 12B Q6...
llama-server ^
-m models\gemma-4-12B-it-Q6_K.gguf ^
-ngl 999 ^
-c 32768 ^
--host 127.0.0.1
goto end

:VRAM24
cls
echo 启动 Gemma 4 12B Q8...
llama-server ^
-m models\gemma-4-12B-it-Q8_0.gguf ^
-ngl 999 ^
-c 186753 ^
--host 127.0.0.1
goto end

:MM12
cls
echo 启动 Gemma 4 12B Q4 多模态...
llama-server ^
-m models\gemma-4-12B-it-Q8_0.gguf ^
--mmproj models\mmproj-gemma-4-12B-it-Q8_0.gguf ^
-ngl 999 ^
-c 186753 ^
--host 127.0.0.1
goto end

:MM16
cls
echo 启动 Gemma 4 12B Q6 多模态...
llama-server ^
-m models\gemma-4-12B-it-Q6_K.gguf ^
--mmproj models\mmproj-F16.gguf ^
-ngl 999 ^
-c 32768 ^
--host 127.0.0.1
goto end

:MM24
cls
echo 启动 Gemma 4 12B Q8 多模态...
llama-server ^
-m models\gemma-4-12B-it-Q8_0.gguf ^
--mmproj models\mmproj-gemma-4-12B-it-Q8_0.gguf ^
-ngl 999 ^
-c 186753 ^
--host 127.0.0.1
goto end

:BF16
cls
echo 启动 Gemma 4 BF16 视觉模式...
llama-server ^
-m models\gemma-4-12B-it-BF16.gguf ^
--mmproj models\mmproj-gemma-4-12B-it-bf16.gguf ^
-ngl 999 ^
-c 186753 ^
--host 127.0.0.1
goto end

:end

echo.
echo ==========================================
echo 服务启动完成
echo.
echo 浏览器打开：
echo http://127.0.0.1:8080
echo ==========================================
echo.

pause

运行脚本后，浏览器访问 http://127.0.0.1:8080 即可进入 Web UI。

实测总结

• 文本与编程能力：12B 参数在多项基准测试中表现强劲
• 多模态效果：图片分析和音频总结实用性高
• 运行效率：量化版本在消费级硬件上响应快速

Gemma 4 12B 为本地开源 AI 带来了新的高性价比选择，尤其适合注重隐私和多模态需求的用户。

对于拥有 RTX 3060、4060Ti、4070、4090 等显卡的用户来说，Gemma 4 12B 都是一个非常值得体验的本地 AI 模型。如果你正在寻找一个能够兼顾性能、显存占用和多模态能力的开放模型，那么 Gemma 4 12B 值得加入你的测试清单。