就在昨天，谷歌正式发布了迄今为止最智能的开源大模型 —— Gemma 4。这次发布可以说在AI圈引发了不小的轰动，因为它主打两个关键词：

• 本地运行
• 多模态能力

一经上线，评价普遍非常高，甚至被认为是当前最值得关注的开源模型之一。

 一、Gemma 4 有哪些版本？

这次谷歌一共推出了 4个不同规模的模型版本，覆盖从手机到高端GPU的全场景使用。

 轻量级（移动端 / IoT）

• 2B（20亿参数）
• 4B（40亿参数）

 特点：

• 更低延迟
• 强调多模态能力
• 可运行在手机甚至物联网设备上

高性能（本地GPU）

• 26B（专家混合模型）
• 31B（稠密模型）

 特点：

• 支持复杂推理
• 可用于编程助手、Agent系统
• 完全支持离线运行

 二、性能到底有多强？

谷歌表示：
Gemma 4 在“单位参数智能水平”上达到了前所未有的高度。

在 Arena-Hard 排行榜中：

• 31B → 排名第3
• 26B → 排名第6

甚至超过了一些规模大20倍的模型。

这意味着：
效率 > 参数量，真正实现“小模型干大事”

三、核心能力一览

Gemma 4 不只是一个文本模型，它已经是一个完整的 AI 系统能力集合：

多模态能力

• 图像识别（OCR）
• 视频理解
• 音频输入（小模型支持）

编程能力

• 离线代码生成
• Web开发支持
• 自动生成 Docker 配置

 Agent能力

• 自动任务执行
• 工具调用
• 工作流自动化

 多语言支持

• 支持 140+ 语言

隐私 & 本地化

• 完全离线运行
• 数据不上传云端
• 更适合企业/个人隐私场景
• 可以轻松对接 OpenClaw 小龙虾进行使用

四、开源协议（重点）

Gemma 4 使用的是：

Apache 2.0 协议

意味着：

• 免费商用
• 可修改
• 可二次开发
• 可私有部署

这一点对开发者来说非常重要

五、本地部署配置要求

根据官方说明，不同版本对显存要求如下：

举个例子：

• RTX 4090（24GB） 可以运行 26B / 31B 量化版

六、如何本地安装（Ollama方式）

推荐使用：Ollama

第一步：下载 Ollama

【点击前往】

进入官网下载安装（支持）：

• Windows
• Mac
• Linux

第二步：下载 Gemma 4 模型

【HuggingFace】、【Ollama】或 下载满血版【模型打包下载】

安装  Ollama 后在CMD终端下执行：

ollama run gemma4

或者选择适合你显卡的版本（非常重要）

第三步：对接OpenClaw

在Powershell下以管理员身份运行：

powershell -c "irm https://openclaw.ai/install.ps1 | iex"

ollama launch openclaw

curl -fsSL https://claude.ai/install.cmd -o install.cmd && install.cmd && del install.cmd

curl -fsSL https://claude.ai/install.sh | bash

ollama launch claude

 七、实测效果展示

根据实际测试，Gemma 4 表现非常亮眼：

1. 逻辑推理能力

输入问题：

为什么端口映射后外网无法访问？

模型可以：

• 自动分析网络结构
• 找出逻辑矛盾
• 给出排查步骤

 推理能力非常稳定

 2. 图像 + 编程能力

上传一张架构图，它可以：

• 自动识别系统结构
• 生成完整 Docker 部署方案

 真正做到：看图写代码

3. AI生成游戏

仅通过一张截图：

 自动生成一个可运行的小游戏

测试结果：

• 游戏可运行
• 有完整逻辑
• 体验流畅

 4. Agent自动化能力

结合工具后可以实现：

• 自动抓取新闻
• 自动翻译
• 自动生成博客（Markdown）

 已接近自动内容生产系统

 八、使用建议（非常重要）

根据你的显卡来选模型：

• 8GB 显存 选择小模型
• 12GB 中等量化版
• 24GB 推荐 26B 或 31B

 不要盲目上最大模型，否则会：

• 卡顿严重
• 推理速度慢

 九、总结

这次 Gemma 4 的发布，可以说是：

 开源AI的一次重大突破

它带来的核心变化是：

• 更强推理
• 真正多模态
• 完全本地运行
• 原生支持Agent

 一句话总结

如果你想要一个能本地运行、性能强、还能做自动化工作的AI模型，Gemma 4 是目前最值得尝试的选择之一。

就在 2026 年 4 月 2 日，Google DeepMind 悄悄丟出一顆震撼彈——Gemma 4 正式 […]

這篇文章 Google 剛發布！Gemma 4 完整介紹 + 用 Ollama 在自己電腦跑起來教學（2026 最新） 最早出現於 軟體玩家。

如果你想打造一个完全本地运行、无需 API Key、可接入微信的 AI 助手系统，这套方案可以说是目前最香的组合之一：Hermes Agent + WebUI + Ollama + Gemma 4 ,不仅免费，而且隐私可控、可扩展性极强，非常适合做自动化助手、私域 AI、甚至商业化探索。

一、整体架构说明

先快速理解一下整体结构：

• Ollama + Gemma 4  本地大模型推理
• Hermes Agent  AI Agent 调度核心
• Hermes WebUI  可视化操作界面
• 微信接入  实现真实应用场景

二、下载本地模型（Ollama + Gemma 4）

首先，我们需要准备本地大模型环境。

 安装 Ollama

官网安装： 【点击前往】 下载最新版

安装完成后，拉取 Gemma 4 模型：

ollama run gemma4

（你也可以选择更大版本，比如 26B / 31B，看你电脑配置）

获取 API 地址

Ollama 默认会启动本地服务：http://127.0.0.1:11434

但 Hermes Agent 需要用你局域网 IP来访问。

在 CMD 输入：

ipconfig

找到类似： IPv4 地址 . . . . . . . . . . . : 192.168.1.228

那么你的 API 地址就是： http://192.168.1.228:11434/v1

这个地址非常关键，后面要填到 Hermes 配置里！

三、部署 WSL 2（Linux 子系统）

Hermes Agent 官方推荐 Linux 环境，这里我们用 WSL2。

前期准备：

在开始之前，建议大家安装下 Windows Terminal，它是一款新式、快速、高效、强大且高效的Windows 的终端程序，适用于命令行工具和命令提示符，PowerShell和 WSL 等 Shell 用户。可以方便我们切换不同的系统！

【点击下载】

一、安装 WSL2

在 PowerShell（管理员）执行：

安装完成后重启电脑，然后安装Ubuntu，

检查版本：

确保输出结果是：WSL2

四、部署 Hermes Agent + UI

进入 Ubuntu 后，开始核心部署。

 安装 Hermes Agent

curl -fsSL https://raw.githubusercontent.com/NousResearch/hermes-agent/main/scripts/install.sh | bash

安装完成后，可以执行：

hermes doctor

检查环境是否正常。

 安装 Hermes WebUI

git clone https://github.com/nesquena/hermes-webui.git hermes-webui
cd hermes-webui
./start.sh

启动后，一般访问：

http://127.0.0.1:8787

即可打开 UI 页面 🎉

Mac 系统一键部署命令:

git clone https://github.com/nesquena/hermes-webui.git hermes-webui
cd hermes-webui
python3 bootstrap.py

引导程序将：

1. 检测 Hermes Agent，如果缺少，则尝试使用官方安装程序（curl -fsSL https://raw.githubusercontent.com/NousResearch/hermes-agent/main/scripts/install.sh | bash）。
2. 查找或创建包含 WebUI 依赖项的 Python 环境。
3. 启动 Web 服务器并等待/health。
4. 除非通过验证，否则请打开浏览器--no-browser。
5. 将您直接导入 WebUI 中的首次运行引导向导。

五、配置 Hermes 对接本地 Gemma 4

运行：

hermes setup

进入配置界面后：

关键配置项：

• Model Provider：选择 OpenAI Compatible
• Base URL：填入你的 Ollama 地址

http://192.168.1.228:11434/v1

• Model Name：

gemma4

如果提示上下文不足（比如你之前遇到的 8K 限制问题）：

可以修改：

model:
  context_length: 8192

或者换更大的模型。

六、Hermes Agent 对接微信（重点）

 进入配置

hermes setup

 选择微信接入

找到：

messaging platforms

选择：

weixin / wechat

扫码登录

系统会弹出二维码：

用微信扫码登录即可完成绑定

 完成效果

完成后你就拥有：

• 一个微信 AI 助手
• 基于本地模型（无需 API）
• 可执行自动化任务（Agent能力）

七、最终效果展示

部署完成后，你的系统具备：

本地 AI（Gemma 4）
可视化 UI 管理
微信实时对话
无需 Token / 无费用
完全私有化部署

八、常见问题（避坑指南）

1. 模型上下文不足报错

错误示例：

context window too small

解决：

• 换更大模型（如 7B+）
• 或手动设置 context_length

2. Ollama 无法被访问

检查：

• 是否用的是 127.0.0.1（）
• 是否改为局域网 IP（）

3. WebUI 无法打开

尝试：

./start.sh

或者检查端口占用。

4. 微信掉线问题

这是微信协议限制，建议：

• 保持 Hermes 常驻运行
• 避免频繁重启

九、总结

这套方案的核心价值在于：

零成本 + 本地化 + 可扩展 AI Agent

相比传统 OpenAI API 方案：

• 不用花钱
• 不怕封号
• 数据更安全

如果你做：

• 私域流量运营
• 自动客服
• AI 工具开发

这套架构非常值得你深入研究。

最近，llama.cpp 又迎来了一次非常重要的更新。对于经常在 Windows 上折腾本地 AI 大模型的用户来说，这次更新可以说相当实用。

因为现在官方已经开始真正意义上的：“降低 Windows 本地 AI 的使用门槛”！

以前很多人第一次接触本地大模型，最头疼的其实不是模型本身，而是各种环境问题：

• CUDA 版本不匹配
• DLL 缺失
• 驱动不兼容
• CMake 编译失败
• 环境变量错误
• Vulkan / HIP 配置复杂
• Windows 编译过程报错

尤其很多新手，教程还没看完，就已经被环境问题劝退了。

但现在不一样了。

在 llama.cpp 最新发布的 b9196 版本中，官方已经直接提供了多种 Windows 预编译版本，很多情况下已经可以做到：下载 → 解压 → 双击运行！这对于 Windows 本地 AI 用户来说，绝对算是一件好事。

llama.cpp 是什么？

llama.cpp 官方 GitHub 是目前最流行的本地 GGUF 模型推理框架之一。

官方下载：【点击前往】 或 【网盘下载】、【整合下载】

很多大家熟悉的本地模型，其实都可以通过 llama.cpp 运行：

• Qwen
• Llama
• DeepSeek
• Gemma
• Hermes
• Dolphin
• Mistral
• Mixtral

尤其现在 GGUF 生态越来越成熟，很多模型都会第一时间发布 GGUF 量化版本。

视频教程：

而 llama.cpp 最大的优势就是：

轻量
跨平台
支持 GPU
支持 CPU
支持 GGUF

而且现在甚至已经支持：

多模态
图片理解
Vision 模型
OpenAI 风格 API
网页聊天界面

llama.cpp 最新 Windows 版本支持什么？

目前官方 Release 页面已经直接提供：

• Windows x64 CPU
• Windows x64 CUDA 12.4
• Windows x64 CUDA 13.1
• Windows x64 Vulkan
• Windows x64 HIP Radeon
• Windows x64 SYCL
• Windows ARM64 CPU

这意味着：

NVIDIA 用户

可以直接选择：CUDA 12.4 或者 CUDA 13.1

如果你是：

• RTX 3060
• RTX 4060
• RTX 4070
• RTX 4080
• RTX 4090

基本建议优先 CUDA。

AMD 用户

现在终于不用完全依赖 ROCm 了。

你可以：HIP 或者 Vulkan

很多情况下，Vulkan 反而比 HIP 更稳定。

Intel 用户

现在 Intel 核显、Arc 独显也终于有得玩了。

可以尝试：SYCL 或者 Vulkan

虽然性能和 NVIDIA 还有差距，但已经能正常跑很多 GGUF 小模型。

如何启动 GGUF 模型？

例如：gemma-4-31b-jang-crack-Q4_K_M.gguf

启动方式其实非常简单。

进入 llama.cpp 目录：

llama-server.exe -m models\你的模型.gguf -ngl 999

其中：-ngl 999 代表尽量把模型全部加载到 GPU。

启动成功后，浏览器打开：http://127.0.0.1:8080

即可进入网页聊天界面。

如何启动 GGUF 多模态视觉模型？

加载视觉模型需要2个文件，一个是主模型文件，另外一个就是 mmproj 视觉模型加载文件

目前支持较好的包括：

Qwen2-VL / Qwen2.5-VL

目前中文视觉能力最强之一：

• OCR
• 截图理解
• 网页识别
• 中文图片问答

表现都非常强。

主模型下载：【点击前往】或 【网盘下载】、【备用下载】

比如我让它给做视频封面的点击率测试，居然可以做到100%正确！当然它的功能远不止这些…….

多模态模型启用：

llama-server.exe -m "models\主模型.gguf" --mmproj "models\mmproj视觉模型.gguf" -ngl 999

无审查模型：

1、Llama3-8b-DarkIdol 是比较热门的无审查的开源大模型

支持中文、日文和英语，非常适合角色扮演。

模型下载：【点击前往】或 【打包下载】打包版下载即可使用无需合并转换格式

下载合并为GGUF模型格式

huggingface-cli download aifeifei798/llama3-8B-DarkIdol-2.3-Uncensored-32K --local-dir DarkIdol-HF --local-dir-use-symlinks False

然后用 llama.cpp 转 GGUF：

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
pip install -r requirements.txt

python convert_hf_to_gguf.py ../DarkIdol-HF --outtype f16 --outfile ../DarkIdol-F16.gguf

需要量化成 Q4_K_M的话可以命令：

llama-quantize.exe ../DarkIdol-F16.gguf ../DarkIdol-Q4_K_M.gguf Q4_K_M

2、Gemma-4-31b-jang-crack-Q4_K_M 是 Google 开源的无审查大模型

这是一个在本地跑：听话、高效、不乱加道德判断的AI

• 推理能力扎实：在数学和代码相关任务上表现突出，尤其长上下文处理（原生支持128K，部分可扩展到256K）。你甚至可以把整个项目代码库或一本技术手册一次性喂给它，它不会轻易“失忆”。
• 参数效率高：
  26B MoE版本激活参数不多，跑起来相对轻快，在很多基准上效率比同级别模型更好。
• 开源友好：
  Apache 2.0协议，允许修改、商用和二次分发，这对想自己折腾或做副业的朋友来说非常实用。

官方版的主要问题是安全对齐层比较厚，很多正常的技术探讨或创意场景容易被挡住。越狱版通过社区技术（abliteration等）移除了这部分限制，保留了绝大部分原始能力。

模型下载：【点击前往】或 【打包下载】、【备用下载】

更多越狱模型：

1、Hermes-3 【点击下载】

2、Qwen 越狱模型【点击下载】

3、Deepseek 越狱模型【点击下载】

多种模态自由切换运行：

如果我们同时下载了多种不同的模型，为了方便统一管理，在运行的时候我们可以使用零度的这个脚本，来实现多模型自由切换运行，注意将里面的模型名称改成你自己的！

@echo off
chcp 65001 >nul
cd /d C:\Users\LINGDU\Desktop\llama-b9196-bin-win-cuda-13.1-x64

echo 请选择模型：
echo 1. Gemma 31B
echo 2. Qwen VL 多模态
echo 3. DeepSeek

set /p choice=输入数字：

if "%choice%"=="1" llama-server.exe -m "models\gemma-4-31b-jang-crack-Q4_K_M.gguf" -ngl 999
if "%choice%"=="2" llama-server.exe -m "models\Qwen2.5-VL-7B-Instruct-Q4_K_M.gguf" --mmproj "models\mmproj-BF16.gguf" -ngl 999
if "%choice%"=="3" llama-server.exe -m "models\deepseek.gguf" -ngl 999

pause

将上方的命令保存到文本文档里，另存为的时候选择utf-8格式，最后将txt后缀改成bat即可！双击运行即可看到下方的选项

输入模型对应的数字就可以成功启动模型

1、安装 OpenAI Codex

下载方式：【点击前往】 或 【备用下载】

如果你下载的是macOS版，注意选择intel 、M 芯片

2、安装新版 Ollama

目前只有最新版Ollama 0.24 版本才完全适配Codex，所以如果你安装的是旧版ollama，一定要将其升级到最新版

下载方式：【点击前往】 或 【备用下载】

3、下载模型：

在4B~40B消费级显卡能跑的开源模型，首推 Qwen3.6 以及 谷歌的 Gemma 4 开源模型，因为无论是模型智力、代码编写、逻辑推理、中文理解等方面，这两款模型的综合评分都是数一数二的！

Qwen3.6 开源模型

安装命令：

ollama run qwen3.6
ollama run qwen3.6:27b

mac 电脑上请选择mlx结尾的适配版

ollama run qwen3.6:27b-mlx
ollama run qwen3.6:35b-mlx

Qwen 3.6 其它尺寸的模型 【获取链接】

Qwen 3.6 越狱版模型： 【点击下载】

Gemma 4 开源模型

安装命令：

ollama run gemma4
ollama run gemma4:26b
ollama run gemma4:31b

mac 电脑可选模型

ollama run gemma4:e2b-mlx
ollama run gemma4:e4b-mlx
ollama run gemma4:26b-mlx

Gemma 4 其它尺寸模型：【获取链接】

Gemma 4 越狱版模型：【点击下载】

4、对接命令：

ollama launch codex-app

注意：如果需要使用之前的模型，可以通过下方的命令进行恢复：

ollama launch codex-app --restore

【更强玩法】通过 llama.cpp 对接 Codex 加载越狱版模型

1、修改Codex的配置文件：

model = "Qwen3.6-27B-UD-Q5_K_XL.gguf"
model_reasoning_effort = "low"
profile = "llamacpp-codex"

model_provider = "llamacpp"

[profiles.llamacpp-codex]
model = "Qwen3.6-27B-UD-Q5_K_XL.gguf"
model_provider = "llamacpp"
model_reasoning_effort = "low"

[profiles.llamacpp-codex.windows]
sandbox = "elevated"

[model_providers.llamacpp]
name = "llama.cpp"
base_url = "http://127.0.0.1:8080/v1/"
wire_api = "responses"

[windows]
sandbox = "elevated"

2、llama.cpp 的启动命令:

llama-server.exe ^
-m "models\Qwen3.6-27B-UD-Q5_K_XL.gguf" ^
-ngl 999 ^
-c 16384 ^
-n 2048 ^
-fa on ^
--jinja ^
--host 127.0.0.1 ^
--port 8080

里面的模型改成你自己的