Qwythos-9B 完整上手指南：一个用 Claude 数据训练出来的本地推理模型

2580 字

13 分钟

Qwythos-9B 完整上手指南：一个用 Claude 数据训练出来的本地推理模型

2026-06-25

精品软件

AI

/

本地模型

/

LM Studio

/

Windows

/

推理模型

上周 AI 社区里传开了一件事：一家叫 Empero AI 的独立研究机构，发布了一个开源模型 Qwythos-9B，并且在模型介绍页上明确写着——它的训练数据来自 Claude Mythos 和 Claude Fable 的输出。

公开承认用闭源商业模型的输出来训练开源模型，这件事本身就够刺激了，更何况 Anthropic 的服务条款明确禁止这种做法。消息一出，评论区两极分化：有人觉得这是开源社区对闭源模型护城河的一次正面冲击，也有人觉得这就是赤裸裸的条款违规。

不管你怎么看这件事，Qwythos-9B 作为一个可以本地运行的 9B 推理模型，技术参数上确实有值得关注的地方。这篇文章把它是什么、争议在哪、以及怎么在 Windows 上跑起来，一次说清楚。

Qwythos-9B 是什么#

Empero AI 是一家独立 AI 研究机构，主打开源、开放权重和开放数据集。Qwythos-9B 是他们目前的旗舰模型，基于 Qwen3.5-9B 做了全参数微调。

几个关键参数：

参数量：9.4B
上下文窗口：1,048,576 token（约 1M），通过 YaRN rope-scaling 实现，默认已启用，无需额外配置
推理模式：每条回复都会先生成一个 <think>...</think> 推理过程块，再给出最终答案
原生函数调用：兼容 Qwen3.5 规范，无需额外包装
许可证：Apache 2.0，允许商用

基准测试方面，在相同评测条件下，Qwythos 比基础的 Qwen3.5-9B 高出 34 分 MMLU、30 分 gsm8k-strict、19 分 gsm8k-flex。这个提升幅度对一个 9B 模型来说不算小。

争议在哪里#

模型卡上明确写着：训练数据包含超过 5 亿 token 的 Claude Mythos 和 Claude Fable 输出，以及 Empero AI 自研工具 rethink 生成的思维链数据。

问题就在这里。Anthropic 的服务条款禁止将 Claude 的输出用于训练竞争模型。Empero AI 不仅这么做了，还把这件事写进了官方模型卡，等于公开声明了。

这件事引发的核心问题不是 Qwythos 好不好用，而是一个更宏观的行业问题：用闭源商业模型生成合成数据来训练开源模型，在法律和伦理层面到底站不站得住脚？目前没有明确的法律判例，但这条路会走向哪里，值得持续关注。

如果你对训练数据来源有顾虑，选择是否使用这个模型之前应该知道这件事。

安装前先确认你的硬件#

Qwythos-9B 对硬件的要求和其他 9B 模型基本一致。

FP16 全精度需要约 21GB VRAM，普通消费级显卡跑不了。实际使用更推荐量化版本：

Q4_K_M（推荐起点）：约 5-6GB VRAM，质量损失最小，是官方推荐的入门量化
Q8_0：约 10GB VRAM，质量更接近原始精度
纯 CPU 运行：可行，但速度会慢很多，8B 级别模型 CPU 推理通常在 1-5 token/秒

显卡参考：RTX 3060 12GB / RTX 4060 8GB 及以上运行 Q4_K_M 都没问题。

安装前有一点要特别说明#

Qwythos-9B 目前不能直接用 Ollama 的 ollama run 命令跑。

原因是 Qwen3.5 架构的 GGUF 包含独立的视觉投影文件（mmproj），Ollama 目前对这类文件的支持还不完整。如果强行用 Ollama 加载，大概率会报错或行为异常。

推荐的两条路：

LM Studio（推荐新手）：图形界面，直接从 HuggingFace 搜索下载，点几下就能跑
llama.cpp + 一键启动脚本（推荐进阶用户）：更灵活，支持视觉模型，参数可以精细控制

下面分别讲两套完整流程。

方案一：LM Studio（图形界面，推荐新手）#

第一步：安装 LM Studio#

前往 lmstudio.ai 下载 Windows 安装包，安装完成后打开。

界面主要分三个区域：左侧导航栏、中间的模型/聊天区域、右侧参数面板。

第二步：搜索并下载模型#

点击左侧导航栏的搜索图标（放大镜），在搜索框里输入：

1
Qwythos-9B-Claude-Mythos-5-1M-GGUF

搜索结果里会出现 Empero AI 发布的 GGUF 仓库。点进去，可以看到多个量化版本。

量化版本怎么选：

显卡 VRAM 8GB 及以上：选 Q4_K_M，文件约 5.5GB
显卡 VRAM 12GB 及以上：可以选 Q8_0，质量更好
没有独立显卡或 VRAM 不够：选 Q4_K_M 然后开 CPU offload，速度会慢但能跑

点击对应版本右边的下载按钮，等待下载完成。文件会自动存储到 LM Studio 的模型目录里。

第三步：加载模型#

下载完成后，点击左侧的「My Models」，找到刚才下载的 Qwythos-9B，点击「Load」。

加载时间视硬件而定，通常 10-30 秒。加载成功后顶部会显示模型名称和已用 VRAM。

第四步：配置推理参数#

Qwythos 是推理模型，有一些参数需要注意，在右侧参数面板里调整：

1
Temperature：0.6
2
Top-P：0.95
3
Top-K：20
4
Repeat Penalty：1.05
5
Max Tokens：16384（给 <think> 块留足空间）

不要把 Temperature 设到 0.3 以下，会导致推理循环，模型陷入重复。这是 Qwen3.5 系列推理模型的已知问题。

第五步：开始对话#

切换到 Chat 标签，直接输入问题就可以了。

回复的格式会是：

1
<think>
2
...（推理过程）...
3
</think>
4

5
（最终答案）

推理过程块是模型在”想问题”，最终答案在 </think> 之后。LM Studio 默认会把整个输出都显示出来，如果觉得 <think> 块太长，可以在设置里开启折叠显示。

方案二：llama.cpp + 一键启动脚本（进阶）#

适合想精细控制参数、接入 OpenWebUI / Cherry Studio / Claude Code 等客户端，或者需要视觉功能的用户。

目录结构#

把所有文件放在同一个 llama.cpp 目录下，结构如下：

1
llama-b9782-bin-win-cuda-13.3-x64\
2
├── llama-server.exe
3
├── 启动.bat          ← 启动脚本
4
└── models\
5
    ├── Qwythos-9B-...-Q4_K_M.gguf     ← 主模型
6
    └── mmproj-Qwythos-...-f16.gguf    ← 视觉投影文件（可选）

这样 bat、llama-server.exe、models 全在同一个目录里，整个文件夹可以随意移动，不需要改任何路径。

第一步：下载 llama.cpp#

前往 github.com/ggml-org/llama.cpp/releases，下载最新的 Windows 预编译包：

NVIDIA 显卡：选带 -win-cuda- 后缀的版本
AMD / Intel 显卡：选带 -win-vulkan- 后缀的版本
纯 CPU：选 -win-noavx- 或通用版本

解压后得到的就是 llama.cpp 目录。

第二步：下载 GGUF 模型文件#

去 HuggingFace 的 empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF 的 Files and versions 页面，下载以下两个文件，放进 models\ 子目录：

Qwythos-9B-Claude-Mythos-5-1M-Q4_K_M.gguf（主模型，约 5.5GB）
mmproj-Qwythos-9B-Claude-Mythos-5-1M-F16.gguf（文档文本，约 900MB，需要看文档功能才下载）
mmproj-Qwythos-9B-Claude-Mythos-5-1M-f16.gguf（视觉投影，约 900MB，需要看图功能才下载）

第三步：下载一键启动脚本#

把下面的 启动.bat 放进 llama.cpp 目录根目录（和 llama-server.exe 并排）。

【点击下载】或【备用下载】
或者复制下方的代码自行保存为BAT脚本

1
@echo off
2
setlocal EnableDelayedExpansion
3

4
chcp 936 >nul
5
title LingDu AI - Qwythos Launcher
6
color 0A
7

8
cd /d "%~dp0"
9

10
:: =====================================================
11
:: 自动查找模型
12
:: =====================================================
13

14
set MODEL=
15
set MMPROJ=
16

17
for %%F in (models\Qwythos*.gguf) do (
18
    echo %%~nxF | find /I "mmproj" >nul
19
    if errorlevel 1 (
20
        set MODEL=%%F
21
    )
22
)
23

24
for %%F in (models\mmproj*.gguf) do (
25
    set MMPROJ=%%F
26
)
27

28
:MENU
29
cls
30

31
echo.
32
echo ============================================================
33
echo.
34
echo             LingDu AI - Qwythos Launcher
35
echo.
36
echo          Claude Mythos 5 Distilled Vision Model
37
echo.
38
echo ============================================================
39
echo.
40

41
if defined MODEL (
42
    echo Model Found:
43
    echo   !MODEL!
44
) else (
45
    echo Model Found:
46
    echo   NOT FOUND
47
)
48

49
echo.
50

51
if defined MMPROJ (
52
    echo Vision Projector:
53
    echo   !MMPROJ!
54
) else (
55
    echo Vision Projector:
56
    echo   NOT FOUND
57
)
58

59
echo.
60
echo ============================================================
61
echo.
62
echo Select Your GPU VRAM
63
echo.
64
echo [1] 4GB VRAM
65
echo     Recommended Context: 16K
66
echo.
67
echo [2] 6GB VRAM
68
echo     Recommended Context: 32K
69
echo.
70
echo [3] 8GB VRAM
71
echo     Recommended Context: 64K
72
echo.
73
echo [4] 12GB VRAM
74
echo     Recommended Context: 128K
75
echo.
76
echo [5] 16GB VRAM
77
echo     Recommended Context: 256K
78
echo.
79
echo [6] 24GB VRAM
80
echo     Recommended Context: 512K
81
echo.
82
echo ------------------------------------------------------------
83
echo.
84
echo OpenAI Compatible API
85
echo.
86
echo http://127.0.0.1:8080/v1
87
echo.
88
echo ------------------------------------------------------------
89
echo.
90
echo Supported Clients
91
echo.
92
echo OpenWebUI
93
echo Cherry Studio
94
echo Claude Code
95
echo OpenAI Codex
96
echo OpenClaw
97
echo.
98
echo ------------------------------------------------------------
99
echo.
100
echo [0] Exit
101
echo.
102
echo ============================================================
103

104
set /p choice=Select Option:
105

106
if "%choice%"=="1" (
107
    set CTX=16384
108
    set MODE=4GB
109
    goto START
110
)
111

112
if "%choice%"=="2" (
113
    set CTX=32768
114
    set MODE=6GB
115
    goto START
116
)
117

118
if "%choice%"=="3" (
119
    set CTX=65536
120
    set MODE=8GB
121
    goto START
122
)
123

124
if "%choice%"=="4" (
125
    set CTX=131072
126
    set MODE=12GB
127
    goto START
128
)
129

130
if "%choice%"=="5" (
131
    set CTX=262144
132
    set MODE=16GB
133
    goto START
134
)
135

136
if "%choice%"=="6" (
137
    set CTX=524288
138
    set MODE=24GB
139
    goto START
140
)
141

142
if "%choice%"=="0" exit
143

144
goto MENU
145

146
:START
147
cls
148

149
echo.
150
echo ============================================================
151
echo.
152
echo Starting Qwythos...
153
echo.
154
echo Mode:
155
echo   %MODE%
156
echo.
157
echo Context:
158
echo   %CTX%
159
echo.
160
echo Model:
161
echo   !MODEL!
162
echo.
163
echo Vision:
164
echo   !MMPROJ!
165
echo.
166
echo API:
167
echo   http://127.0.0.1:8080/v1
168
echo.
169
echo ============================================================
170
echo.
171

172
if not defined MODEL (
173
    echo ERROR:
174
    echo No Qwythos model found in models folder.
175
    echo.
176
    pause
177
    goto MENU
178
)
179

180
if not defined MMPROJ (
181
    echo WARNING:
182
    echo No mmproj found.
183
    echo Starting as text-only model.
184
    echo.
185

186
    llama-server.exe ^
187
    -m "!MODEL!" ^
188
    -ngl 999 ^
189
    -c %CTX% ^
190
    -n 8192 ^
191
    -fa on ^
192
    --cont-batching ^
193
    --host 127.0.0.1 ^
194
    --port 8080
195

196
    pause
197
    goto MENU
198
)
199

200
llama-server.exe ^
201
-m "!MODEL!" ^
202
--mmproj "!MMPROJ!" ^
203
-ngl 999 ^
204
-c %CTX% ^
205
-n 8192 ^
206
-fa on ^
207
--cont-batching ^
208
--host 127.0.0.1 ^
209
--port 8080
210

211
pause
212
goto MENU