AI 无法加载
AI 服务是与代理分开的进程,有它自己的失败方式。请按这份清单往下走——顺序反映了每一条最终成为答案的 频率。
1. AI 服务真的在运行吗?
代理和 AI 服务是两回事。代理可以在线并正常提供文件,而 AI 服务从未启动过。
在配置器的 AI Hub 里,或在浏览器的 AI 界面里启动它。状态会说明你看到的是「已停止」「正在启动」 「正在载入权重」还是「在线」——载入权重不是卡住了,那是正在干活。
AiAutoStart 决定服务是否随代理一起启动;默认是关闭的。
2. 模型下载了吗?
选中一个模型不等于下载了它。面板会直说「Model not downloaded」,而解决办法就是一个按钮。
下载动辄数 GB,落到设备上,而不是你的浏览器里。取消或中断的下载不会留下任何可用的东西——重新 开始即可。
3. 内存够吗?
这是最常见的真实故障,而且配置器会事先警告:「模型需要约 7 GB,只有 4 GB 可用」。
经验值:
- 10 亿到 20 亿参数的模型需要空出两三个 GB。
- 70 亿到 80 亿的需要八个以上。
- 载入一个专用模型会在此之上再加,只要它还载着。
内存吃紧时机器开始使用交换空间,症状不是一条干净的错误:服务不再响应,状态检查超时,AI 看起来 「关着」,而磁盘在响。如果你看到的是这种情形,请换一个更小的模型,而不是继续等。
在内存小于 8 GB 的 Raspberry Pi 上,请用 --no-ai 安装,并且根本不要在那里跑模型。
4. Python 依赖装好了吗?
第一次启动 AI 会安装它们,并显示进度窗口。如果那一步失败了——没网、没磁盘空间、没有 Python——服务 就起不来。
- Windows,安装版 —— 自带一份私有 Python,所以这种情况少见。
- Windows,便携版 —— Python 由你自己安装,然后运行
setup_ai.bat;参见 在 Windows 上免安装运行 Filemote。 - Linux/macOS —— 由安装脚本处理,除非你传了
--no-ai。
在 AI Hub 里,向导的 Environment 步骤可以按需重跑这项检查。
5. 8765 端口是不是被别的程序占了?
AI 服务在本机的 8765 端口上监听。如果另一个程序占着这个端口,服务就无法绑定,会在启动时失败。
一件相关、也值得知道的事,因为它有一阵子看起来像 bug:配置器和代理可能同时持有同一个 AI 服务。曾有 一个版本,Stop 只结束了窗口持有的那个句柄,于是由另一侧启动的服务活了下来,而状态轮询又把它带 回来——AI 看上去像是自己启动的。这已经修好;细节见 AI Hub。
6. 它到底是不是一个聊天模型?
模型库里的模型并非都会对话。配置器在载入前会校验,并直说:找不到,或者「不适合聊天」。受限访问的
模型还需要 Hugging Face 令牌,安装脚本用 --hf-token 接收它。
有明确含义的症状
| 你看到的 | 通常意味着 |
|---|---|
| 聊天说代理未加载 | 服务在跑,但没有载入模型 |
| 第一条回答很慢,之后很快 | 正常:权重正在载入内存 |
| 空回复 | 触到回复长度上限——AiMaxNewTokens |
| 状态超时、机器发卡 | 交换空间:模型对这台机器太大 |
| 知识库有计数却没有可用控件 | 服务已停止;数字来自磁盘 |
如果都不是
AI 服务保有自己的日志,与代理的分开——参见查看日志。AI Hub 也会实时显示 启动错误,这通常比翻文件更快。
更新于 2026-08-06