AI 無法載入
AI 服務是與代理分開的行程,有它自己的失敗方式。請按這份清單往下走——順序反映了每一條最終成為答案的 頻率。
1. AI 服務真的在執行嗎?
代理與 AI 服務是兩回事。代理可以在線並正常提供檔案,而 AI 服務從未啟動過。
在設定程式的 AI Hub 裡,或在瀏覽器的 AI 畫面裡啟動它。狀態會說明你看到的是「已停止」「正在啟動」 「正在載入權重」還是「在線」——載入權重不是卡住了,那是正在幹活。
AiAutoStart 決定服務是否隨代理一起啟動;預設是關閉的。
2. 模型下載了嗎?
選取一個模型不等於下載了它。面板會直說「Model not downloaded」,而解法就是一個按鈕。
下載動輒數 GB,落到裝置上,而不是你的瀏覽器裡。取消或中斷的下載不會留下任何可用的東西——重新 開始即可。
3. 記憶體夠嗎?
這是最常見的真實故障,而且設定程式會事先警告:「模型需要約 7 GB,只有 4 GB 可用」。
經驗值:
- 10 億到 20 億參數的模型需要空出兩三個 GB。
- 70 億到 80 億的需要八個以上。
- 載入一個專用模型會在此之上再加,只要它還載著。
記憶體吃緊時機器開始使用置換空間,症狀不是一條乾淨的錯誤:服務不再回應,狀態檢查逾時,AI 看起來 「關著」,而磁碟在響。如果你看到的是這種情形,請換一個更小的模型,而不是繼續等。
在記憶體小於 8 GB 的 Raspberry Pi 上,請用 --no-ai 安裝,並且根本不要在那裡跑模型。
4. Python 相依套件裝好了嗎?
第一次啟動 AI 會安裝它們,並顯示進度視窗。如果那一步失敗了——沒網路、沒磁碟空間、沒有 Python—— 服務就起不來。
- Windows,安裝版 —— 自帶一份私有 Python,所以這種情況少見。
- Windows,可攜版 —— Python 由你自己安裝,然後執行
setup_ai.bat;請參閱 可攜版:在 Windows 上免安裝執行 Filemote。 - Linux/macOS —— 由安裝指令碼處理,除非你傳了
--no-ai。
在 AI Hub 裡,精靈的 Environment 步驟可以按需重跑這項檢查。
5. 8765 連接埠是不是被別的程式佔了?
AI 服務在本機的 8765 連接埠上監聽。如果另一個程式佔著這個連接埠,服務就無法繫結,會在啟動時失敗。
一件相關、也值得知道的事,因為它有一陣子看起來像 bug:設定程式與代理可能同時持有同一個 AI 服務。 曾有一個版本,Stop 只結束了視窗持有的那個控制代碼,於是由另一側啟動的服務活了下來,而狀態輪詢 又把它帶回來——AI 看上去像是自己啟動的。這已經修好;細節見 AI Hub。
6. 它到底是不是一個聊天模型?
模型庫裡的模型並非都會對話。設定程式在載入前會驗證,並直說:找不到,或者「不適合聊天」。受限存取的
模型還需要 Hugging Face 權杖,安裝指令碼用 --hf-token 接收它。
有明確含義的症狀
| 你看到的 | 通常表示 |
|---|---|
| 聊天說代理未載入 | 服務在跑,但沒有載入模型 |
| 第一則回答很慢,之後很快 | 正常:權重正在載入記憶體 |
| 空白回覆 | 碰到回覆長度上限——AiMaxNewTokens |
| 狀態逾時、機器變鈍 | 置換空間:模型對這台機器太大 |
| 知識庫有計數卻沒有可用控制項 | 服務已停止;數字來自磁碟 |
如果都不是
AI 服務保有自己的記錄,與代理的分開——請參閱檢視記錄檔。AI Hub 也會 即時顯示啟動錯誤,這通常比翻檔案更快。
更新於 2026-08-06