AI COST OPTIMIZER
如何節省 AI 客服成本？先分流，再決定要不要呼叫模型
最省錢的 AI 客服，不是找到一個更便宜的大模型，而是避免把營業時間、價格、進度查詢和重複問題全部送進大型模型。先用零 Token 的規則與資料回答，真的需要理解語意時才使用 AI。
AI 客服的成本不只來自 Token
模型輸入與輸出會產生 Token 費用，但真正容易失控的是「每句話都呼叫模型」。同一個營業時間一天被問 100 次、機器人重複回答同一題、惡意使用者貼入超長內容，或系統在沒有信心時不斷重試，都會把原本可預測的成本變成無上限支出。
營業時間、價格、服務範圍與聯絡方式應直接由 FAQ 或快取回答。
過長、重複、攻擊提示或超過每日額度的內容，先由程式規則擋下。
訂單狀態、預約時段或表單紀錄能用資料庫查到，就不需要模型猜答案。
小模型沒有足夠信心時才升級，大型模型不應成為所有問題的預設入口。
七層客服路由怎麼分工
| 層級 | 負責內容 | 主要成本 |
|---|---|---|
| 1. 規則引擎 | 字數限制、頻率限制、黑名單、攻擊提示與每日額度。 | 零 Token |
| 2. FAQ / 快取 | 回答營業時間、價格範圍、服務流程與重複問題。 | 零 Token |
| 3. D1 資料查詢 | 查詢表單、預約、案件狀態與已核准的知識內容。 | 零 Token |
| 4. Workers AI 小模型 | 判斷意圖、整理需求、簡單客服與回答分類。 | 依用量計費 |
| 5. 地端 LLM | 處理較敏感或需要內部資料的任務，需另外設定模型端點。 | 硬體與維運 |
| 6. GPT / Claude | 複雜推理、比較、摘要與長文工作，未設定就不會呼叫。 | 依供應商計費 |
| 7. 真人接手 | 模型信心不足、需要報價或涉及責任判斷時轉人工。 | 人工時間 |
同一句「幫我分析需求」會怎麼走
系統先檢查字數、頻率、黑名單與提示攻擊，再比對 FAQ 與快取。如果沒有固定答案，就判斷這是一個需求整理問題，交給 Workers AI 小模型做意圖分類與摘要。只有在內容牽涉跨資料比較、長篇提案或小模型信心不足時，才考慮送往地端 LLM、GPT、Claude 或真人客服。
這種路由的重點不是把 AI 藏起來，而是讓不同難度的問題使用不同成本的工具。訪客仍然得到答案，網站端則能知道每次回答走了哪一層。
讓系統從人工回答累積知識
小模型不會因為客服回答一次就自動變聰明。比較安全的做法是：把真人確認過的回答標記為可重用內容，整理成 FAQ 或知識庫後存進 D1。下次遇到相似問題時，系統先搜尋這些已核准答案，再決定是否需要模型。
- 保留原始問題、人工答案、分類、語言與最後更新時間。
- 只有經過確認的答案可以進入公開 FAQ，避免錯誤內容自動擴散。
- 舊答案可以設定有效期限，價格、活動或政策改變時重新審核。
- 記錄命中次數與人工改寫次數，找出最值得補強的知識缺口。
後台應該開放哪些成本設定
限制每位訪客與整個網站每天可使用的次數，超過時轉表單或真人。
在送進模型前裁切或拒絕超長內容，避免單一訊息吃掉大量 Token。
固定答案可以快取較久，價格與即時狀態則使用較短期限。
信心夠高才直接回答；低於門檻就查更多資料或轉人工。
例如只允許提案摘要與需求比較使用 GPT / Claude，其他問題不得升級。
報價、退款、客訴、法律或敏感資料問題應直接轉人工，不讓模型自行承諾。
怎麼知道真的有省到錢
不要只看聊天總數。後台至少要記錄每次請求的路由、是否命中快取、使用哪個模型、估算 Token、回覆時間與是否轉人工。這些資料可以整理成四個核心指標：
- 零 Token 解決率：規則、FAQ、快取與資料庫直接回答的比例。
- 小模型解決率：不需要升級到大型模型就完成的比例。
- 單次有效對話成本：總模型成本除以真正解決的對話數。
- 人工接手率：用來判斷知識庫缺口，而不是一味追求越低越好。
小型網站可以怎麼開始
- 先整理 20 到 50 題最常見問題與核准答案。
- 加入字數、頻率、黑名單與每日額度限制。
- 把表單、預約與案件狀態改成可查詢的結構化資料。
- 再接小模型處理分類、摘要與自然語言變化。
- 最後才評估哪些任務值得使用地端 LLM、GPT 或 Claude。
先把前三層做好，通常就能攔下大量重複問題。這也讓日後更換模型供應商時，不需要把整套客服流程推倒重來。
AI 客服成本 FAQ
D1 裡面有小模型嗎？
沒有。D1 是資料庫，用來保存 FAQ、設定、快取與對話紀錄；小模型由 Workers AI 執行。
小模型可以根據客服回答學習嗎？
可以把人工確認過的回答整理成 FAQ 或知識庫，讓下次先直接命中。這是可控的知識沉澱，不等於每次對話都自動重新訓練模型。
一定要設定 GPT 或 Claude 嗎？
不一定。規則、FAQ、D1 與 Workers AI 已能處理許多基本客服問題，大型模型可以只在複雜推理或長文工作時啟用。
地端 LLM 是 Cloudflare 直接提供的嗎？
不是。地端 LLM 需要自己的電腦、伺服器或可連線的模型端點，再由客服路由器選擇性呼叫。沒有設定時，該層會跳過。