甚麼是 human-in-the-loop AI？

Human-in-the-loop AI 是一種營運設計：軟件負責準備、檢查、草擬和升級，而人在高風險或需要問責的決定中保留判斷。

在這篇文章，我們使用這個詞時，意思不只是「有人批准 AI 輸出」。只有當人有足夠證據、權限、時間和介面去理解系統建議並改變結果，人才算有意義地在 loop 裏。

這個分別重要，因為人手審閱可以改善問責，也可以製造虛假安心。弱的審閱步驟只是要求人替不透明輸出背書。強的 human-in-the-loop 設計會顯示來源、信心檢查、欠缺資料、建議行動、權限限制和升級路徑。

因此，human-in-the-loop design 應該放在 AI readiness 旁邊理解，而不是在最後加上一個裝飾式批准步驟。

Human-In-The-Loop AI 作為營運設計

Human-in-the-loop AI 是把工作設計成 AI 和人各自處理適合自己的部分。

AI 的角色通常是準備和控制：檢索紀錄、摘要證據、分類要求、草擬回應、檢查一致性、識別欠缺數據、監察期限，以及建議下一步。人的角色是判斷：決定證據是否足夠、例外是否重要、建議行動是否可接受，以及機構是否準備為該決定負責。

監管和標準越來越把這視為治理問題，而不只是使用者介面功能。EU AI Act 要求高風險 AI 系統在使用期間設計成可由自然人有效監督，並特別提到人要保持對 automation bias 的意識，即過度依賴系統輸出的傾向（EUR-Lex, Regulation 2024/1689）。

問題從何而來

AI 可以聽起來比實際更肯定

生成式 AI 可以產生看似完整的流暢輸出，即使內容錯誤、沒有支持、過時或缺少重要限定。NIST 的 Generative AI Profile 把 confabulation 定義為自信呈現的錯誤或虛假內容，並警告這類輸出可以透過錯誤邏輯或引用誤導使用者（NIST AI 600-1^{3NIST Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile}）。

Human-in-the-loop design 之所以存在，是因為流暢不等於問責。專業使用者需要知道答案是否有 grounding、系統是否有足夠背景，以及建議行動是否在權限內。

軟件行動不會令問責消失

如果 AI 系統草擬客戶更新、拒絕要求、優先處理個案、標記某人作審閱，或者更改紀錄，後果仍然有人負責。Human-in-the-loop AI 令這個 ownership 明確。它定義哪些行動軟件可以自行做、哪些需要批准，以及哪些情況必須升級。

ISO/IEC 42001 把 AI governance 視為管理系統：政策、目標、流程、風險處理、透明度、可追溯性，以及使用或提供 AI 系統機構的持續改善（ISO^{4ISO/IEC 42001:2023 Artificial Intelligence Management System}）。這是正確分析層次。Loop 不只是一個人，而是圍繞那個人的營運模型。

實務結構

有用的 human-in-the-loop system 會分開四種功能。

這就是為甚麼「human in the loop」應圍繞 decision rights 設計。人可能需要在行動前、行動後，或只在例外時介入。低風險、可逆工作可能需要 audit logs 而非事前批准。高風險工作則可能需要在任何對外行動前審閱來源。

不同位置的人手介入有不同目的。Action 前的審閱用來阻止不合適行動；action 後的抽樣審閱用來監察低風險流程；exception-based escalation 則用來處理系統遇到不確定、衝突或權限不足的情況。把所有情況都設計成同一個批准步驟，既浪費人手注意力，也未必能控制真正風險。

為甚麼這做法可信

Human oversight 不會自動有效。關於人類監督和技術標準化的研究指出，oversight requirements 必須透過具體工具和生命週期措施落地，而不只是抽象原則（Ho-Dac and Martinez, 2024^{5Marion Ho-Dac and Baptiste Martinez, "Human Oversight of Artificial Intelligence and Technical Standardisation"}）。

這符合實務經驗。如果介面隱藏證據、把不確定性壓成單一分數、不提供修正輸出的方法，或懲罰人放慢流程，審閱者就無法有意義地監督系統。

好的 human-in-the-loop design 因此需要：

• 來源可見：系統用了甚麼，也沒有用甚麼。
• 信心檢查：系統如何測試自身輸出或取回證據。
• 清晰權限：AI 在沒有批准下可以做甚麼。
• 升級規則：不確定、風險或衝突何時需要人。
• 審計軌跡：誰批准、修改、拒絕或覆寫建議。
• 回饋循環：人手修正如何改善未來行為。

這些要求都要落到具體介面和流程裏。審閱者如果看不到來源，就只能相信輸出；如果不能修改、拒絕或升級，就只是形式上在 loop 裏；如果系統沒有記錄誰改過甚麼，之後也無法學習或問責。Human oversight 只有在這些操作條件成立時，才不會變成抽象原則。

它不是甚麼

Human-in-the-loop AI 不是魔法安全層。如果人沒有時間、專業知識、背景或反對的權力，人手檢查點可以失效。

這就是 automation bias 的實務風險。當系統輸出看起來完整、介面又鼓勵快速批准，人會傾向接受建議，即使自己沒有真正檢查來源。好的設計要刻意對抗這種傾向，例如顯示缺口、要求審閱關鍵來源、突出不確定性，並讓拒絕或升級不會被視為流程失敗。

它也不是自動化的相反。在很多好的系統裏，AI 會做大部分準備和日常檢查。人介入在判斷有價值的地方，而不是在機構忘記設計更好工作流的地方。

最後，它不一定總是需要。如果任務低風險、可逆、定義清楚並可觀察，log、alert 或抽樣審閱可能已足夠。人手審閱應集中在它能改變決定質素或問責性的地方。

這個取捨很重要，因為過度審閱也會降低安全性。若所有低風險動作都排隊等批准，真正高風險事項反而可能被淹沒。Human-in-the-loop 的目標不是讓人接觸每件事，而是讓人接觸最需要人類判斷的事。

實務例子

專業服務

AI 系統透過檢索 matter notes、抽取未決問題、草擬摘要和列出來源，準備客戶 memo。專業人士審閱證據、修改建議，並決定是否可以發送。

營運

AI 系統偵測到客戶問題超出正常政策，並分派給經理。系統不自行解決例外，因為決定可能影響關係、先例或責任。

合規

AI 系統篩查紀錄中欠缺的文件並建議分類。審閱者處理模糊個案、確認重大決定，並記錄理由。

在這些例子中，人不是被要求重新做整件事，而是被安排在最需要判斷的位置。AI 先把材料整理到可審閱狀態，人再決定是否接受、修改、拒絕或升級。這樣的 loop 才能同時提高效率和保留問責。

結論

Human-in-the-loop AI 最好理解為可問責委派的設計。軟件處理準備、檢查、草擬和分派。當不確定性、風險、權限或問責令決定不適合自動行動時，人保留判斷。

實務上，這要求團隊不要把「有人看過」當成充分控制。審閱者要看到系統用了甚麼資料、沒有找到甚麼、建議行動會改變甚麼紀錄，以及如果不同意可以怎樣修改、拒絕或升級。否則，人只是在流程末端承受責任，卻沒有真正控制結果。

好的 loop 也會隨風險調整。低風險、可逆和可觀察的動作，可以用紀錄和抽樣審閱管理；高風險、對外、不可逆或涉及受保護資料的動作，則需要事前證據審閱和明確批准。這種分級令人手注意力用在最需要判斷的位置，而不是把所有事情都塞進同一個批准隊列。

Human-in-the-loop 亦要設計人的工作量。如果每個小動作都要求批准，審閱者很快會疲勞，最後只會機械式點擊。較好的做法，是讓 AI 做準備和常規檢查，並把真正需要判斷的例外、衝突和高風險行動送給人。這樣，人類監督才有時間和注意力發揮作用。

另一個常被忽略的部分，是覆寫之後發生甚麼。如果審閱者修改了建議，系統應保存修改、理由和來源；如果審閱者拒絕行動，系統應知道是因為證據不足、權限不足、風險太高，還是建議本身錯誤。這些回饋令 loop 不只是安全制動，也是改善工作系統的學習機制。

實務測試是：人是否有足夠背景去不同意、有足夠權限改變結果，以及有足夠證據為決定負責？如果沒有，人就不是有意義地在 loop 裏。

設計 human-in-the-loop workflow 時，團隊應先列出哪些決定必須由人負責，而不是先加一個批准按鈕。對外訊息、客戶承諾、合規判斷、財務批准、個人資料處理和不可逆寫回，通常需要比內部草稿更強的人手控制。每一類決定都應有對應的證據要求、審閱者角色和升級路徑。

同時，介面要讓人真正能介入。審閱者需要看到來源、缺口、風險、建議行動和可選回應，而不只是看到一段完成文字。這樣，human-in-the-loop 才是一個可運作的控制系統，而不是流程末端的形式簽名。

人的角色要有實際控制權，才算真正留在 loop 裏。

資料來源

1. EU Regulation 2024/1689, Artificial Intelligence Act
2. NIST AI Risk Management Framework 1.0
3. NIST Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile
4. ISO/IEC 42001:2023 Artificial Intelligence Management System
5. Marion Ho-Dac and Baptiste Martinez, "Human Oversight of Artificial Intelligence and Technical Standardisation"