為什麼 AI Agent 項目交不出投資回報？
AI Agent 項目交不出投資回報，主因是在上線之前，從沒有人以可量度的方式定義過「成功」。有一套四項指標的量度框架，涵蓋任務成功率、人手介入率、單位成本與處理時間，能夠區分捱得過預算審核的 Agent 項目，與被悄悄擱置的項目。這篇文章就是要給你這套框架。
風險有數據佐證。Gartner 預測，到 2027 年底，超過 40% 的 Agentic AI 項目會被取消，原因是成本失控、商業價值不清晰及風險管控不足。三個原因之中，有兩個屬於量度失敗，而非技術失敗。
這個情景任何主管都似曾相識：示範環節人人讚好，團隊自覺效率提升，但沒有人能夠用財務總監接受的數字，說明到底改變了什麼。缺乏事先協定的量度基準，再成功的部署也無法自證。
AI Agent 應該追蹤哪些關鍵指標？
AI Agent 量度的核心是四項指標：端到端任務成功率、人手介入率、每完成任務成本、任務完成時間。四者合起來，回答董事會唯一關心的問題：這個 Agent 是否以低於原有方案的單位成本，穩定地完成真實工作？
指標一：端到端任務成功率。Agent 完整完成任務、毋須人手重做的百分比。量度的是整條流程的完成度，不是個別步驟。一個能起草 100% 回覆、但一半需要人手重寫的 Agent，成功率是 50%，不是 100%。
指標二：人手介入率。任務中途需要人員接手的頻率。這是可靠性訊號，也是人手規劃的依據。介入率逐月下降，是 Agent 逐步成熟最清晰的證據。
指標三：每完成任務成本。總成本除以完成任務數，總成本須包括推理運算、平台費用、整合工程攤銷及人手監督時間。比較對象是原有流程的全負擔成本，而不是零。
指標四：任務完成時間。由觸發到驗證完成的實際耗時。速度只有在成功率企穩時才有意義，所以兩者必須同時匯報。
部署之前如何建立量度基準？
基準是在任何 Agent 上線之前，對現行流程進行為期兩星期的實測，記錄業務量、單位成本、處理周期與錯誤率。沒有基準，部署後的所有數字都無所依附，項目價值淪為各執一詞的觀點，而非證據。
基準量度不需要大費周章。以客戶服務流程為例，即是點算每人每日處理的工單量、平均處理時間、升級轉介率，以及團隊的全負擔時薪成本。以財務流程為例，則是發票處理量、異常率與結算天數。
其中一項紀律最為關鍵：基準數字必須在試點開始之前，與流程負責人及財務夥伴共同確認。事後才協定的基準永遠會被質疑，因為到了那時，人人都知道哪個數字對哪一方有利。
如何向董事會匯報 AI Agent 成效？
向董事會匯報 AI Agent，最有效的形式是一頁紙的季度視圖，分三層：營運指標（上述四項）、財務轉譯（單位成本差乘以業務量）、風險狀況（介入率趨勢、事故數目、合規狀態）。一頁紙、三層結構、每季一次、格式不變。
大多數匯報敗在財務轉譯這一層。董事會不會因為「Agent 處理了 12,000 項任務」而行動，但會因為「每項任務成本由 31 港元降至 9 港元，以現時業務量計，相對基準每年相差 260 萬港元」而行動。算術很簡單，令數字可信的，是背後那個事先協定的基準。
切忌向董事會匯報模型層面的指標，例如準確率或延遲。那些屬於工程檢討會議。董事的職責是分配資本，而資本分配依靠單位經濟與風險，不是跑分成績。
實際操作是什麼樣子？
在實際操作中，一個以量度為先的 Agent 項目是一個 90 日周期：兩星期基準實測，六星期有人監督的試點並每周檢視指標，然後對照第一日白紙黑字寫下的門檻，作出去留決定。
假設一家香港物流公司部署 Agent 處理付運文件核對。第一日訂下的門檻可以是：任務成功率高於 85%、介入率低於 20%、每份文件成本較基準最少低 40%。到第八星期，數字要麼達標，要麼不達標。無論結果如何，決策都快速、有理有據，並可複製到下一個應用場景。
同一結構適用於自動生成委聘書的專業服務公司，或分流租戶請求的物業管理公司。流程各有不同，量度架構卻是同一套。
常見的量度陷阱有哪些？
殺傷力最大的陷阱，是量度活動而非成果：匯報 Agent 的執行次數、生成訊息量或使用時數。活動指標永遠好看，但什麼都證明不了。如果一個數字在業務毫無得益時仍然亮麗，它就是錯的數字。
第二個陷阱是忽略監督成本。一個每項輸出都需要資深員工覆核的 Agent，並沒有減省人力，只是把人力搬到更高薪的層級。每完成任務成本必須計入覆核者的時間，否則整個回報論述經不起推敲。
第三是任由評估期限漂移。團隊悄悄延長試點，期望數字改善，結果試點變成永久卻無人量度的常態。檢討日期要在開始時鎖定，即使結果難看，尤其是結果難看的時候，更要如期執行。
策略總結
Gartner 預期，到 2028 年，最少 15% 的日常工作決策將由 Agentic AI 自主作出，而 2024 年這個比例接近零。最終受惠的企業，不是部署最多 Agent 的那些，而是能夠用董事會信任的數字，證明哪些 Agent 值得留低的那些。
量度不是 AI 項目的官僚尾巴，而是把試點變成預算、把預算變成複利優勢的機制。
這套量度架構，你不需要獨力搭建。UD 用 28 年時間，協助香港企業把科技轉化為可問責的業務成果。懂AI，更懂你。
準備好用數字支撐你的 AI 項目？
框架已經在你手上，成敗在於執行紀律。UD 團隊手把手帶你完成每一步，由基準實測、指標設計，到試點治理與董事會匯報，讓你下一次 AI 檢討會議，用證據說話，不靠觀感。
