Gartner 的 AI Gateway 市場指南預測，到 2028 年，構建多模型應用的軟件工程團隊之中，將有 70% 透過 AI Gateway 運作，而 2025 年這個比例只有 25%。真正值得注意的並非增長速度，而是這個數字背後的含意：大多數企業並非主動選擇多模型策略，而是在不知不覺間，一個部門接一個部門地走到了這一步，然後才發現自己根本沒有一個統一的控制點。
Dataiku 與 Harris Poll 針對全球 600 位企業 CIO 的調查顯示，81% 預期在 2026 年需要同時依賴兩個或以上的大型語言模型供應商，而 93% 認為不同模型適合不同用途。這就是企業 AI 的真實狀態。不是一個供應商、一份合約、一個儀表板，而是多個供應商各自計費，各自以不同條款持有你的資料。
本文說明 AI Gateway 是什麼、它實際控制什麼、如何判斷你的機構是否已經需要它，以及決策做錯時會出現什麼後果。
什麼是 AI Gateway？
AI Gateway 是一個統一控制點，位於你的應用系統與所有 AI 模型之間。Gartner 將其定義為簡化及管理 AI 能力存取的中介層，提供單一位置去執行安全、治理與可觀測性。所有請求在抵達模型之前，都必須經過它。
最容易理解的類比是企業防火牆。沒有人會爭論一家 300 人的公司是否應該把互聯網流量集中經過一個受控邊界。AI Gateway 只是把同一個原則套用在模型流量之上。
缺少它的話，每個應用系統各自持有 API 金鑰、各自選擇模型、各自計入不同預算科目。結果是董事會層面一條簡單問題無人能答：這個月我們在 AI 上花了多少錢，花在什麼地方。
為什麼 AI Gateway 在 2026 年變得重要？
因為多模型的現實，來得比管治它的能力更快。當 81% 的 CIO 同時使用兩個或以上供應商，實際後果就是支出分散、安全政策不一致，而且沒有任何統一紀錄可以說明某個模型被問過什麼、答過什麼。Gateway 正是重新收攏這種擴散的那一層。
過去十八個月，有三股力量同時出現。
--- 模型更替變成常態。 供應商淘汰與發布模型的周期以月計而非以年計。任何寫死了單一模型識別碼的應用系統，在該模型退役時都會失效。
--- 價格不再穩定。 各大供應商的每 token 成本大幅下跌，這意味著「處理某項任務最便宜而又足夠準確的模型」，一年之內會改變數次。
--- 監管機構開始要求紀錄。 香港私隱專員公署已明確指出，機構在個人資料上部署 AI，必須能夠說明處理了什麼資料、依據為何。
三者單獨出現都可以應付。三者疊加，逐個應用系統各自接駁 AI 就變成一項負債。
AI Gateway 實際如何運作？
AI Gateway 向開發人員與應用系統只開放一個內部端點。請求送到該端點後，Gateway 執行政策，再把請求轉發到政策所選定的模型供應商。回應沿同一路徑返回，過程中被記錄、過濾與計量，然後才交還給呼叫方。
實際效果是，你的應用系統不再知道自己正在與哪個模型對話。它們只呼叫一個內部地址，其餘由 Gateway 決定。
這層間接性正是核心價值所在。當供應商加價、淘汰模型或發生服務中斷，需要改動的是 Gateway 的設定，而不是每一個接觸 AI 的應用系統的原始碼。
差別在事故發生時最明顯。一家物流公司若有三個應用系統各自持有供應商金鑰去做訂單狀態摘要，當供應商服務品質下降時，就要同時診斷三宗獨立故障。同一家公司若在 Gateway 之後，只需一次設定更改，加上一個後備模型。
部署形態通常有兩種。自行託管的 Gateway 運行於你自己的網絡之內，提示詞與回應留在你可控的基礎設施上，適合受監管的工作負載。託管式 Gateway 上線較快，但流量會經過第三方，這會變成一個資料處理問題，需要你的私隱團隊在採購之前而非之後回答。
AI Gateway 負責哪四項工作？
AI Gateway 執行四項不同功能：路由、安全、成本控制與可觀測性。大部分供應商洽談會集中在路由，因為它最容易示範。但真正的營運價值在其餘三項，這也是財務與風險團隊最終會關心這件從未由他們提出的基礎設施的原因。
路由。 Gateway 按政策把每個請求導向最合適的模型，依據可以是成本、延遲、準確度或資料敏感度分級。摘要任務可交給便宜的小型模型，合約分析則交給前沿模型。
安全。 API 金鑰存放在 Gateway，而非應用程式碼或開發人員的手提電腦。金鑰輪換變成一項設定更改。輸入與輸出護欄，包括提示注入偵測與個人資料外流檢查，可以統一套用，不需要每個團隊各自重新實作。
成本控制。 Gateway 按團隊、按應用、按用途計量 token 消耗，執行配額，並快取重複呼叫。對大多數機構而言，這是第一次能夠把 AI 支出歸屬到成本中心。
可觀測性。 每一次請求與回應都連同足以事後重建決策的中繼資料一併記錄。缺少這一層，內部審計就 AI 影響過的決策提問時，根本無法回答。
AI Gateway 與 API Gateway 有何不同？
API Gateway 按端點、方法與速率限制去路由及保護流量。AI Gateway 做齊以上所有事情，再加上只有模型流量才需要的功能：token 計帳、語意快取、提示詞與回應檢查、模型故障轉移，以及逐請求的成本歸屬。根本差異在於 AI 流量按內容量計價，而非按呼叫次數計價。
單是這項計價差異，就推翻了傳統 API 管理的大部分假設。當一次呼叫的成本可以是另一次的二百倍，「每小時 1,000 次呼叫」這種限制其實毫無意義。
AI Gateway 亦有別於編排框架。編排框架協助開發人員建構代理邏輯；Gateway 則管治流量本身，不論流量由什麼工具產生，包括 IT 部門從未採購過的工具。
對香港企業而言，AI Gateway 改變了什麼？
對香港機構來說，Gateway 把三項反覆出現的合規問題轉化為設定項目。它提供私隱專員公署期望見到的處理紀錄，它執行哪些類別的資料可以離開本地司法管轄區，並讓受監管機構在監管人員追問「這個受 AI 影響的決策如何得出」時，有一個站得住腳的答案。
本地採用情況令這件事變得急切而非理論性。生產力促進局發布的《渣打香港中小企領先營商指數》2026 年第一季報告顯示，55% 受訪中小企已使用或計劃在未來一年使用 AI 工具，其中「資訊及通訊業」達 92%，「專業及商用服務業」72%，「金融及保險業」62%。
在一家 300 人的公司內，這種程度的採用不會來自一次採購決策，而是來自數十次個別註冊。這正是 AI Gateway 存在的原因。關於這種風險，可參考我們的影子 AI 與治理缺口一文。
如何判斷你是否已經需要 AI Gateway？
五條問題就能定案。若你有三條或以上答「是」，Gateway 已經遲了。若答「是」少於兩條，代表你仍處於早期，此時引入 Gateway 只會增加營運成本而未能消除實質風險，誠實的建議是先等。
--- 你的月結單上是否出現兩個或以上的模型供應商？
--- 你能否在不做人手對帳的情況下，把 AI 支出歸屬到具體部門？
--- 若供應商明天淘汰某個模型，需要改動多少套程式碼？
--- 你能否在一個工作天之內，交出上月所有接觸過客戶資料的 AI 請求紀錄？
--- IT 部門以外的團隊，是否持有自己的 API 金鑰？
第四條問題最能改變董事會的對話。大多數機構會發現答案是否定的，而原因屬於架構層面，並非流程疏忽。沒有人決定過不保留紀錄，只是紀錄從未被集中，因為每個團隊都用當時最快的方式接上了 AI。
一條實用的時序原則：Gateway 應該在你第一個真正投入生產的 AI 工作負載之後、第三個之前出現。太早，你只是在管治一個實驗；太遲，你是在已經承載客戶流量的系統上補回控制，成本明顯更高，而且通常需要一次沒有人願意排期的變更凍結。
做錯的時候，通常錯在哪裡？
五種失敗模式解釋了大部分令人失望的 AI Gateway 部署。五者都源於把 Gateway 當成一件採購品，而非一項營運決策：誰控制模型存取，以及誰為它揭示出來的支出負責。
當成節流項目來立項。 路由優化通常能削減可觀比例的推論支出，但持久價值在治理。要以控制與審計立案，否則第一季省下的錢未達預期時，整個商業方案就會崩塌。
部署了卻不強制使用。 團隊可以繞過的 Gateway，等於什麼都沒管治。只要直接存取供應商的通道仍然開著，影子流量就會繼續。
增加了無人預算的延遲。 每個 Gateway 都會多一跳。對批次作業而言無關痛癢，但對面向客戶的語音應用，必須在承諾之前實測。
未有政策就先買 Gateway。 Gateway 執行規則，但不會替你訂立規則。若在決定「哪些資料分級可以送到哪些模型」之前就先安裝，最終只會得到一個昂貴的代理伺服器。
無視可觀測性的產出。 日誌本身就是資產。從不檢視日誌的團隊，既保留了風險，又付了基礎設施的錢。關於一條可用的追蹤紀錄應該包含什麼，可參考我們的代理可觀測性指南。
策略要點
AI Gateway 並不是一項令人興奮的技術，它是水管工程。但它正正是那一段水管，能夠把散落各部門的 AI 實驗，變成董事會拿得出數字、監管機構拿得到紀錄的東西。
這個決策的本質並不在軟件，而在於你的機構是否願意宣告：AI 模型存取權是一項受管治的資源，而非個人資源。大多數企業最終都會得出這個結論。那些在第一條審計問題出現之前就想通的企業，付出的代價明顯較低。
科技周期永遠獎勵那些提早把沉悶那一層建好的機構。懂AI，更懂你 UD相伴，AI不冷。
本文由 UD 企業 AI 團隊（香港）審閱。
下一步從哪裡開始
掌握了框架之後，下一步是找出你的機構內部哪些模型存取仍然無人管治。UD 團隊手把手帶你完成每一步，由盤點現有 AI 使用情況、設計政策，到部署上線與持續成本申報，28 年香港企業服務經驗，全程陪你走。
