根据 Gartner 预测,到 2027 年,企业使用小型、针对特定任务的 AI 模型,将约为使用通用大型语言模型的三倍。这个预测,静静地推翻了大多数 2024 年 AI 预算背后的假设:模型愈大愈好。对一位精打细算的运营主管而言,这是今年最有用的一个转向。
什么是小型语言模型?
小型语言模型是体积精简的 AI 模型,参数量一般介乎 10 亿至 130 亿之间,专为把一组狭窄的任务做到极致而设计。在这些任务上,它们能达到大型模型七至九成半的表现,同时运行快得多、成本只是零头,而且往往可完全部署在你自己的基础设施上,而非公有云。
大型语言模型是通才,能写诗、除错、摘要合约。小型语言模型则是专才,只受训做好一件事,例如分类客服工单,或从发票中抽取栏位资料。
对大多数企业工作流程而言,你并不需要一个通才,你需要的是一个能在高流量下低成本可靠运作的专才。
小型语言模型与大型语言模型有何不同?
核心分别在于范围与经济性。大型模型广泛、昂贵、托管于云端;小型模型狭窄、便宜,可部署于边缘或本地。根据业界分析师整理的数据,在高流量、重复性的任务上,小型模型的运行速度可快达 15 倍,成本约为十分之一。
代价则是广度。小型模型不会替你脑力激荡策略,也应付不了千变万化的请求。但只要交给它受训过的那一件事,它往往能与大得多的模型并驾齐驱。
对部门主管而言,实务上的判断是:在讲求多样性与推理的地方用大型模型,在讲求流量与成本的地方用小型模型。
何时小型模型能带来更佳的企业回报?
小型模型在高流量、重复性、定义清晰的任务上胜出。分析师指出,在这类工作负载上,它们可将推理成本削减达九成,同时提供近乎即时的回应。当一项任务每日执行数千次而输入内容鲜有变化,按次支付大型模型的高昂费用,只会摧毁整个商业理据。
试想一家香港物流公司每日要分类 5 万份付运单据。一个按 token 计费的大型云端模型,会把这个流量变成一笔可观的月费。
一个针对该类单据微调过的小型模型,能以零头的成本、更快的速度完成同样工作,而且无须把每一份文件送往外部供应商。
回报的逻辑是「流量乘以简单度」。任务愈重复、频率愈高,改用小型模型的理据就愈强。
小型语言模型实际上能省多少?
对合适的工作负载而言,节省幅度很大。分析师估计,边缘部署的成本可以只是大型云端模型推理的十分之一,而装置端处理每项任务可省下多达九成能耗。除了直接成本,把数据保留在自家系统内,同时降低了私隐风险与对供应商的依赖。
数字固然重要,但策略价值在于掌控权。根据 CIO 与 InfoWorld 的报道,IT 领导者愈来愈偏好小型模型,正正因为它们能把敏感的业务数据留在组织之内。
对受《个人资料(私隐)条例》约束的香港金融服务企业而言,这份掌控权并非附加好处,而往往是决定性的因素。
小型语言模型有哪些限制与风险?
小型模型是专才,因此一旦超出受训范围便会失效。它们无法处理开放式推理、范围广泛的查询,或从未调校过的任务。它们也需要前期工夫:挑选合适的基础模型、准备干净的数据、进行微调,而这些技能是不少企业目前尚未具备的。
风险并不在于小型模型较差,而在于它们被部署到错误的任务上。
把一个小型模型指向一项需要广泛推理的工作,它的表现会大幅落后,这正是为何「模型与任务配对」才是整场游戏的关键。
企业该如何在小型与大型模型之间抉择?
抉择的方法是剖析任务,而非追逐模型。问四条问题:流量有多高?任务有多狭窄、可重复?数据有多敏感?需要多大的推理多样性?高流量、狭窄范围与敏感数据都指向小型模型;广泛多样与复杂推理则指向大型模型。
大多数企业最终会落在混合方案。Gartner 2026 年的指引,正正提出让大型与小型模型并用,各自置于最合适的位置。
一个实用模式是:由大型模型应付客户对话那道杂乱的「前门」,再由小型模型在后方负责高流量的分类、抽取与分流。
企业在使用小型语言模型时常犯哪些错误?
最大的错误,是出于谨慎而为每一项任务都预设采用最大、最知名的模型,然后承受本来根本不必存在的云端账单。第二个错误,是对小型模型所倚赖的数据准备投入不足。第三个错误,是把模型选择当成一次性决定,而非持续的组合抉择。
不少团队试用一个旗舰大型模型,见它有效,便再也没有回头检视:那些重复的部分,是否用一个更便宜的专才就已足够。
半年后,成为问题的不是表现,而是那张账单,而解决方案,其实从一开始就摆在眼前。
策略启示
2027 年转向小型、针对特定任务模型的趋势,并非一种降级,而是一个成熟中的市场,正在学会让工具配合工作。最终胜出的企业,不会是在最大模型上花费最多的那些,而是为每项任务部署适当尺寸模型、并量度出当中差异的那些。
要在一个真实的组织里,配上真实的数据与真实的工作流程,把这个配对做对,正是困难所在。懂AI,更懂你 — UD相伴,AI不冷。UD 同行 28 年,协助香港企业采用真正能回本的技术,我们帮你选的,不是声量最大的 AI,而是最合用的那一个。
准备好为对的任务配上对的 AI?
在小型与大型模型之间抉择,最好由一位做过的伙伴陪你判断。UD 团队手把手带你完成每一步,由盘点你流量最高的任务,到选型、部署与量度合适尺寸的 AI,28 年企业服务经验,全程陪你走。