全部词条
白话词典

小语言模型

也叫:Small Language Model · SLM · 小型语言模型

小语言模型通常用较少参数降低部署门槛和推理成本,具体能力仍需按任务、硬件、上下文与安全要求评测。

他们说

面向较低计算资源与轻量部署的语言模型

老白翻译

参数和运行开销更小,更容易放进本地设备完成窄任务。

它到底是什么

小语言模型是相对轻量、面向较低计算资源部署的语言模型。行业没有统一的参数上限,实际常结合参数规模、内存占用和目标设备判断。

生活里的例子

一台办公室电脑可以运行经过适配的小语言模型,把内部工单分组或抽取固定字段,复杂问题再交给更强的云端模型。

常见误解

  • 误解:参数少就一定能力弱。 高质量训练数据和针对任务的后训练能让小模型在窄任务上表现很好。
  • 误解:小模型等于量化模型。 小模型说的是相对规模,量化说的是数值精度,两者可以组合。
  • 误解:能在本地启动就适合业务。 上下文、并发、格式正确率和安全表现仍要用真实样本验证。

普通人怎么用

先选能完成任务的最小候选,固定权重与量化配置,测真实样本的质量、首字时间、每 Token 速度和峰值内存,再决定是否升级模型。

来源文章