混合专家模型
也叫：Mixture of Experts · MoE · 稀疏专家模型
混合专家模型用路由器为每个 Token 选择少量专家，总参数与激活参数不同，部署还受内存和设备通信影响。
他们说
通过稀疏路由为每个 token 激活少量专家参数
老白翻译
模型里有很多组参数，每一步只让其中几组参与计算。
它到底是什么
混合专家模型在部分网络层准备多组专家参数。每个 Token 到来时，路由器选择少数专家参与计算，再汇总它们的结果。
生活里的例子
一个模型可以拥有三百多亿总参数，每个 Token 只激活其中三十多亿。机器仍要加载总权重，单步计算则主要经过被选中的部分。
常见误解
- 误解：专家分别对应法律、代码等固定行业。 专家是训练形成的参数组，分工不一定能直接命名。
- 误解：激活参数少就只需要同等大小的内存。 总权重和专家数量仍会影响模型文件与显存。
- 误解：稀疏激活一定带来同样的加速。 路由、专家负载、设备通信和推理框架都会改变速度。
普通人怎么用
比较模型时分开记录总参数、激活参数、文件大小和实测显存，再用目标硬件测试单请求延迟与真实并发吞吐。