专家并行
也叫：Expert Parallelism · EP · MoE 专家并行
专家并行把 MoE 专家分散到多张 GPU，降低单卡权重占用，同时带来 Token 分发、回收与负载不均问题。
他们说
把混合专家层中的不同专家参数分布到多个设备
老白翻译
不同专家住在不同卡上，Token 选中谁就送到谁那里算。
它到底是什么
专家并行把混合专家模型里的专家参数分散到不同设备。路由器选出专家后，系统发送 Token，计算完成后再收回结果并恢复顺序。
生活里的例子
八个专家分在四张卡上，一个批次的 Token 可能集中选中两位专家。那两张卡继续忙，其他设备会提前空下来等待。
常见误解
- 误解：专家放开以后就没有通信。 跨卡专家需要 Token 分发和结果合并，常见实现会用 all-to-all。
- 误解：每位专家都会收到同样多的 Token。 路由会偏斜，训练常需负载平衡损失或容量限制。
- 误解：激活参数少就只占那部分内存。 全部专家权重仍要分布在集群中。
普通人怎么用
监控每层各专家收到的 Token 数、最慢设备耗时和跨卡传输占比，再决定专家怎样摆放，以及是否需要调整路由和容量。