批量推理
也叫：Batch Inference · Batch API · 批处理推理
批量推理异步处理大量非紧急请求，通常能降低费用，但要处理任务等待、局部失败与重复提交。
他们说
通过异步批处理队列执行大规模模型推理请求
老白翻译
把一批不着急的任务一起交上去，晚些时候收结果。
它到底是什么
批量推理把多条模型请求组成一个异步任务。服务端排队处理，完成后提供结果文件或状态记录，调用方不用维持每条在线请求。
生活里的例子
公司可以在夜间把几万条商品描述交给模型分类，第二天再把成功结果写回系统，并单独处理失败记录。
常见误解
- 误解：批量接口会立刻返回所有答案。 它面向能等待的任务，完成时间受任务量和服务负载影响。
- 误解：任务显示完成就代表每条都成功。 一批请求里可能同时有成功结果与错误状态。
- 误解：客户端超时后重复提交没有影响。 创建任务可能不具备幂等性，重复提交会产生两批任务。
普通人怎么用
给每条请求添加稳定编号，先用小批量测试结果匹配、局部失败和重试，再把评测、分类或离线摘要逐步扩大。