摘要
为了解决大模型推理服务中存在的请求异构性强、键-值缓存(key-value cache,KV Cache)占用较大、传统调度算法约束感知不足等问题,提出基于约束优化算法的大模型推理负载均衡动态调度算法,并将其与轮询算法、最少连接数算法、图形处理单元(graphics processing unit,GPU)利用率调度算法进行比较研究.研究结果表明,该算法在平均时延、P95时延、P99时延、吞吐量、GPU利用率、负载不均衡度及请求拒绝率等指标上均优于其他对比算法,研究成果可为大模型推理集群资源调度和服务优化提供参考.