近日，阿里云提出的GPU池化服务多模型研究成果成功入选顶级学术会议SOSP 2025，该研究提出多模型混合服务系统Aegaeon，可大幅提升GPU资源利用率，目前其核心技术已应用在阿里云百炼平台。

SOSP（操作系统原理研讨会）由ACM SIGOPS主办，是计算机系统领域顶级学术会议，平均每年收录的论文数量仅有数十篇，被誉为计算机操作系统界的“奥斯卡”，入选论文代表了操作系统和软件领域最具代表的研究成果。本届SOSP大会仅收录66篇论文，关于系统软件与AI大模型技术的融合研究成为新的趋势。

研究背景

全球模型的数量仍在持续增长，据统计，Hugging Face已托管了超100万个模型。在真实服务场景中，少量热门模型占据了总请求的绝大部分，而超过90%的模型则调用频率较低。当前的事实标准解决方案是为每个模型至少预留一个推理实例，这造成了GPU资源的大量浪费。

研究方案

研究团队在论文中创新性提出多模型混合服务系统Aegaeon，一个实现了token 级多模型混合服务的方法，以实现同时服务众多LLM时提供更高的GPU利用率。
Aegaeon中对多模型的服务过程主要设计以下三个组：代理层、GPU池与内存管理器。

图｜研究框架图

代理层（Proxy layer）。代理层负责接收和分发推理requests，确保负载均衡和容错能⼒，状态同步是通过共享内存机制实现的，例如Redis。Aegeeon可以将不同模型的requests分发到同⼀个实例。

GPU池（GPU pool）。GPU池作为⼀个资源池，包含了⼀组由云提供商虚拟化的GPU实例。每个实例可能包含托管在⼀台物理机器上的⼀个或多个GPU。在Aegaeon中，单个实例执⾏预填充（prefill）或解码（decoding）作业，并且可以在token级调度器的指导下，为不同模型的requests提供服务。这使得模型切换成为⼀个关键操作。

内存管理器（Memory manager）。内存管理器在服务集群中协调每个节点的主机内存和空闲GPU内存，⽬的有两个：1）QuickLoader利⽤可⽤内存来缓存模型权重，加速从远程模型仓库获取模型的耗时过程；2）GPU-CPU KV管理机制统一存储和管理KV缓存。

研究创新点与结论

Aegaeon多模型混合服务系统，首次将调度实现在token级别，在每次生成完下一个token之后，都可通过精确的执行时间预测和创新的token级调度算法规划是否需要切换模型，从而实现多个模型混合服务且满足延迟要求。

同时，通过组件复用、显存精细化管理和KV缓存同步优化等全栈技术，Aegaeon将模型切换开销降低97%，确保了token级调度的实时性，可支持亚秒级的模型切换响应。

Aegaeon系统支持单GPU同时服务多达7个不同模型，相比现有主流方案提升1.5-9倍的有效吞吐量，实现2-2.5倍的请求处理能力。

图｜Aegaeon显著提升GPU利用率

成果应用

目前，Aegaeon核心技术已在阿里云百炼平台部署，服务数十个模型的推理，将服务这些模型所需的GPU数量减少了82%。截至目前，阿里云百炼平台已上线Qwen、Wan、DeepSeek等200多款业界领先的模型，过去一年，阿里云百炼平台的模型调用量增长了15倍。

阿里云AI基础设施成果入选顶会_热门资讯-阿里云政企业务