随着大模型向更高智能层级演进，强化学习在语言理解、决策规划等复杂任务中展现出巨大潜力，但同时，其对算力规模和训练效率的要求也呈指数级增长。
在此背景下，上海创智学院与阿里云展开深度合作，依托PAI灵骏高性能计算平台，在云上构建了稳定、高效的大规模训练环境，双方结合siiRL的分布式优势与阿里云在算力调度、网络优化和存储IO等方面的技术积累，成功实现从16卡到1024卡的平滑扩展，线性吞吐效率超过95%，显著提升训练效能，共同推动国产AI基础设施迈向高效可用的新阶段。

siiRL：全分布式架构的颠覆性突破

上海创智学院AI Infra团队于2025年9月份发布了siiRL框架2.0版本。该框架设计从根本上进行了架构革新，实现了彻底的全分布式设计与多控制器范式；此外，上海创智学院联合阿里云，完成了siiRL框架从16卡到1024卡的稳定扩展，其主要优势表现为：

1.卓越性能与扩展
基于全分布式架构，实现千卡级近线性扩展与业界领先吞吐，性能在Qwen7B-235B(Dense/MoE)等大规模模型上稳定验证。

2.全面适配国产算力
全面适配多家主流国产芯片并完成千卡级扩展验证，为AI基础设施夯实算力底座。

3.灵活易用生态兼容
独创DAG工作流支持无代码算法实验，兼容Megatron/FSDP等主流后端，极大提升研发效率。

4.支持多智能体研究
强大的多智能体协同训练框架，为探索“智能涌现”等前沿课题提供关键基础设施。

图1：siiRL架构概览
技术论文: https://arxiv.org/abs/2507.13833
开源代码仓库： https://github.com/sii-research/siiRL

在阿里云上实现
千卡集群稳定线性扩展

阿里云凭借高性能算力、弹性伸缩、安全合规的云基础设施，为siiRL提供了最可靠的运行平台，使得企业能够在成本可控、效率最大化的前提下，快速落地大规模强化学习业务，主要优势表现在：

1.极致的大规模并行计算优化，支撑未来数十万卡扩展
•阿里云凭借PAI灵骏的超大规模、高性能、低时延算力平台，为siiRL提供了坚实的硬件基座。依托灵骏的万卡弹性算力及siiRL全链路分布式架构、硬件拓扑感知，保障siiRL的DAG编排能够在数分钟内完成16→32→64→512→1024 卡的弹性扩容。
•PAI训练服务支持一键提交siiRL、VeRL、ChatLearn等强化学习任务框架，支持GRPO、GSPO等多种训练方式和Qwen、DeepSeek等主流模型，依托大规模分布式训练能力未来可实现数十万卡异构算力高效管理和调度。
•通过自研灵骏的高速网络RDMA实现跨机通信延迟降至<2μs，显著提升强化学习的收敛速度。
•提供siiRL的算子融合与显存优化配合灵骏的并行存储，支持千万级文件、并发读写，为checkpoint、数据集加载提供了极致的IO能力，满足强化学习中频繁的经验回放与策略更新。

2.高效的软硬一体训练优化，显著降低模型训练研发周期
•基于阿里云PAI平台将计算-通信协同优化、算子优化等技术融为一体，形成多维度联合优化的新范式，实现极致显存优化、超高性能表现和显著成本降低。
•PAI支持全RL学习框架、数据处理框架DataJuicer，具备自动容错和预热加速功能，训练服务实现15倍增长，siiRL负责底层调度与算子优化，研发周期从数月压缩至数周。
•通过memory_utilization动态调度等手段，实现显存不溢出的前提下最大化数据吞吐，显存占用比同等规模基准降低约20%。
•框架在进程亲和性和张量切分上深度结合硬件拓扑，显著降低节点间通信等待，使跨节点带宽利用率提升30%-40%，在大规模集群中尤为关键。

3.深度的框架融合适配，最大化提升单卡吞吐量
•PAI灵骏智算服务实现与siiRL框架的深度适配融合，支持FSDP/Megatron等后端，在同等硬件上比主流框架吞吐提升快2‑7倍。
•结合专为大规模MoE模型训练而生的引擎paiMoE、专为DiT架构模型预训练优化引擎paiFuser、强化学习引擎PAI-RL等加速工具，显著提升训练效率及MFU。

此次阿里云与创智学院的合作，不仅实现了siiRL在千卡集群上的高效稳定运行，更开创了“框架+云平台”软硬一体优化的新范式。未来，双方将持续深化合作，让大模型以更低成本、更高效率、更强安全的方式快速落地，为国产大模型训练和AGI探索提供更强有力的基础设施支撑。

国产RL框架在千卡集群上涌现智能_热门资讯-阿里云政企业务