近日，在多媒体领域国际顶级会议ACM Multimedia 2025（ACM MM 2025），阿里云论文《Tora2: Motion and Appearance Customized Diffusion Transformer for Multi-Entity Video Generation》成功入选主会，并以Oral报告形式，向参会者展示研究成果。

值得关注的是，视频生成技术Tora2的前置1.0版本，早期已在国际计算机视觉与模式识别顶会CVPR 2025中获得学术界广泛关注，魔搭平台对应下载量破4000次

本次升级后的Tora2版本，更是性能全面领先，在MSRVTT-Personalization基准测试中，外观保真度达到当前最优水平，在业界首次实现了对多主体外观与运动的联合端到端控制，有效消除身份漂移与动作失真问题，生成结果在时序连贯性与语义稳定性上得到显著提升。简单来说，用户仅需提供各主体的图像、文字描述及简单运动轨迹，即可一键生成身份清晰、动作精准、语义一致的高清视频。

研究背景

多主体视频生成的两大瓶颈

当前AI视频生成技术已取得长足进展，但在处理多主体场景时仍面临显著挑战：

身份一致性难以维持：多个主体同框时易“脸崩”、角色混淆或细节失真。
动作独立控制力不足：缺乏对单个主体运动轨迹的独立指定能力，无法实现类似“谁往哪走、怎么动”的细粒度操控。

现有方法或局限于单主体定制，或依赖分阶段生成流程，易造成质量断层、控制失效，难以满足真实创作需求。

技术突破

Tora2三大核心创新

为攻克上述难题，阿里云团队构建了Tora2框架，通过三大关键创新技术实现高可控、高保真的多主体视频生成效果：

解耦个性化提取器(DPE)

针对不同主体类型，采用差异化的特征提取策略：譬如针对人脸，调用人脸识别模型，精细捕捉五官结构；针对物体，则保留整体轮廓与高频纹理（如衣物褶皱、毛发质感、金属反光等）。以此方式，即使面对高度相似的角色（如两位穿白衬衫的人），也能精准区分并还原各自身份，有效避免“脸混”或“物混”。

门控自注意力绑定机制

为每个主体建立专属的“指令通道”，将用户输入的参考图、文本描述与运动轨迹三者动态绑定至对应角色。譬如，当指令为“猫跳跃、男人走路、气球飘浮”时，系统能确保动作精准作用于目标主体，即使三者距离相近也不会发生动作错配，以显著提升动作控制的稳定性与准确性，规避“鬼畜”或角色行为互换等失控现象。

运动-外观对比学习策略

在训练阶段引入语义—运动对齐约束，教会模型理解“身份应匹配何种动作风格”的现实世界潜在规律——如猫常轻盈跳跃、人多稳健行走、气球应缓慢漂浮。通过隐空间对齐，确保生成角色不仅“长得像”，而且“动得合理”，消除“人脸+机械臂”等违和组合，确保最终输出视频兼具身份保真度与动作合理性，整体自然度、可信度大幅提升。

此次ACM MM入选成果，标志着阿里云在可控生成式AI领域，再次迈出突破性的一步。其核心技术现已集成至阿里云百炼专属版AIGC视频平台，面向数字内容生产、虚拟交互、智能仿真等场景，提供强大而灵活的高可控视频生成能力。

阿里云Tora2入选国际顶会_热门资讯-阿里云政企业务