|
这项由瑞士洛桑联邦理工学院(EPFL)、当A多步到位等攻法国Valeo.ai及索邦大学联合主导的图从题研究成果,以预印本形式于2026年7月2日发布,走变论文编号为 arXiv:2607.02375。成步成难读者可通过该编号获取完整技术细节。克单 当前,步图Midjourney、像生FLUX等主流AI绘图工具虽能产出惊艳画面,当A多步到位等攻但其底层逻辑往往依赖多步迭代(如20至50步),图从题类似画家从草稿到定稿的走变繁琐过程。这种“多步走”策略虽保证了准确性,成步成难却严重限制了推理速度。克单本研究旨在解决这一核心痛点,步图提出了一种名为“表征分布匹配”(Representation Distribution Matching,像生 RDM)的新范式,并进一步推出了改进版 iRDM。当A多步到位等攻研究证明,单步生成的图像质量不仅可行,甚至可超越传统四步模型,实现了从“逐步修正”到“一步到位”的技术跨越。 一、核心原理:为何“一步画图”极具挑战?理解这一突破的关键,在于厘清AI如何定义图像的“真实性”。 在生成式AI中,判断图像质量本质上是衡量生成数据分布与真实数据分布之间的差异。传统扩散模型和流匹配模型采用“逐步去噪”策略,如同遵循详细菜谱烹饪,必须按顺序完成每一步,导致推理缓慢。 RDM则采取了截然不同的思路:直接约束最终结果的分布。它不规定中间过程,而是要求生成图像在特征空间中的统计分布与真实图像一致。这种“结果导向”的机制天然支持单步生成。然而,如何精准衡量“分布一致性”以及选择何种“特征空间”,成为本研究攻克的两大技术难点。 二、双维设计:比较方式与特征空间解耦研究团队将RDM框架解耦为两个独立维度,以消除以往研究中变量耦合带来的干扰:
通过类比葡萄酒鉴赏,“比较方式”如同评判标准(酒精度、单宁等),“比较场所”如同品鉴维度(香气、口感等)。以往方法常将二者绑定,导致难以归因。本研究通过独立测试这两个维度,找到了最优组合。 三、技术突破一:重估“最大均值差异”(MMD)在比较方式维度,研究团队发现曾被业界弃用的最大均值差异(MMD),若修正估算方法,实则极具潜力。 1. MMD的误区与修正传统MMD包含两项: 此前MMD效果不佳,主要源于对“吸引项”的估算存在高噪声。研究团队引入Nystrom近似技术,从ImageNet等大规模数据集中选取4096个代表性“地标点”,构建一个固定的全局参考点。训练时,模型只需将生成图像与此固定参考点比对,避免了每次重新采样真实数据带来的噪声波动。 2. 实验验证在64维螺旋数据重构测试中,Nystrom-MMD在所有批量大小下均表现出最高的稳定性与准确性,显著优于精确MMD、随机傅里叶特征MMD及Sliced-Wasserstein等方法。 四、技术突破二:大批量训练与联合分布匹配1. 梯度缓存与大批量优势研究团队利用梯度缓存(Gradient Accumulation)技术,突破了显存限制,实现了远超业界常规的大批量训练(5120至10240张/批次)。实验显示,批量过小会导致估计噪声过大,而5120左右的批量能在计算预算内达到质量最优区间。 2. 联合图文匹配(Joint Distribution Matching)针对条件生成任务中常见的“图文不符”问题,团队设计了联合分布匹配方案。将图像特征与文本描述特征拼接后共同进行分布匹配,强制模型同时满足“视觉真实”与“语义一致”双重标准。 五、技术突破三:多编码器集成与动态权重分配1. 单一评委的局限性实验表明,仅依赖单一顶级编码器(如DINOv2)进行优化,会导致模型“过拟合”该编码器的特定偏好,产生视觉上的瑕疵(如物体结构不合理)。这揭示了单一评判标准的盲区。 2. “评审团”机制研究团队组建了一个包含10个不同范式预训练模型(如Inception, CLIP, DINOv3, SigLIP2等)的“评审团”。为确保公平,团队引入了基于强化学习思想的PID拉格朗日方法进行动态权重分配: 六、评估体系创新:SWr14评分标准为避免模型“应试训练”,研究团队设计了全新的评估指标 SWr14: 该指标具有极高的抗作弊性,能真实反映图像质量。 七、iRDM在ImageNet上的卓越表现在ImageNet-256标准测试中,iRDM从基线模型优化4000步后,取得了突破性成绩: 八、从四步FLUX到一步FLUX:高效蒸馏研究团队将iRDM应用于商业级模型 FLUX.2 [klein](40亿参数,四步生成),实现了高质量的一步蒸馏: 消融实验证实,联合图文匹配是提升提示词忠实度的关键因素。 九、消融实验:距离函数与权重策略对比1. 距离函数排名在同等条件下,六种距离函数的效果排名为: 注:Nystrom-MMD优于精确MMD,证明低秩近似提供了更平滑的梯度;优化与评估解耦至关重要。 2. 权重分配策略对比“平均分配”与“拉格朗日控制”: 十、总结与展望iRDM通过Nystrom-MMD、大批量训练、联合图文匹配、多编码器动态加权及SWr14评估,系统性地解决了单步生成的质量难题。 对用户的意义: 尽管SWr14得分(1.30)与完美基准(1.0)仍有差距,但iRDM已迈出坚实一步。未来优化方向包括多尺度核函数、任务特定编码器组合及更丰富的条件耦合方式。 Q&AQ1:iRDM为何只需一步即可生成图像,而无需像扩散模型那样多步迭代? Q2:为何需要多个编码器共同评判,单个顶级编码器(如DINOv2)不够吗? Q3:SWr14评分中“1.0”的含义及为何已发布模型均高于1.30? |

