NeurIPS Spotlight|从分类到生成:无训练的可控扩散生成

斯坦福大学、北京大学和清华大学的研究团队联合推出一项突破性研究成果:无训练指导(training-free guidance,tfg) 框架,为扩散模型的条件生成难题提供了全新的解决方案。该框架已被neurips 2025接收为spotlight论文。

挑战:扩散模型条件生成的瓶颈

扩散模型在图像、视频、音频和分子设计等领域表现出色,但生成满足特定条件(标签、属性或能量分布)的样本,通常需要针对每个目标单独训练模型,效率低下且限制了应用潜力。现有无训练指导方法虽然避免了额外训练,却缺乏理论支撑,性能不稳定且难以调参。

TFG框架的创新之处

TFG框架通过以下关键创新解决了上述问题:

  1. 统一设计空间:将现有无训练指导方法统一在一个框架下,简化比较并提升性能。通过多维超参数设计,TFG提供了灵活的任务适配能力。

  2. 高效超参数搜索策略:自动化策略,无需繁琐的调参过程,快速找到最优超参数组合,适用于各种下游任务。

  3. 全面基准测试:在7种扩散模型和16项任务(涵盖图像、分子、音频等)上进行了广泛实验,平均性能提升8.5%,超越现有最佳方法。

论文标题:TFG: Unified Training-Free Guidance for Diffusion Models
论文链接:https://www.syai.cn/link/e98549a4cb29369fb6dbb48ab0b6e018
项目地址:https://www.syai.cn/link/5d252ff9d89ac9d3420b565f70fccd08

TFG的核心机制:

TFG利用Tweedie公式,通过预训练扩散模型预测样本分布均值,并利用判别器打分,通过反向传播指导去噪过程。 其核心机制包括:均值指导(Mean Guidance)、方差指导(Variance Guidance)、隐式动态(Implicit Dynamics)和递归机制(Recurrence)。这些机制协同工作,提高了条件生成任务的性能。

TFG的设计空间与超参数优化:

TFG定义了一个包含时间相关向量(ρ和μ)及时间无关标量(递归次数、梯度计算迭代次数、高斯平滑参数)的超参数空间。研究团队提出了递增、递减和恒定三种结构来组织这些参数,并通过分步搜索策略高效地找到最优超参数组合。

实验结果与应用前景:

TFG在精细类别生成、分子生成、多目标条件生成和音频生成等任务中均取得了显著成果,展现了其广泛的适用性和优越的性能。 TFG有望在药物设计、精准医学、复杂音频生成和高级图像编辑等领域发挥重要作用。

该研究重新定义了扩散模型的可能性,为高效、灵活、高性能的条件生成提供了坚实的基础。

以上就是NeurIPS Spotlight|从分类到生成:无训练的可控扩散生成的详细内容,更多请关注视野AI【www.syai.cn】。

相关推荐:

全球首次运载火箭网系回收!我国长征十号乙运载火箭成功实现一子级可控回收

感谢网友RRR、Anon_Tokyo、Glory_Brave的线索投递! 7月10日消息,据央视新闻今日报道,长征十号乙运载火箭在海南商业航天发射场发射升空,火箭一二级分离约6分钟后,一子级垂直返回,在海上回收平台成功回收。这是我国首次成功实施运载火箭一子级可控回收,同时也是全球首次运载火箭网系回收...

国产智能盾构换刀机器人正式投用:500 公斤负载能力,拥有 11 个独立可控活动关节

感谢网友files的线索投递! 6月25日消息,据新华社消息,今日在厦金大桥(厦门段)环岛路隧道“厦金号”盾构机掘进现场,国产智能盾构换刀机器人正式投用。据介绍,机器人拥有11个独立可控活动关节,具备高避障能力与精细操作能力,凭借500公斤的负载能力和灵活伸缩的结构,可覆盖10米至18米级超大直径盾...

火山引擎发布豆包音频生成模型 1.0,支持多模态参考生成与长时音色一致性

感谢网友龙爪槐守望者的线索投递! 6月24日消息,昨天火山引擎正式发布了豆包音频生成模型1.0(Doubao-Seed-Audio1.0),首次支持参考生成:把文本、音频任一模态作为输入,可以端到端生成目标音频。并且,它能在长时生成场景中保持多角色音色的一致性,大幅减少后期修音工作。借由豆包音频生成...

中美合拍:Utopai Studios 与华策影视将共同制作全 AI 生成《西游记》动画

感谢网友会弹琴的九号、不一样的体验的线索投递! 6月23日消息,据《综艺》杂志当地时间22日报道,美国AI公司UtopaiStudios与华策影视宣布达成战略合作,首个项目将以中国文学名著《西游记》为基础,制作一部完全由AI生成的动画剧集《西游记:失落的五百年》。《西游记:失落的五百年》将填补原著中...

微博 CEO 王高飞澄清“被金山 WPS 背刺”言论:系 AI 生成“自己养的虾发的”

感谢网友晚风叙旧、不一样的体验的线索投递! 6月21日消息,今天有话题“被wps背刺了”登上微博热搜,话题核心内容聚焦在金山WPS存储占用、数据安全与商业策略这几个核心痛点上。参考“观察者网”微博,有网友发现微博CEO王高飞(@来去之间)“也参与到这个热搜话题”,相关博文声称“被WPS背刺了?我们真...

阿里巴巴发布视频生成模型 HappyHorse 1.1:更强动态表现力、更高生成一致性、更优视觉质感

感谢网友华南吴彦祖的线索投递! 6月22日消息,今日阿里巴巴发布视频生成模型HappyHorse1.1,较1.0版本,在动态表现力、主体一致性、指令遵循、视觉质感和音频能力等维度系统性升级。HappyHorse官网、阿里云百炼和千问云均已接入最新版本。在技术规格上,HappyHorse1.1与1.0...

米哈游 AI 女友陪伴软件“林离 Olivia”上架 Steam:支持 MIDI 上传生成音乐视频,支持桌面动态壁纸

感谢视野AI网友肖战割割、软媒新友2010825的线索投递! 视野AI6月19日消息,米哈游旗下《BSide:OliviaLin》6月18日在Steam平台公开了商店页面,发售日期暂未公布,目前已支持添加愿望单。Steam商店页面显示,该软件的开发者与发行商均为miHoYo,带有“免费游戏”标签,还...

谷歌推出 DiffusionGemma 文本扩散模型:本地 AI 推理速度提升 4 倍

感谢视野AI网友乌蝇哥的左手、华南吴彦祖的线索投递! 视野AI6月11日消息,谷歌今天(6月11日)发布公告,宣布推出DiffusionGemma,是基于文本扩散机制的开放AI模型,相比较自回归模型在本地推理速度上提升了4倍。视野AI注:自回归模型(AutoregressiveModel)是当前主流...