点击放大
研究背景 · ABSTRACT
该文针对传统全能图像修复模型受限于固定退化先验、难以应对真实场景复杂退化的问题，提出了基于强化学习的语义引导自适应修复框架SPIR。SPIR由两个核心模块组成：DPO-SGM通过多尺度特征建模退化状态，在连续动作空间中自适应生成动态语义提示，并利用直接偏好优化隐式表征修复质量；HITR从中间层提取局部结构信息，将动态提示注入对应层级以实现语义调制和特征对齐。框架还引入D-MTA和SGC以细化重建特征。
点击放大
研究成果 · CONTRIBUTIONS
本文提出了SPIR强化学习驱动的动态提示引导图像修复框架，旨在复杂退化条件下实现更精细的细节恢复和更优的视觉质量。该框架包含两个核心模块：语义提示生成模块（DPO-SGM）和分层集成Transformer重建模块（HITR）。DPO-SGM利用多尺度特征对图像退化状态建模，并自适应生成动态提示，为后续修复过程提供语义引导；HITR将这些动态提示注入Transformer中间层，实现语义信息与视觉特征的有效对齐，从而增强模型对复杂退化模式的适应能力。
此外，SPIR融合了深度可分离多头转置注意力和提示引导卷积增强网络（SGC），在细节保持与整体视觉质量之间取得良好平衡。实验结果表明，SPIR在去噪、去雾、去雨和低光增强任务中显著优于现有方法，展现了其处理复杂多样退化场景的有效性与鲁棒性。