【论文精读】ColorizeDiffusion：基于参考图像和文本的可调整草图上色方法

neverbiasu大约 8 分钟

【论文精读】ColorizeDiffusion：基于参考图像和文本的可调整草图上色方法

摘要

ColorizeDiffusion由东京工业大学研究团队提出，旨在解决草图上色中的"分布问题"——参考图像与草图结构的平衡困境。基于扩散模型，该方法通过三种创新训练策略和零样本文本调控，实现精确可控的上色效果，支持动漫/漫画风格创作。

现有参考图像上色方法面临一个根本性矛盾。即使是先进的T2I（Text-to-Image）模型，在结合如ControlNet等工具进行草图引导上色时，也可能出现"分布问题"。如下图所示，当文本提示与草图结构存在潜在冲突时（例如，提示中描述的服装覆盖了草图中的手臂区域），模型可能优先遵循文本提示，导致与草图不一致的分割和颜色分配，尤其是在预期为肤色的区域。具体而言，下图展示了网络在手臂区域优先处理提示条件而非草图，导致非预期的上色差异，尤其是在预期为肤色的区域，造成视觉上不协调的分割。此结果由ControlNet_lineart_anime + Anything v3框架生成。

核心挑战：参考图像提供了丰富的颜色信息，但往往导致结果优先参考图像信息而忽略草图结构。
本质分析：在分布层面，上色结果分布 $$p(z|s,r)$$ 偏离单纯基于草图的分布 $$p(z|s)$$，导致结构失真。下图直观地展示了这一问题：训练后，优化后的条件生成分布 $$p_{\theta}(z|s,r)$$ 的大部分区域会偏离仅基于草图的理想分布 $$p(z|s)$$。

图像特征表示与CLS标记

在理解ColorizeDiffusion的创新之前，需要了解视觉特征表示的基本概念：

CLS标记（Class Token）：源自视觉Transformer（ViT）和CLIP等模型，是一种特殊标记，用于捕获整个图像的全局特征。它通常位于序列开始位置，经过自注意力机制后包含图像整体语义信息。
本地标记（Local Tokens）：代表图像不同区域的局部特征，保留位置和细节信息，有助于精确控制特定区域。

ColorizeDiffusion基于这两种特征表示方式，设计了全局CLS模型和局部注意力模型两种变体，分别适用于不同精度和效率需求的上色场景。

三大创新点

分布问题解决策略：提出丢弃训练、噪声训练和双条件训练三种策略，系统解决参考图像与草图结构的平衡问题
双重模型架构：设计CLS模型（全局特征）和注意力模型（局部特征）两种架构，适应不同应用场景和用户需求
零样本文本调控：无需重训练即可通过文本提示精确调整上色结果，支持全局和局部两种调控机制

方法与创新点

架构概览

ColorizeDiffusion基于Stable Diffusion微调，包含两种主要模型变体：

模型类型	特征获取	优势	应用场景
CLS模型	仅使用CLS标记（全局特征）	参数少、计算高效、操作简单	全局颜色调整、快速原型
注意力模型	使用所有本地标记（局部特征）	质量高、保留结构好、局部控制精确	精细上色、细节调整

下图展示了CLS模型的训练流程示意图。

三种解决"分布问题"的创新策略

丢弃训练：
- 训练中高概率（0.75-0.8）随机丢弃参考图像
- 减缓交叉注意力模块优化，保持模型对草图结构敏感
噪声训练 （最有效）：
- 向参考图像特征添加动态噪声：$$\tau_{\phi,t}(r)=\alpha_t \cdot \tau_{\phi}(r) + \beta_t \cdot \epsilon_r$$
- 降低参考图像语义权重，同时避免模型退化为编码器解码器
双条件训练：
- 添加辅助损失项：$$\lambda \cdot |\epsilon^{\prime} - \epsilon^{{\prime}_{\theta}(z}{\prime}_t,t,s)|^2_2$$
- 直接惩罚仅基于草图结果与真实图像差异