mca-ctrl（多方协同注意力控制）是由中国科学院计算技术研究所和中国科学院大学推出的一款用于图像定制生成的框架。它利用文本和复杂视觉条件生成高质量图像。mca-ctrl采用了两种注意力控制策略：自注意力全局注入（sagi）和自注意力局部查询（salq），以及一个主体定位模块（slm），解决了背景不一致和主体混淆等问题。mca-ctrl在零样本图像定制方面表现优于现有方法，能够有效保持主体特征和条件信息的一致性。

MCA-Ctrl的主要功能

• 高质量图像定制：在文本或图像条件下生成高质量的定制图像，保持与条件输入的语义一致性。
• 主体特征保持：在复杂的视觉场景中，准确捕捉特定主体的外观和内容，同时避免主体泄漏和混淆问题。
• 背景一致性：在图像条件生成中，保持背景的一致性。
• 零样本生成：支持直接在零样本条件下生成高质量的图像。
• 多种任务支持：支持多种图像定制任务，包括主体生成、主体替换和主体添加等。

MCA-Ctrl的技术原理

• 多主体协同扩散过程：基于三个并行的扩散过程，主体扩散过程（Bsub）、条件扩散过程（Bcon）和目标扩散过程（Btgt）。主体扩散过程处理主体图像，条件扩散过程处理条件图像或文本，目标扩散过程生成最终的定制图像。
• 自注意力层操作：自注意力全局注入（SAGI）将主体和条件图像的全局自注意力特征注入到目标扩散过程中，增强目标图像的细节真实性和内容一致性。SAGI操作有助于纠正由局部查询引起的特征混淆。目标扩散过程基于查询主体和条件图像的局部特征，获取主体的外观和背景内容。SALQ操作确保生成的图像在主体和背景上与条件图像保持高度一致性。
• 主体定位模块（SLM）：为在复杂视觉场景中准确识别和定位主体，引入主体定位模块。SLM结合目标检测模型（如DINO）和分割模型（如SAM），处理多模态指令，输出精确的主体图像层和可编辑图像层，减少特征混淆和伪影。
• 无调优框架：MCA-Ctrl不需要对每个主体进行单独的微调训练，基于注意力控制策略和主体定位模块，在零样本条件下实现高质量的图像定制。

MCA-Ctrl的项目地址

• GitHub仓库：https://www.php.cn/link/dcbe4be7606b574be9a50c64ffbe5254
• arXiv技术论文：https://www.php.cn/link/1a01b448690083588db6c9dbc171031a

MCA-Ctrl的应用场景

• 数字内容创作：快速生成游戏、动画中的角色和场景。
• 广告与营销：制作个性化广告图像和品牌推广素材。
• 娱乐与社交媒体：生成个性化头像、图片和社交媒体内容。
• 教育与培训：辅助教学材料制作，创建虚拟实验室场景。
• 艺术与设计：提供艺术创作灵感，辅助室内设计预览。