草绘视频是什么

草绘视频是由中国科学院大学、香港科技大学以及快手可灵团队共同推出的一个以草绘为基础的视频生成与编辑框架。通过在关键帧上绘制草绘，并结合文本描述，可以精确地操控视频的空间布局及动态变化。该框架基于dit视频生成模型，引入了高效的草绘控制网络，包括草绘控制模块和帧间注意力机制，能够将关键帧中的草绘信息有效传递至整个视频的所有帧中。草绘视频适用于真实或合成视频的精细调整，其核心在于视频插入模块与潜在融合技术，确保新增内容与原视频在空间和时间上的协调统一，同时保持未改动部分的原有细节。

草绘视频的主要功能

• 视频生成：利用草绘和文本生成全新的视频内容。
• 视频编辑：通过关键帧上的草绘调整视频内容。
• 动态调整：支持动态插值和外推操作。
• 细节保存：在编辑过程中保持未编辑区域的细节完整。
• 高效生产：采用内存优化策略，快速产出高质量视频。

草绘视频的技术原理

• 草绘条件网络：以DiT（基于Transformer的扩散模型）为基石构建专门的草绘条件网络。此网络由若干个草绘控制模块组成，用于预测跳过模块的残差特征。这些模块分散于DiT的不同层级，从而在各层特征中融入控制信号。
• 帧间注意力机制：借助帧间注意力机制，把关键帧上的草绘条件信息扩展至所有视频帧。通过计算所有帧隐藏特征与控制帧隐藏特征的关系，实现草绘特征的时空传播。
• 视频插入模块：针对视频编辑任务，设计视频插入模块，分析输入草绘与原始视频的关系。该模块生成的内容需与原始视频在空间和时间上相匹配，确保编辑后视频的整体流畅性。
• 潜在融合技术：在推理阶段，采用DDIM（去噪扩散隐式模型）反演生成输入视频的噪声潜在编码。在未编辑区域替换这些编码，维持原始视频的细节，使编辑后的视频看起来更加自然且连续。
• 混合训练方法：运用混合训练策略，结合图像和视频数据进行训练。首先使用图像和视频数据进行初步训练，加快收敛速度并解决视频数据不足的问题；随后再专注于视频数据，进一步改善时间连贯性。

草绘视频的项目链接

• 项目主页：https://www.php.cn/link/4aa4ea2242e37a3ccc67f8516fb21ecd
• GitHub仓库：https://www.php.cn/link/c7b591af74393bac468f20e73f66fc6a
• arXiv技术文档：https://www.php.cn/link/69a278df0e948bfa4fdfcfcbda822c73

草绘视频的实际应用

• 电影与广告业：迅速创建创新视频和特效预览，改进制作流程，减少时间和成本支出。
• 教育领域：协助制作教学视频和培训资料，增强教学成效。
• 游戏行业：快速生成关卡预览和角色动画，提升开发效率。
• 个人创作：轻松制作个性化短视频，降低创作难度。
• 建筑设计：生成建筑和室内设计的动态预览，加强客户交流。