mm-storyagent：一个开源的多模态、多智能体故事绘本视频生成框架

上海交通大学X-LANCE实验室和阿里巴巴集团联合打造的MM-StoryAgent，是一个开源框架，旨在生成沉浸式、有声的故事绘本视频。它巧妙地结合了大型语言模型（LLMs）和多种模态的生成工具（包括文本、图像、音频），并采用多阶段写作流程和模态特定提示微调机制，显著提升了故事的吸引力和沉浸感。 该框架具有高度的模块化设计，允许开发者灵活替换不同的生成模型和API。MM-StoryAgent不仅提升了故事质量，还在图像、语音、音乐和音效之间实现了更好的同步，为儿童故事书的自动化创作提供了一个高效、灵活且极具表现力的解决方案。

核心功能:

• 高质量故事创作: 通过多智能体协作和多阶段写作流程，创作出引人入胜、寓教于乐且富有情感共鸣的故事。
• 多模态内容整合: 融合文本、图像、语音、音乐和音效等多种模态，为用户带来丰富的沉浸式体验。
• 角色视觉一致性: 利用角色提取和提示微调技术，确保故事中角色在视觉上保持一致。
• 模态内容精准匹配: 通过提示微调和对比学习模型，优化文本与图像、音频之间的匹配度，提升故事整体的连贯性。
• 灵活的模块化架构: 支持灵活替换各种生成模块（例如不同的文本生成模型、图像生成模型等），方便开发者根据自身需求进行定制和优化。

技术原理:

MM-StoryAgent的核心技术基于以下几个方面：

• 多智能体协作架构: 模拟业内人士与专家之间的合作流程，生成故事大纲和章节内容。这种模拟人类头脑风暴的机制，为故事提供了更丰富的创意和吸引力。 它将文本故事转化为适合各种生成模型的提示信息，并通过“修订者-审核者”的多轮协作机制，不断优化提示的质量。
• 多模态生成技术:
  • 文本生成: 利用大型语言模型 (LLMs) 生成故事文本。
  • 图像生成: 使用扩散模型（例如 StoryDiffusion）生成与故事内容相符的图像，并通过角色提取技术确保角色在多帧图像中的一致性。
  • 音频生成: 利用文本转语音 (TTS) 模型生成旁白，并使用 AudioLDM2 或 MusicGen 等模型生成音效和背景音乐。
  • 视频合成: 将生成的图像、音频和文本内容整合，最终生成完整的有声故事视频。
• 模态内容精准匹配优化: 使用对比学习模型（例如 CLIP、CLAP）评估生成内容与文本之间的匹配程度，并通过提示微调机制优化生成效果。
• 模块化设计: 框架支持灵活替换各种生成模型和API，开发者可以根据需求选择更先进的模型来提升生成质量。

项目信息:

• GitHub 仓库: https://www.php.cn/link/49a0fa0ea45d6c65e0524d65fb737c84
• arXiv 技术论文: https://www.php.cn/link/49a0fa0ea45d6c65e0524d65fb737c84
• 在线体验 Demo: https://www.php.cn/link/49a0fa0ea45d6c65e0524d65fb737c84

应用场景:

MM-StoryAgent的应用场景广泛，包括：

• 儿童教育和娱乐: 生成有趣且富有教育意义的有声故事视频，陪伴儿童学习和成长。
• 数字内容创作: 帮助创作者快速生成多模态故事内容，降低创作成本，提高效率。
• 在线教育: 辅助教学，用故事形式讲解知识，增强学习趣味性。
• 多媒体出版: 自动化生成有声绘本，帮助出版社快速制作多媒体内容。
• 智能设备集成: 应用于智能音箱、平板电脑等设备，提供个性化的故事生成服务。