MuScriptor是什么

核心要点：MuScriptor是一个开源多乐器音乐转录模型。由Kyutai和Mirelo联合开发。

它能将真实音乐音频自动转换成标准MIDI文件。无论是手机录制还是网上下载的音频都可以处理。

关键突破在于：此前类似模型大多在合成数据上表现良好。而MuScriptor是在17万首真实歌曲上训练的。它首次实现了端到端的纯解码器Transformer架构。

目前提供四种参数规模：60M、103M、307M、1.4B。代码采用MIT协议开源。支持乐器条件控制，你可以指定模型只转录吉他或只转录鼓。

MuScriptor的主要功能

• 多乐器音频转录：自动将多乐器音频转成标准MIDI，支持钢琴、吉他、鼓、贝斯等36类乐器。
• 多流派音乐支持：能处理流行、古典、摇滚、重金属等多种风格，混音场景复杂也没问题。
• 乐器条件控制：可指定模型只转录特定乐器，如只保留钢琴和鼓。跨片段时乐器识别一致性非常稳定。
• 多规格模型选择：提供60M、103M、307M、1.4B四种参数规模，兼顾边缘设备和高精度需求。
• 端到端自动处理：输入音频后，模型自动切分成5秒切片，完成分帧、特征提取、音符检测，直接输出MIDI。

MuScriptor的技术原理

核心架构

纯解码器Transformer架构：输入为5秒音频切片（16kHz单声道）。先转成mel-spectrogram，再通过自回归方式逐步预测MIDI-like token序列。最终端到端完成多乐器转录。

训练策略

三阶段训练策略：第一阶段用150万首合成MIDI数据做预训练。第二阶段用17万首真实音乐微调。第三阶段用300首高质量标注数据，通过GRPO风格强化学习后训练。

乐器控制与数据增强

乐器条件控制：通过前缀嵌入指定目标乐器集合。使用classifier-free guidance稳定跨片段乐器分配，避免出现片段识别不一致的情况。

数据合成与增强管线：预训练阶段采用动态合成流程。对MIDI进行音高偏移、速度变化、乐器随机化等符号级增强。使用250多种soundfont合成音频，并加入随机失谐，提升泛化能力。

如何使用MuScriptor

• 环境准备：克隆GitHub仓库，安装依赖，确保Python和PyTorch框架就位。
• 下载权重：从官方渠道获取对应参数规模的模型权重文件，可选103M、307M或1.4B。
• 加载模型：用官方推理代码初始化模型。如需启用乐器条件控制，在此步骤设置。
• 输入音频：将音频文件输入模型，模型会自动切分为5秒片段处理。
• 获取MIDI：模型输出标准MIDI文件，可直接导入DAW或乐谱软件进行后续编辑。

MuScriptor的核心优势

真实世界泛化能力最强

相比主要依赖合成数据训练的模型（如MT3），MuScriptor在17万首真实多乐器音乐上训练过。在复杂真实混音场景下错误率明显降低。官方表示这是迄今最好的开源多乐器转录模型。

强化学习对齐高质量输出

通过后训练阶段的GRPO风格强化学习，在音符onset、offset和frame级别的F1分数上均有提升。漏检和误检情况显著减少。

灵活的乐器条件控制

可指定转录哪些乐器，输出更精简。跨音频片段时乐器识别一致性很好，避免前后不统一的问题。

多规格开源

提供从60M到1.4B四种模型规模，满足边缘设备和高精度需求。代码为MIT开源，权重为CC BY-NC 4.0可获取。

MuScriptor的项目地址

• GitHub仓库：https://github.com/muscriptor/muscriptor
• HuggingFace模型库：https://huggingface.co/MuScriptor
• arXiv技术论文：https://arxiv.org/pdf/2607.08168v1

MuScriptor的同类竞品对比

以下为MuScriptor与YourMT3+的直观对比：

• 发布方：MuScriptor由Kyutai和Mirelo联合出品，YourMT3+来自学术研究团队。
• 架构：MuScriptor采用纯解码器Transformer，YourMT3+采用分层注意力Transformer加MoE。
• 训练数据：MuScriptor使用150万合成MIDI、17万真实音乐及300首RL数据，YourMT3+使用小规模合成数据加有限真实数据。
• 核心策略：MuScriptor依靠真实数据微调和强化学习后训练，YourMT3+依靠架构改进和跨数据集增强。
• 乐器控制：MuScriptor支持显式乐器条件控制，YourMT3+不支持。
• 开源协议：MuScriptor代码为MIT、权重为CC BY-NC 4.0，YourMT3+部分开源。
• 真实音频表现：MuScriptor的Multi F1约41.6，显著领先，YourMT3+作为baseline已被超越。
• 力度信息：MuScriptor分词器暂不支持，YourMT3+视具体实现而定。

MuScriptor的应用场景

音乐制作辅助

制作人可将没有MIDI的现有音频快速转成可编辑的MIDI轨道，用于重新编曲、混音或采样。

乐谱自动生成

音乐教育机构和出版方可将录音自动转成乐谱，大幅节省人工扒谱成本。

音乐信息检索

为和弦识别、调性分析、风格分类等下游任务提供高质量的符号化输入。

生成式音乐建模

为音乐生成模型提供大规模、高质量的MIDI训练数据，推动符号音乐生成研究。

音乐考古与存档

将历史录音、现场演出等非结构化音频转成结构化MIDI数据，便于数字化保存和分析。

《夸克》非常好用的免费AI浏览器

下载APP查看