mv-math：一个用于评估多模态大语言模型数学推理能力的新基准数据集

MV-MATH是由中国科学院自动化研究所推出的一套全新基准数据集，旨在评估多模态大语言模型（MLLMs）在复杂视觉场景下的数学推理能力。该数据集包含2009道高质量的数学题，每道题都巧妙地结合了2到8张图像和文本描述，构建出图文并茂的多视觉场景。题型涵盖选择题、填空题和多步问答题，涉及11个数学领域，包括代数、几何（解析几何、度量几何、立体几何、组合几何、变换几何）、组合学、逻辑、统计学和算术，并按难度分为三个等级。

MV-MATH 的核心功能：

• 多视觉场景下的推理能力评估: 数据集中的题目并非简单的文字题，而是将图像和文本信息紧密结合，模拟真实的数学问题情境，从而更全面地测试模型处理多模态信息的能力。
• 广泛的数学领域覆盖: 涵盖11个数学分支和3个难度级别，能够对模型在不同数学领域和难度下的推理能力进行全面的评估。
• 图像关联性分析: MV-MATH 首次引入了图像相关性标签，将数据集细分为相互依赖集（MD）和独立集（ID），方便研究者分别评估模型在处理相关和独立图像时的推理性能。
• 教育应用潜力: 数据集源于真实的K-12教育场景，可用于开发更先进的智能辅导系统，帮助学生更好地理解和解决复杂的数学问题。
• 多模态学习研究的标准化工具: MV-MATH 为多模态学习研究提供了一个标准化的评估平台，帮助研究人员识别并改进模型在数学推理方面的不足。
• 高质量的数据标注: 每个样本都经过至少两位标注员的交叉验证，并包含问题、答案、详细分析和图像关联性标注，确保数据的准确性和可靠性。
• 真实场景问题: 所有题目都来源于真实场景，保证了数据集的实用性和可靠性。

MV-MATH 的技术原理：

数据集根据图像间的关联性被分为两类：

• 相互依赖集 (MD): 图像之间存在相互依赖关系，理解其中一张图像需要参考其他图像。
• 独立集 (ID): 图像之间相互独立，可以单独理解。

MV-MATH 的访问途径：

• 项目官网: https://www.php.cn/link/06f46a725a4bdc070e07b09bb7d05dce
• Github 仓库: https://www.php.cn/link/06f46a725a4bdc070e07b09bb7d05dce
• arXiv 技术论文: https://www.php.cn/link/06f46a725a4bdc070e07b09bb7d05dce
• HuggingFace 数据集: https://www.php.cn/link/06f46a725a4bdc070e07b09bb7d05dce

MV-MATH 的应用场景：

MV-MATH 数据集的应用前景广泛，包括但不限于：

• 智能教育: 开发更智能的数学辅导系统。
• 多模态学习研究: 提供标准化评估工具，推动多模态学习技术发展。
• 模型性能分析: 识别和改进模型在数学推理中的不足。
• 多图推理任务: 开发和优化处理多图信息的解决方案。
• 自动化评估: 用于构建更准确可靠的自动化考试系统。

《夸克》非常好用的免费AI浏览器

下载APP查看