deepinsight 是小红书团队与西安交通大学合作开发的多模态深度学习模型。该模型通过端到端强化学习实现类似于 openai o3 的“以图推理”能力，且不需要依赖监督微调（sft）。deepinsight 能够在推理时动态调用图像处理工具，例如裁剪和缩放，从而加强其对细节的理解能力。此模型在视觉推理基准测试 v* bench 上取得了 90.1% 的准确率，展示了其卓越的视觉搜索及多模态推理能力。deepinsight 拥有优秀的图像定位功能，有助于减少幻觉现象的发生，提高了模型的可信度和适应性。

DeepInsight的核心功能

• 以图推理：能够直接将图像整合进推理流程中，不仅能观察图像，还能对其进行深入思考，在推理过程中动态地运用图像资料，强化细节识别力。
• 视觉检索：能够在高分辨率图像中迅速找到小目标或模糊区域，借助裁剪和缩放技术进行详尽分析，极大改善了检索精度。
• 幻觉抑制：凭借聚焦于图像细节的能力，减少了模型生成答案时可能出现的错误联想，增强了回答的精确性和稳定性。
• 跨模态推理：实现了视觉与文本推理之间的平滑过渡，增强了模型处理复杂任务的能力。
• 动态工具应用：模型能够自主判断何时应调用图像处理工具，比如裁剪、缩放等，无需外界干预即可完成更高效的推理过程。

DeepInsight的技术基础

• 端到端强化学习：DeepInsight 利用端到端强化学习（RL）来训练模型，无需进行冷启动的监督微调（SFT）。它依据奖励信号直接调整模型行为，使其学会如何在推理中有效地利用图像资源。奖励机制涵盖准确性奖励、格式奖励以及条件工具奖励，保证了模型既给出正确答案又能恰当地使用图像工具。
• 交错多模态思维链：DeepInsight 提出了交错多模态思维链（Interleaved Multimodal Chain-of-Thought, iMCoT），允许模型在推理期间交替处理视觉与文本信息。模型会在每次推理步骤中评估是否需要额外的视觉信息，并据此生成边界框坐标以裁剪图像的关键部分，然后将这些部分再次送回模型作为新的视觉证据。
• 面向工具使用的数据挑选：为了更好地鼓励模型使用工具，采用了面向工具使用的数据挑选策略。训练数据经过严格筛选，确保它们能够有效推动模型掌握工具操作技巧。数据集涵盖了高分辨率图像、图表数据以及推理数据，涉及多种任务类型，有助于提升模型的通用性。
• 工具调用行为演变：在训练进程中，模型的工具调用行为经历了三个阶段：初期试探、积极实践和高效利用。从最初的随机尝试逐步发展到精准且高效的工具调用，最终达到了接近人类水平的视觉推理效果。
• 多模态整合：DeepInsight 将视觉与文本信息紧密结合，构建了一个统一的推理架构。这种整合提升了模型在视觉任务上的表现，并增强了其在多模态任务中的整体效能。

DeepInsight的资源链接

• 项目主页：https://www.php.cn/link/d023e85d1a1d023c26cf4f3ac281651f
• GitHub仓库：https://www.php.cn/link/9ebfbcf53147cac9a71dcad2b6e7a58d
• HuggingFace模型库：https://www.php.cn/link/63cd917a58c3fa3c2aef0de3480f9b5f
• arXiv技术文档：https://www.php.cn/link/4b6e16d36f691eec61154d01871cec76

DeepInsight的实际用途

• 教育指导：解析考试卷中的图表和几何图形，为学生提供详细的解题指引，助力学业进步。
• 医疗服务：分析医学影像资料，协助医生作出诊断，提高诊疗质量和速度。
• 智能出行：实时解读道路状况图像，帮助自动驾驶车辆做出更明智的选择，保障行车安全。
• 公共安全：审查监控录像，发现可疑活动，加强社会治安管理。
• 制造业：在线监控生产线，执行质量检验和故障预警，优化生产流程并削减维修费用。