ComAct是什么

专业软件自动化这件事，长期困在两个瓶颈里。

要么靠GUI视觉控制，一步错步步错。要么依赖API，结果发现不同软件的接口简直是天书。

Jiaxin Ai等人提出的ComAct（COM-as-Action），算是给这个老问题找到了新解法。

它的核心逻辑很简单：把Windows的COM接口当成一个统一的可执行抽象层。让智能体直接通过程序合成来操作软件，而不是用鼠标键盘一步步点。

这样一来，那些长程任务里的错误累积问题、API调用的异构协议壁垒，以及闭源接口的不可访问性，全都绕过去了。

ComAct的主要功能

这套范式落地的核心功能，可以拆成几个关键模块来看：

COM-as-Action 范式转换：直接抛弃脆弱的顺序性GUI控制，转而用确定性程序合成来操作软件。底层依赖的是Windows COM接口，一个可以直接调用软件内部结构化编程接口的东西。

ComCADBench 基准测试：这是首个专门为评估智能体操作真实工业CAD软件而构建的基准。里面有1000个任务，覆盖三大平台和七项工程活动。

• 三大平台：SolidWorks、Inventor、AutoCAD
• 七项活动：3D建模、2D草图、装配、工程图等

ComActor 自校正智能体：训练框架分三阶段。

• 先文本到代码监督微调（SFT）
• 再基于多轮交互轨迹做智能体SFT
• 最后用基于连续几何奖励的GRPO强化学习

这个智能体不仅能生成COM脚本，还能读取终端反馈、诊断问题、重写失败步骤。

ComForge 可扩展训练平台：支持并发托管1000多个Docker化的Windows环境，每个环境都预装了真实CAD软件。提供三种动作类型——code_execute（COM脚本）、gui_action（鼠标/键盘）、reset（重置），方便大规模并行训练与评估。

跨应用工作流整合：COM本身就是统一的语义化编程接口，天然能打通Microsoft Office、Adobe套件、工业CAD这些专业软件，协同完成复杂工作流。

长程任务鲁棒执行：传统GUI智能体在长程任务里失误率极高。ComAct直接用单一确定性脚本替代数百个易出错的顺序操作。在长程多任务管道中，端到端成功率能维持在80%以上，这点是传统方法完全没法比的。

ComAct的技术原理

技术层面，核心是范式转换和一套渐进式训练流程。

COM-as-Action 范式转换：本质上就是把Windows COM接口当成统一的抽象层。让智能体从GUI操作的脆弱循环里跳出来，直接在程序合成层面完成交互。

验证过的指令-代码对数据构建：专门设计数据构建流程，合成经过验证的指令-COM代码语料库。这个步骤的关键是确保训练数据在语法和语义上都正确，为监督微调打好基础。

三阶段渐进式训练框架：

阶段一：文本到代码 SFT

在验证语料库上做监督微调，让模型学会生成语法有效的COM脚本。

阶段二：Agentic SFT

基于多轮交互轨迹和屏幕截图/终端反馈，做迭代调试训练。这个阶段训练出来的智能体，具备从执行失败中自我恢复的能力。

阶段三：GRPO 强化学习

用组相对策略优化（GRPO），结合基于Chamfer Distance的连续几何奖励，直接优化任务级的几何保真度。这一步是为了弥补“语法正确但几何不符”的差距。

自校正执行循环：智能体生成COM脚本后，先执行，然后读取终端返回的traceback或执行结果。自主诊断错误原因并重写失败步骤。这个“生成-执行-反馈-修正”闭环，是保证鲁棒性的核心。

ComForge 可扩展基础设施：基于Docker化的Windows容器构建训练平台，能并发托管1000多个预装真实CAD软件的环境。支持三种动作类型：code_execute（COM脚本）、gui_action（鼠标/键盘）、reset（重置），方便大规模并行训练和评估。

跨应用统一动作空间：利用COM在语义对象层面运行的特性，把不同专业软件（SolidWorks、AutoCAD、Inventor、Microsoft Office等）的异构接口统一成标准化的可执行动作空间，天然支持跨应用工作流编排。

如何使用ComAct

具体操作流程并不复杂，大致分这几步：

• 环境准备（ComForge）：先部署Docker化的Windows容器环境，预装目标专业软件（如SolidWorks、AutoCAD、Inventor）。ComForge能支持1000多个并行实例，足够做大规模训练或评估。
• 任务指令输入：向ComActor智能体输入自然语言指令，比如“创建一个带圆角的立方体并生成工程图”。智能体会把这条指令解析成对应的COM操作目标。
• COM 脚本生成：ComActor基于三阶段训练的能力，自动生成语法有效的COM脚本（例如用Python调用COM接口），直接操控软件内部对象模型，完全不模拟鼠标点击。
• 执行与反馈循环：脚本在ComForge环境中执行，智能体读取终端返回的执行结果或错误traceback，自主诊断问题并重写失败步骤。这个反馈闭环是保证任务成功率的关键。
• 结果验证与输出：任务完成后，智能体会输出最终生成的文件（如3D模型、工程图纸），并通过连续几何奖励机制（Chamfer Distance）来验证几何保真度。
• 跨应用工作流编排：利用COM的统一接口，可以串联多个专业软件完成复杂管道任务，比如在CAD中建模→导出→在Excel中生成BOM表。

ComAct的官网地址

• 项目官网：https://knowledgexlab.github.io/ComAct/
• GitHub仓库：https://github.com/KnowledgeXLab/ComAct
• arViv技术论文：https://arxiv.org/pdf/2606.13239

ComAct的核心优势

相比传统方法，ComAct的优势相当明显：

确定性程序合成替代脆弱视觉控制：直接生成单一确定性COM脚本，替代基于像素定位的顺序GUI操作。从根源上消除长程错误累积，避免了传统智能体“一步错、步步错”的级联失效。

统一可执行抽象跨越异构接口：利用Windows COM作为统一的语义化编程接口，整合SolidWorks、AutoCAD、Inventor、Microsoft Office等多种专业软件的异构协议，天然支持跨应用复杂工作流编排。

破解闭源软件工具匮乏难题：COM接口在语义对象层面暴露应用程序内部功能。即使面对源代码不公开的商业软件，也能提供高保真的本地API级访问能力，突破了API-based方法受限于不可访问商业接口的瓶颈。

长程任务鲁棒性显著领先：在长程多任务管道中保持80%以上的端到端成功率，而传统GUI-based基线模型在ComCADBench上的任务成功率接近0%。这个差距不是一点点。

自校正与迭代调试能力：通过Agentic SFT训练，智能体具备“生成-执行-读取traceback-诊断-重写”的闭环能力，能从COM脚本执行失败中自主恢复，完全不需要人工干预。

直接优化几何保真度：第三阶段GRPO强化学习引入基于Chamfer Distance的连续几何奖励，直接优化任务级几何精度，解决了“语法正确但几何不符”的问题。

ComAct的应用场景

这套方案能用的地方其实挺多的：

工业CAD自动化设计：在SolidWorks、AutoCAD、Inventor等真实工业CAD软件中，把自然语言需求自动转换为COM脚本执行。覆盖3D建模、2D草图、装配体设计、工程图生成、质量属性分析、干涉检测等全流程。

长程多任务管道编排：串联复杂设计管道任务，比如从概念建模→详细零件设计→装配验证→工程图输出→BOM表生成。通过单一确定性脚本替代数百个易出错的顺序GUI操作，端到端成功率稳得住。

跨应用协同工作流：用COM统一接口整合Microsoft Office（Excel、Word）、Adobe套件与工业CAD软件，实现“CAD模型变更后自动更新Excel物料清单并生成Word技术报告”这样的跨应用自动化。

设计验证与质量检测：自动执行干涉检测、几何尺寸验证、质量属性计算等分析任务。通过连续几何奖励机制确保输出结果的几何保真度，辅助工程师快速排查设计冲突。

参数化批量建模：根据输入参数批量生成或修改标准化零件/装配体。特别适用于大量重复性建模任务的场景，比如标准件库生成、系列产品变型设计，效率提升非常明显。