Gensyn测试网上线:AI训练更高效、更去中心化
时间:2025-05-23 | 作者: | 阅读:0在加密行业中,人工智能(AI)无疑是当下最热门的领域之一。由a16z领投,总融资达5000万美元的Gensyn项目就是其中的佼佼者。最近,Gensyn正式推出了测试网,虽然比预期晚了一年多,但这标志着项目进入了一个新的阶段。
Gensyn测试网是专为机器学习设计的定制化Ethereum Rollup,它集成了链下执行、验证和通信框架,旨在为去中心化AI系统提供一系列关键功能,包括持久身份、参与追踪、归属维护、支付、远程执行协调、去信任验证、训练过程记录以及大规模训练任务众筹。
测试网的第一阶段主要关注在RL Swarm内追踪参与情况。RL Swarm是一个用于协作式强化学习后训练的应用,其节点可以与链上身份绑定,确保每个参与节点的贡献得到准确记录。
RL Swarm:核心功能与协同训练
在Gensyn测试网中,RL Swarm作为核心应用,是一个基于去中心化网络构建的模型协同训练系统。与传统的单一模型独立训练不同,RL Swarm让多个模型在网络中相互交流、批评和改进,从而共同提升整体性能。其核心理念是“群体智慧”,通过各节点模型之间的协作和反馈,实现更高效的训练效果。
简单来说,DeepSeek-R1等模型在进行推理训练时,可以通过自我批评来迭代提升推理表现,而RL Swarm则将这种机制扩展到了多模型的群体中,实现了“众人拾柴火焰高”的效果。
基于RL Swarm系统,模型不仅依赖自身反馈,还通过观察和评价其他模型的表现,识别出自身的不足并进行优化。每一个加入Swarm的模型节点都在参与一个三阶段的过程:首先独立完成问题并输出思路与答案,然后查看其他节点的答案并提供反馈,最终模型投票选出最优解,并据此修正自己的输出。这种协同机制不仅提高了每个模型的表现,也推动了整个群体模型的进化。加入Swarm的模型在离开后仍能保留改进后的本地权重,获得实际收益。
此外,Gensyn对RL Swarm的代码进行了开源,任何人都可以运行节点,启动或加入现有Swarm,无需许可。Swarm的底层通信使用了Hivemind提供的gossip协议,支持模型间的去中心化消息传递与学习信号共享。不论是家用笔记本,还是在云端GPU上都可以通过加入RL Swarm节点参与到协同训练中来。
基础设施三大支柱:执行、通信与验证
目前RL Swarm仍然只是一个实验性演示,它展示了一种大规模、可扩展的机器学习方法,而非最终的产品形态。在过去四年,Gensyn的核心工作实际上是构建底层基础设施,在发布测试网后便进入了v0.1阶段,已经可以实际运行。根据官方介绍,Gensyn的整体架构分为执行、通信和验证三个部分。
执行(Execution):一致性与分布式算力
Gensyn认为,未来的机器学习不再局限于传统的单体模型,而是由分布在全球各个设备上的碎片化参数组成。为了实现这一目标,Gensyn团队开发了能够确保跨设备一致性的底层执行架构。其中的关键技术包括:
分布式参数存储与训练:通过将大规模模型分割成多个参数块并分布于不同设备上,Gensyn实现了模型的碎片化部署,降低了单个节点对内存的要求。强化学习后训练(RL Post-Training):研究表明,当模型以群体方式协同训练、互相沟通并批判彼此的答案时,整体学习效率会显著提升。Gensyn利用RL Swarm演示了这一概念,让模型在集体讨论中快速进步,进一步验证了分布式执行的有效性。可复现算子(RepOps):为了确保不同硬件(如Nvidia A100与H100)能够得出完全一致的计算结果,Gensyn开发了RepOps库,通过固定浮点运算的执行顺序,实现了跨平台的逐位复现。
通信(Communication):高效信息交互
在大规模分布式训练场景中,各节点间的高效通信至关重要。传统的数据并行方法虽然能在一定程度上降低通信开销,但由于要求每个节点存储完整模型,其扩展性受到内存限制。为此,Gensyn提出了全新的解决方案:
SkipPipe – 动态跳跃管道并行:SkipPipe技术通过动态选择微批次(microbatch)经过的计算层,将传统流水线中的部分阶段跳过,从而减少不必要的等待时间。其创新的调度算法能够实时评估各路径的可用性,既降低了节点空闲时间,又大幅缩短了整体训练时长。据测试数据显示,在去中心化环境中,SkipPipe可将训练时间减少约55%,且在部分节点故障的情况下,模型性能仅降低7%左右。通信标准与跨节点协作:Gensyn构建了一套类似于TCP/IP的通信协议,使得全球各地参与者无论使用何种设备,都能高效、无缝地进行数据传输和信息交互。这种开放标准为分布式协同训练提供了坚实的网络基础。
验证(Verification):确保信任与安全
在一个无需信任的分布式网络中,如何确认各参与方提交的计算结果真实有效,是一大挑战。Gensyn为此引入了专门的验证协议,旨在通过低成本、高效的机制确保所有算力供应商提供正确的工作结果:
Verde验证协议:Verde是首个专为现代机器学习设计的验证系统。其核心在于利用轻量级争议解决机制,快速定位出训练过程中模型与验证者之间产生分歧的那一步骤。与传统需要重新运行整个任务的验证方式不同,Verde只需对争议操作重新计算,从而大幅降低了验证开销。refereed delegation(裁决式委托):采用这种方法后,若某个供应商的输出存在问题,验证者便能通过高效的争议解决游戏说服中立仲裁方,确保至少有一位诚实节点存在时,整个计算结果的正确性得以保障。存储与哈希中间状态:为了支持上述验证过程,参与者只需存储并哈希部分中间训练检查点,而非全量数据,这既降低了资源占用,也提升了系统的扩展性和实时性。
福利游戏
相关文章
更多-
- 比特币交易平台推荐:轻松买卖的APP
- 时间:2025-05-23
-
- XLM跌到最厉害的时候是什么时候
- 时间:2025-05-23
-
- UNI币投资潜力:能否超越比特币?
- 时间:2025-05-23
-
- MANTRA是什么来头
- 时间:2025-05-23
-
- CFX币市场情绪分析:投资趋势与风险评估
- 时间:2025-05-23
-
- 2025十大比特币app交易所:币安、Coinbase等
- 时间:2025-05-23
-
- 比特币救灾行动启动!飓风海伦重创美国
- 时间:2025-05-23
-
- 比特币再创历史新高12万,现货ETF五日净流入16.8亿美元!
- 时间:2025-05-23
精选合集
更多大家都在玩
大家都在看
更多-
- 莱特币是干嘛的
- 时间:2025-05-23
-
- AI引领DeFi盛夏:DeFAI简化金融
- 时间:2025-05-23
-
- 2025十大比特币app交易所:币安、Coinbase等
- 时间:2025-05-23
-
- 小米可穿戴腕带设备出货量杀回全球第一!领先苹果、华为
- 时间:2025-05-23
-
- 宝妈在家有什么赚钱的方法 宝妈在家赚钱途径大全
- 时间:2025-05-23
-
- 小米OV猛攻传音!“非洲手机之王”四年财富缩水百亿
- 时间:2025-05-23
-
- 离职了也为老东家“站台”!原乐道总裁艾铁成发声:企业家要有原创精神
- 时间:2025-05-23
-
- 比特币救灾行动启动!飓风海伦重创美国
- 时间:2025-05-23