位置:首页 > 新闻资讯 > 华为发布AI新技术:单卡同时承载多AI工作负载 提升硬件资源利用率

11月21日消息,据媒体报道,华为今日正式发布Flex:ai AI容器软件。该产品的核心突破在于运用算力切分技术,可将单张GPU/NPU算力卡精细切分为多个虚拟算力单元,最小粒度精准至10%。

这一创新使得单张算力卡能够同时承载多个AI工作负载,显著提升硬件资源利用率。

同时,Flex:ai能够将集群内各计算节点的空闲XPU算力进行高效聚合,形成统一的“共享算力池”,实现算力资源的全局调度与灵活分配。

其核心技术原理是一套深度融合软硬件的系统工程,覆盖从底层芯片到顶层调度。通过创新性的软件技术深度挖掘硬件潜力,Flex:ai成功将GPU/NPU的典型利用率从30%-40%提升至70%,有效践行了“以软件补硬件”的理念。

在硬件协同方面,Flex:ai深度整合华为自研的昇腾AI处理器,通过软硬件协同设计优化,实现了最佳的性能功耗比。

特别在大模型训练场景中,Flex:ai通过软件层面的创新,实现了对包括英伟达GPU、昇腾NPU在内的多种异构算力资源的统一管理与调度,有效解决了当前大模型训练面临的算力效率瓶颈问题。

据悉,Flex:ai将在发布后同步开源在魔擎社区中,以促进技术共享与生态发展。

华为发布AI新技术:单卡同时承载多AI工作负载 提升硬件资源利用率_wishdown.com

来源:https://news.mydrivers.com/1/1087/1087957.htm
免责声明:文中图文均来自网络,如有侵权请联系删除,心愿游戏发布此文仅为传递信息,不代表心愿游戏认同其观点或证实其描述。

相关文章

更多

精选合集

更多

大家都在玩

热门话题

大家都在看

更多