科技

当Token成为新“石油”,国产算力如何突围?

来源:丹巴新文网
当Token成为新“石油”,国产算力如何突围?

“智能体消耗的Token(词元)正在变成新的‘石油’,单个智能体对Token的需求量达到传统对话应用的百倍到千倍,需求呈现出指数级增长。”世界人工智能大会期间,中国工程院院士、清华大学计算机科学与技术系教授郑纬民提出了这样的看法。

Token作为新的“石油”,国产算力怎样做到系统性突破?AI基础设施怎样满足AI爆发式增长的需求?大会期间,一些国产算力以及AI基础设施企业谈了他们在算力基础设施领域的思路。

摩尔线程张建中:建立三大“AI工厂”参与Token经济竞争

“Token的消耗量从今年年初开始,按月或按天对比,都在指数级增长。”摩尔线程创始人、董事长兼首席执行官张建中说道。

为什么Token的消耗量会急速攀升?张建中给出了自己的解释:“现在运用大模型的不只是人,还有智能体,我们的代理、分身。”

智能体带来了一种全新的经济形态,即“Token(词元)经济”,尤其在今年年初OpenClaw在全球火爆之后。据央视报道,我国日均Token调用量已经从2024年初的大约1000亿,猛增到2026年3月底的140万亿,增长了超过千倍。

“打个比方,普通人阅读最快的速度是目十行,但对AI来说,家里所有书柜的书可能几分钟就能看完。这种远超人类的阅读、生成、理解与计算能力,让Token的消耗量增长呈指数级。”张建中解释道。

与此同时,当前前沿基础模型平均每两个月就会完成一次迭代,Token消耗量迅速增长,由此引发的算力需求也急速提升。

张建中透露,在此背景下,摩尔线程基于夸娥智算集群正在打造三大“AI工厂”:专门用于模型训练的“模型训练工厂”,用于提升推理效率的“Token生产工厂”,以及负责高效连接数字世界与物理世界、离消费者最近的“智能体生产工厂”。

张建中承认,他常听到国内的模型公司担忧使用国产训练平台会浪费时间,“大家完全可以放心,我们拥有更优的硬件平台和更先进的软件技术,同时也有大量的实验数据支持。此外,我们随时能为用户提供本地化服务,这肯定会比国外公司做得更出色。”

无问芯穹夏立雪:通过智能进化智能

“计算需求在指数级上升,如今,单纯依靠产能的线性增长去搭建算力,已经无法弥补供需之间不断扩大的差距。”无问芯穹联合创始人兼CEO夏立雪指出。这一判断源于AI产业竞争逻辑的根本变化——行业不再单纯关注算力规模,而是注重算力是否高效利用。换句话说,单纯“堆”算力“堆”不动了。

长期以来,中国的算力资源来自不同地区、不同厂商、不同代际的集群,国产芯片与海外GPU长期共存,彼此架构和软件栈差异巨大。夏立雪认为,算力的异质化、碎片化问题是全球性的,而高效整合不同区域、跨区域的算力资源,是扩大智能资源规模的关键。

怎样让那些分散各地、多样化的算力真正“活”起来?夏立雪给出的答案是——“前店后厂一中心”。

所谓“一中心”,是充当“算力集散中心”的自主式基础设施平台——它需要将散落、异构的算力资源统一汇聚、弹性调度、按需分发,为模型与应用层构建充足、稳定、可扩展的算力基础。

“前店”,指的是“AI生产力商店”——面向文娱游戏、医疗、法律、能源等行业,与行业联合开发解决方案,将Token真正转变为产业认可的生产力。

而“后厂”,是指建设一座“Token工厂”,以极高效率服务Token的规模化和高质量生产。他以千卡到万卡规模下提供完整推理服务的过程,展示了Token工厂内部的可优化空间,“从网关、路由,到底层推理实例,层层都可通过优化、处处都有提升空间。”

经过大规模生产环境验证,这套系统的效益正在逐渐显现:可让运维人效提升5倍以上,关键故障处理效率提升6倍,不仅为

相关推荐

网友评论

登录后发表评论
暂无评论,抢沙发吧~