多个信息渠道显示，理想汽车正在研究自主研制的云端推理芯片，这款芯片将采用与智驾芯片如出一辙的数据流架构，不过项目目前还处于初期阶段。
AI数据中心一般依赖GPU执行模型训练和推理任务，部分数据中心也配置了云端推理芯片。芯片行业的一位专家指出，云端推理芯片能够承担部分原本由GPU处理的推理任务，譬如智驾模型的数据处理、测试、仿真等，也包括大语言模型的请求处理。不过，模型训练中涉及参数更新的环节，依旧需要用到训练芯片。
据业内人士透露，数据流架构从车端延伸至云端在技术上确实可行。一个可能的路径是复用车端NPU（AI处理器）的计算设计方案，将多个AI计算晶粒集合起来，配上高带宽内存和高速互联，从而构成规模更庞大的推理芯片。这样车端和云端就能共用部分设计及软件工具，有效降低研发成本。
不过云端芯片并非车端芯片的简单复制。车端模型、传感器输入以及运行节奏相对稳定，主要追求低功耗、低延迟和稳定运行；云端则需要处理更多模型，模型更新速度更快，输入长度和并发请求变化幅度更大，还要兼顾高带宽内存、多芯片互联、动态批处理和集群调度等需求。
"单颗芯片达到某个性能指标并非最核心的挑战，真正棘手的是让整套推理成本具备价格优势。"该人士表示。数据流架构从车端拓展至云端能否带来成本优势，主要看模型适配能力以及系统运行效率。
海外的SambaNova、Groq、Tenstorrent等公司同样在探索数据流架构。SambaNova和Groq的核心团队分别源自斯坦福和谷歌TPU（张量处理单元）项目，Tenstorrent则由曾负责特斯拉自动驾驶芯片的Jim Keller主导。尽管数据流架构在模型通用性、软件生态和规模化部署方面相比GPU仍有提升空间，但这些海外公司依然在积极布局。
正当理想推进云端推理芯片项目之际，《晚点 Auto》通过多方渠道核实，理想芯片的软件研发负责人金一华和芯片前端设计一组负责人戴颉已经离职。两人离职前皆向算力单元负责人罗旻汇报工作，罗旻则向集团CTO谢炎汇报。
网友评论