一个人戴着头戴设备,站在货架前,手下意识地拿起一瓶饮料,目光扫过标签,然后又轻轻放回原位。整个过程安静而流畅。
几步开外,一面大屏幕上正实时回放着这个动作,将简单的行为拆解成无数细节:视线移动的坐标、手部移动的轨迹、物体的空间位置、抓取的力度变化,以及任务最终的完成状态。这些数据被传输进虚拟货架系统,供机器人反复练习,如同一个无声的陪练。最终,远在千里之外的实体机器人,手臂缓缓抬起,完成了同样的操作。
从人类示范到机器人模仿,看似只隔几块屏幕的距离。
可机器人真的掌握了技能吗?倘若货架更换了排列方式,或者瓶子的形状有所不同,甚至只是光线变得暗淡一些,它还能顺利完成吗?
这正是具身智能领域所面临的,最核心、最艰巨的挑战。
过去的一年里,VLA、世界模型、世界动作模型等概念相继涌现,资本的追捧络绎不绝,机器人硬件和软件能力也取得了长足的进步。不少人因此乐观地认为,只要模型持续迭代更新,通用机器人就会自然而然地诞生。
现实远比想象中复杂。
大语言模型拥有互联网这棵大树提供的丰厚果实——几十年来积累的文本、图像和代码。具身智能探索的物理世界,却缺乏现成的知识库。尽管网络上充斥着海量的视频资料,但这些影像往往只记录了“发生了什么”,却鲜少解释参与者为何这样做、动作是否恰当、运用了多大力量,更不用说失败之后如何调整。
具身智能的成长,缺少一套可学习、可评估、可验证的真实世界经验。
在今年的WAIC大会上,京东展示了一种新的思路:先在真实工作场景中记录下人类的操作过程,再用模型检验这些数据的可用性,接着将提炼出的能力部署到机器人和智能设备上,在现实世界中运行,然后持续收集运行数据,再次优化模型,继而继续运行……正如此循环往复。
物理世界,或许才是机器人成长的最佳课堂。
机器人并非缺少表演的舞台,而是缺少能提供有效训练的“班级”。
大模型借助人类留下的书籍、图片和视频,在数字领域获得了对话、编程、操作软件的能力。但要让AI驱动机器人,在现实世界中完成家务、搬运、耕种等任务,光靠视频是不够的。
一段人在货架前整理饮料的视频,对人类几乎无需多言;对机器人而言,画面中隐藏着大量关键信息:人们寻找的目标是什么,选择这款瓶子的原因,手部应该如何接近,抓握力需要如何变化,最终商品放置在哪个位置才算成功。
更为棘手的是,具身智能的训练对数据质量提出了极高要求,劣质数据甚至可能让机器人变得更笨。
京东曾做过一项对比实验:两组数据,数量均为一万小时,一组经过严格筛选,另一组存在明显瑕疵。结果并非越多越好。当使用劣质数据训练时,随着数据量的增加,机器人的任务准确率和泛化能力并未同步提升,甚至在某些任务上出现了下降。
譬如,模型在训练中接触过一种特定尺寸的矿泉水瓶,但换成形态不同的饮料瓶后,能否依然正确抓取?如果数据只是教机器人机械复现固定动作,而没有教会它理解任务和环境的本质,那么数据量越大,反而可能让模型将错误模式学得更深。
因此,数据标准不能仅由采集环节决定,必须由模型和实际运行结果反向引导。数据采集之后,需要经过轨迹提取、自动标注、质量检验和结构化处理,方可进入仿真环境和模型训练,最终交付给实体机器人进行验证。只有当机器人成功率、泛化能力和任务理解能力得到提升,这批数据才算真正具备价值。
京东正在做的,正是将原本分散的环节编织成一条完整的生产链。
人们戴上JoyEgoCam,在零售、物流、家庭、工业等真实场景中执行各种任务;第一视角的视频被转化为模型可识别的格式;JoyAI-Sim等工具将人类数据、仿真数据和真实运行数据结合起来,用于模型训练和效能评估;最终,机器人再次回到货架、仓库等作业现场,检验学习成果。
京东已将行业规模最大的真实视角数据集EgoLive开源,其中包含约2000小时高保真双目视频、超过6.5万段数据记录和346类任务。与此同时,京东还在持续采集手部力学、导航定位、全身运动轨迹等更多维度的数据,目标是为千万小时量级的高质量数据生产奠定基础。
但小时数并非京东在这场竞争中占据优势的关键。
真正宝贵的,是那些能够持续产生数据的现实任务。从理货、分拣到搬运、维护,每一个环节都蕴藏着无尽的机遇和挑战。









网友评论