【中大】鹏城实验室联合中山大学发布具身智能新成果 刷新具身智能CALVIN榜单最佳成绩

人人从

近日，鹏城实验室与中山大学等联合开展对具身智能多模态感知-规划-控制一体的研究并攻克了具身智能数据利用效率低下的难题，同步在基于“中国算力网”的大规模高速运算集群“鹏城云脑”上实现了最新的具身智能领域学术成果——VidMan（Video Diffusion Model for Robot Manipulation）具身智能操控模型，该模型通过结合人类双程认知过程以及视频扩散生成模型Open-Sora，能够提升动作估计的精度和抓取成功率，强化预测未来图像的能力。该模型目前已在具身智能主流榜单CALVIN零次学习长程任务中夺得最佳表现。

当前，缺乏大规模、高质量、多模态的开源数据集，是制约具身智能领域发展的重要因素。而最近的研究工作Open-Sora表明，利用大规模在线视频数据训练的视频扩散生成模型，在理解和预测长序列现实世界复杂物理动态方面具有巨大潜力。为此，鹏城实验室联合中山大学、华为诺亚方舟实验室等创造性地提出了一种基于视频扩散生成模型的机械臂操控模型VidMan，切实解决了训练具身大模型的数据来源的瓶颈问题。
$ j- T9 Z* z' u8 h8 }
该模型能够挖掘视频扩散生成模型学习的隐式物理世界规律，将动作估计建模成为视频帧之间的逆动力学过程，并基于双程认知理论提出双阶段训练策略，将视频扩散生成模型转换于指导下游机器人控制，显著提高机器人动作预测准确性和任务完成表现。

6 v0 Z5 o2 t, b0 Z6 R2 z鹏城实验室表示，VidMan已在CALVIN榜单任务中超过了谷歌RT-1-X、字节跳动GR-1以及卡内基梅隆大学3D Diffuser Actor等世界先进模型。同时，该模型和有关方法已被国际顶级学术会议NeurIPS 2024接收并发表，并在OpenI启智社区开源。

拼多多葛红军

中山大学超越个别华五是必然的事情

school

好像最近我鸭在计算机领域科研成果捷报连连

wangda

棋子而已

school

棋子？谁又不是丑国的棋子呢，与其说棋子不如说自己嫉妒他人进步罢了，某些学校只知道每天喊喊口号而已，也仅此而已，难道别人落后就应该永远落后？

wangda

不明真相的棋子

wangda

主角在下面：三是目前国内重大原始创新正受到前所未有的严重破坏。在人工智能方面中国早已取得重大突破，“自然语言理解的机器认知形式系统”2007年发表的这一个历史文献不但在自然语言真正理解方面取得重大突破，而且是具身智能研究方面的重大突破，有关研究是国内重大原始创新。但目前这个原始创新正受到罕见的严重干扰破坏。具体表现在腐败分子在主流媒体凤凰网澎拜网人民日报等大肆炒作掠夺，申报国家级省部级重点实验室国家科技项目骗取国家大量经费，沽名钓誉申请骗取国家科技奖励。 其中2020年中科院自动化所发表文章拉开学术界全面打砸抢国内重大原始创新的序幕，然后才是人大事件发生，再就是大模型闹剧实质上就是国内清北特别是清华大学为首的学阀科技汉奸违反学术规范配合美西方国家对国内重大原始创新的打砸抢掠的科技侵略事件。（见中科院网站文章：别打砸抢了，张钹资深院士）

school

楼上真搞笑，一个院士就否定鹏城实验室，华为和鸭大三方面努力的成果，既然那位院士真那么神，自己搞一个模型出来让我们见识一下，事后诸葛亮院士国内真不少呢

school

按你的逻辑，国内所有的大工程都是基于力学原理的，力学也是不是中国发现的，国内凭啥称自己工程领域世界第一

wangda

卖了还帮数钱 啧啧