中科视语重磅发布 LightPlanner!首个开源轻量化具身推理大模型,打破机器人轻量与推理能力困局
2025-03-21 10:43:55爱云资讯8953
中科视语在具身智能领域再获突破!此前,中科视语发布了PhysVLM——首个开源机器人物理空间具身大模型。该模型突破了传统模型普遍存在的局限,通过多模态感知、动态环境建模与自主决策规划的深度融合,PhysVLM成功赋予机器人在复杂物理空间中类人级的操作能力。
当前,中科视语再次取得关键进展,发布首个开源轻量化具身决策深度推理大模型——LightPlanner,通过创新的层次化决策框架,成功突破边缘设备上 “轻量与智能不可兼得” 的行业难题,为机器人在物流、制造、服务等场景的规模化部署奠定了技术基础,持续引领具身智能技术的创新与发展。
让边缘端机器人“既能思考又能行动”
传统大语言模型(LLM)在具身任务中展现了强大的语义理解能力,但其庞大的参数规模难以在边缘设备上高效运行。轻量级模型虽解决了算力限制,却因缺乏复杂推理能力,如在 “抓取最大积木” 等需动态逻辑判断的任务中表现乏力。这一“推理能力瓶颈”已成为制约轻量级具身智能系统规模化应用的核心障碍。
图1: LightPlanner与主流任务规划方法的对比
针对这一挑战,中科视语提出了首个具身规划决策的轻量化深度推理大模型——LightPlanner。借鉴DeepSeek-R1在复杂任务推理中的成功经验,LightPlanner通过创新的层次化深度推理和动态参数化技能控制方法,充分释放了多种规格轻量级LLM的推理能力,以提升其在复杂任务规划中的性能。LightPlanner在机器人规划决策任务中复现了类似DeepSeek-R1的“回溯、反思、纠错”行为,从而显著提高了任务规划的准确性和系统的鲁棒性。
图2: LightPlanner在决策推理时出现的“回溯、反思、纠错”行为
图3: LightPlanner框架,生成层次化深度推理与动态技能控制
LightPlanner三大核心创新突破
●层次化深度推理
模拟人类决策逻辑,在每一步执行前触发三层验证:
· 执行反馈:通过历史记忆动态修正偏差,实现 “错误自愈”;
·语义一致性:确保子动作与全局任务目标对齐;
·参数有效性:实时计算抓取对象的空间位置等连续参数,提升动作精度。
●参数化动态技能链
突破固定技能模板限制,通过上下文感知的函数调用机制,动态解析指令中的动态参数(如 “最大积木” 需实时计算面积并定位),使得系统能够执行需要视觉或空间推理的复杂具身任务。
●边缘设备友好架构
在大模型的输入端引入一个动态更新的历史行动记忆模块,结合迭代式上下文管理,显著降低显存占用。在长期任务规划中,平均显存占用不超过3.9G(未量化),满足边缘端设备的部署需求。当前设备已支持Nvidia jetson 系列边缘计算设备,以及瑞芯微、算能、华为Atlas等国产化边缘计算设备
开源生态:4万级数据集+轻量模型,加速产业落地
为推动技术普惠,团队同步开源了:
开源量化模型:模型提供0.9到2.7g多种量化版本,凭借其卓越性能与实用价值,近期在Hugging Face平台热度飙升,单周下载总量已突破300次。
LightPlan-40K 数据集:首个具身决策深度推理数据集,覆盖动作序列长度为2-13的不同复杂度任务,总计包含4万个带有层次化深度推理的动作决策步骤,其中精选2.3万条高质量数据作为训练集。
表1: 不同复杂度的任务中的性能表现
我们基于LightPlan-40K数据集训练了LightPlanner模型。实验结果显示,在真实世界环境中的具身决策规划任务中,尽管LightPlanner的参数数量最少,仅为1.5B,但其任务成功率最高。在需要空间语义推理的任务中,其成功率比ReAct高出14.9%。此外,实验还展示了LightPlanner在边缘设备上的运行潜力,突显其在资源受限环境中的适用性。
图4: LightPlanner在Jetson Xavier Orin上的部署展示
相关文章
- CVPR2025:中科视语发布首个具身物理空间大模型PhysVLM!战略布局“AI+机器人”新生态
- 中科视语入选甲子光年《2025 中国AI Agent行业研究报告》
- 中科视语荣获国家级专精特新“小巨人”企业称号
- ECCV 2024:开放视觉语义理解领域领航者,中科视语卓越技术再获全球第一
- 中科视语联合创始人张腊:拥抱澎湃算力,加速大模型场景落地
- 中科视语与北京市体育科学研究所联合研发运动训练平台,入选首批北京市人工智能应用场景
- CVPR 2024:中科视语领跑工业大模型,工业混合专家模型再夺桂冠
- 实力再证丨中科视语荣获2024数字中国创新大赛交通大模型典型应用场景奖
- 中科视语荣登「2024中国AI大模型产业应用场景创新实践」榜单
- 中科视语提出工业异常检测大模型AnomalyGPT,实现零样本异常检测
- 中科视语AI智慧平台助力干熄焦安全生产
- 中科视语出席2024AI创生大会,共话AI驱动下的商业模式变革
- 卓越再续丨中科视语蝉联“AI+智慧交通优秀企业”称号
- 共探行业创新风向丨中科视语亮相鲲鹏昇腾开发者大会2024
- 中科视语亮相2024中关村论坛,共论大模型驱动行业创新与发展
- 中科视语入选“北京市人工智能行业赋能典型案例(2023)”