机器人大模型行业报告：具身智能大模型（57页）

行业报告下载 2025年09月19日 07:42 管理员

PaLM-E 在多个具身任务和视觉语言任务中展现出优秀的泛化能力和任务迁移性能。在桌面操作与移动操作环境中，PaLM-E 能生成多步语言计划并驱动真实机器人完成如“分类推积木”“从抽屉中取物”等任务，实现 one-shot 和 zero-shot 泛化。此外，PaLM-E-562B 在 OK-VQA 等通用视觉语言任务中取得领先成绩，并能进行多图推理、数学运算与时序感知问答等复杂推理。联合训练实验表明，通过融合多源数据，PaLM-E 在仅用少量具身数据时依然能维持高性能表现。 PaLM-E 在实际部署中仍面临一定挑战，主要包括模型规模、推理效率与训练门槛问题。1）模型体量庞大：如 PaLM-E-562B 包含 540B 的语言模型与 22B 的视觉编码器，推理速度与资源需求高，不适合部署在资源受限的机器人边缘设备上；2）训练成本高：需要预训练的大模型、图像编码器与高质量具身数据，训练门槛高，数据采集效率有限；3）低层控制依赖预设策略：高层生成的文本决策仍需靠RT-1等低层策略执行，系统整体仍未完全闭环自动学习；4）对三维感知场景效果有限：虽然 OSRT 引入了神经三维结构表示，但在高度复杂、动态交互场景中的空间理解仍有提升空间。