人形机器人与AI大模型行业报告：Robot++AI，Transformer模型（55页）

行业报告下载 2024年12月05日 08:02 管理员

从 Transformer 到多模态大模型的演进与应用。Transformer 不仅在语言处理上广泛应用，还扩展至图像、视频、音频等多模态任务。诸如 Stable Diffusion、VideoPoet 和 MusicLM 等模型展现了其强大的生成能力，推动了多模态大模型（MLLM）的发展。机器人现实世界至数据化的突破：RT-2、RoboCat 与 MimicGen。RT-2 通过大规模的视觉-语言预训练，将视觉识别与低级机器人控制结合，实现了机器人在复杂任务和未见环境中的强大泛化能力。RoboCat 则基于 Gato 模型，展示了多任务和多具身平台上的自我迭代学习能力，能够快速适应新任务并生成跨任务策略。英伟达的 MimicGen 自动生成大量模仿学习数据，有效减少了人工干预，提升了机器人学习的效率。

特斯拉 FSD，端到端算法成为主流，数据为关键。2020 年 FSD 引入 Transformer 模型，走向了数据驱动的模型范式，2024 年初 FSD V12 完全采用神经网络进行车辆控制，从机器视觉到驱动决策都将由神经网络进行控制。FSD V12 能够模拟人类驾驶决策，成为自动驾驶领域全新发展路径。英伟达 Robocasa：具体智能关键节点，首次论证 real-sim-real。通过升级模拟平台并构建模拟框架，基于厨房场景和原子任务、复合任务、真实世界三个场景收集行为数据集并进行结果评估。说明模拟器的丰富多样性以及视觉和物理真实性显著改善了模拟效果，实验结果首次论证了 real-sim-real 可行。