Date：2024-3-14

论文链接：https://arxiv.org/abs/2403.09631

原文代码仓库：[UMass-Embodied-AGI/3D-VLA: [ICML 2024] 3D-VLA: A 3D Vision-Language-Action Generative World Model]

提出了 3D-VLA，通过生成世界模型无缝地将 3D 感知、推理和行动联系起来。具体来说，3D-VLA 构建在基于 3D 的大型语言模型（3D-LLM）之上，并引入了一组交互tokens来与具体环境互动。此外，为了将生成能力注入模型，还训练了一系列扩散模型，并将它们对齐到LLM用于预测目标图像和点云的模型中。3D-VLA 显着提高了具身环境中的推理、多模态生成和规划能力，展示了其在实际应用中的潜力。

Background

• 已有模型存在的问题：
  1. RT-2、PALM-E等VLA模型已经可以根据2D图像生成高级计划或低级行动，但人类位于一个比2D图像更丰富的3D物理世界中，需要根据对环境的3D理解进行推理、计划和行动，而目前的VLA模型依赖于2D输入，缺乏与更广泛的3D物理世界领域的集成。
  2. 目前已有的3D具身模型可以在3D环境中进行规划与行动，但此类模型仅通过学习从感知到行动的直接映射来执行动作预测，而忽略了世界的巨大动态以及动作与动态之间的关系。相比之下，人类被赋予了世界模型，这些模型描绘了对未来场景的想象，以相应地规划行动。
• 构建类似人类的3D世界模型带来的挑战：
  1. 已有的模型局限于语言这一单一模态
  2. 现有的具身数据集主要包含 2D 图像或视频，缺乏用于 3D 空间推理和规划的 3D 相关注释

Dataset：3D embodied instruction tuning datasets

出发点：已有的数据集（视频-动作对）大多不提供深度或 3D 注释以及机器人操作中的精确控制，而如果没有 3D 信息，机器人很难理解和执行需要 3D 空间推理的命令（“将最远的杯子放入中间抽屉”）

构建方式：从已有的具身数据集（12个数据集：语言指令/图像/深度信息/模拟环境/人机交互/3D注释）中提取3D-语言-动作对，得到如下信息的标注：点云、深度图、3D bounding boxes；机器人7D动作（与RT系列文章一致，x/y/z/roll/pitch/yaw/抓持器打开）；文本描述

视觉标注

• 获取3D点云数据：基于深度图数据，可使用相机标定内参/姿态数据将RGB-D图像升维至3D点云
  • 估计深度：ZoeDepth
  • 估计光流：RAFT

光流（optical flows）：提炼生成数据——在摄像机姿态不变的视频片段中，用于估计哪些像素背景未移动，并将这些背景的深度图对齐到同一视频的不同帧中，同时将每帧的深度图乘以一个系数，以确保深度一致性。

• 生成3D标注：

  • 对象的 3D 边界框（bounding box）：
    1. 使用spaCy解析获取指令（数据集提供文本指令以描述机器人执行的命令）中的所有名词块（包括操作对象）
    2. 采用预训练的映射/对齐模型（grounding model）（如Grounded-SAM）获取各对象的2D蒙版，并根据有效光流区域中的最高置信度值来选择操作对象
    3. 通过将2D蒙版升维至3D点云中，获取空间中所有对象的3D bounding box

  由于重建了深度和点云，因此可以在未来的帧中使用图像、深度和点云作为ground truth。

  • 3D 空间中的机器人动作：数据集中已提供7D机器人动作

语言标注

生成密集的语言标注，其中包含围绕在生成的3D视觉标注周围的tokens：采用带有tokens的预训练语言模板，将3D标注构建至提示词与答案中

e.g. I should pick up the chip bag [loc tokens] </img /pcd>

使用基于ChatGPT的提示词工具，使提示词prompt更加多样化：

• 向 ChatGPT 提供指令和标注对象及其bounding box，要求 ChatGPT 总结信息并将模板生成的提示重写为更多样化的形式；
• 提供 2-3 个人工编写的小样本演示，以指导 GPT 了解它被指示生成的数据类型；
• 对于没有预定义模板的任务，ChatGPT 也会被要求自行生成提示和答案作为这些任务的语言输入和输出。

Model

Date：2022-12-14

论文链接：https://arxiv.org/abs/2212.06817

原文代码仓库：google-research/robotics_transformer

模型使用数据集：gresearch – 存储桶详情 – Cloud Storage – Google Cloud Console

提出具有高容量结构（with high-capacity architectures）的Vision-Language-Action（VLA）多模态大模型Robotics Transformer，结合真实机器人执行实际任务时所收集到的大规模数据（all of the diverse, robotic data：图像/视觉-语音/语言-行为），进行开放式的任务无偏训练（open-ended task-agnostic training），从而提高模型的可扩展性，但模型充分利用大规模数据集的能力仍然有限。

Background

• 在计算机视觉（CV）、自然语言处理（NLP）或语音识别等下游任务中，通过在多样化且任务无偏的大型数据集上进行预训练，现代机器学习模型已经可以在零样本（Zero-Shot）学习与在特定任务的小数据集上进行微调（迁移学习）中有良好的表现；
• 这种技术在机器人中仍未得到广泛运用，同时由于真实世界中的机器人数据难以收集，需要对其可行性进行验证，重点需要关注模型的泛化与微调能力。

Model

工作平台：移动机械手 from Everyday Robots——7自由度手臂+两指夹持器+移动基座

工作模式：接收图像短序列和自然语言指令->输出离散化的基底和手臂动作供机器人在每个时间步执行（闭环控制），直到产生终止动作或用完预设时间步数

动作包括手臂运动的七个维度（x、y、z、roll、pitch、yaw、抓持器打开）、底座运动的三个维度（x、y、yaw）和一个额外的离散维度，用于在三种模式之间切换：控制手臂、控制基座或终止。

参数规模：35M

处理频率：3Hz——100ms推理时间 + 280ms执行延迟

基本架构：

基于Transformer——将高维输入和输出(包括相机图像、文本指令和电机命令)编码成紧凑的token表示供Transformer使用,以高效推理与实时控制

• 图像和指令（文本）的处理（tokenization）：

  • 总体上采用基于 ImageNet 数据集预训练的卷积神经网络 EfficientNet-B3 作为基本框架，在此基础上嵌入预训练的语言编码器进行条件化，以提取与任务指令相关的图像特征
  • 参数规模：16M
  • 架构：26层【MBConv模块+FiLM层】
  • 文本：文本输入Universal Sentence Encoder->嵌入EfficientNet中添加的FiLM层（将产生FiLM仿射变换的密集层(fc和hC)的权重初始化为零，允许FiLM层最初作为恒等映射并保留预训练权重的功能，防止破坏中间激活）
  • 图像：输入6张300 * 300的3通道图像->经由CNN输入9 * 9 * 512空间特征图（每张图像）->展平为81个视觉标记

• Token Learner 模块：

  • 为加速推理，设计该元素注意力模块用于压缩所需注意的tokens数量（81->8）
  • 允许基于指令信息软选择图像tokens，只传递重要的token组合给后续的Transformer层
  • 参数规模：34k

• Transformer ：

  • 仅有解码器的序列模型
  • 参数规模：19M
  • 架构：8个自注意力层
  • 输入：每张图像8tokens * 6张输入图像->48个总tokens（添加位置编码）
  • 输出：动作tokens（7-dim arm movement + 3-dim base movement + 1-dim 状态切换，共11个维度；对于每个维度，在其变量范围内均匀离散化为256个bin）

• 损失函数：标准分类交叉熵熵目标与因果掩码

Data

数据规模：用时17个月，通过13个机器人采集了130k+ episodes ，包含700+指令

工作场景：办公室厨房场景（2个真实办公室厨房场景Kitchen1、Kitchen2+1个根据真实场景Kitchen1建模的训练环境）