英伟达“网红研(yan)究员(yuan)”：2024最大亮点是机器人，“具(ju)身智能(neng)”另有(you)三(san)年,Jim,数据,模拟
2024，除(chu)大模子继承狂飙外，机器人发(fa)展也将迎来热潮。
客岁岁尾，英伟达“网红研(yan)究员(yuan)”、OpenAI第一个实习生Jim Fan发(fa)推文称，除(chu)大模子，2024年最重要(yao)的就(jiu)是机器人，我们间隔“具(ju)身智能(neng)”的ChatGPT时候约莫另有(you)三(san)年时候。
Jim指出(chu)，长期以(yi)来，人们深受“莫拉维克悖论”（Moravec's paradox）的搅扰，这(zhe)是一种和人们直(zhi)觉相悖的景象，即“人类觉得简单的使命对野生智能(neng)来讲却(que)极其困难，反(fan)之亦然”。
但是Jim乐观地预测，2024年将成为(wei)野生智能(neng)界周全崛起反(fan)击这(zhe)一悖论的元年，Jim表(biao)示“我们没有(you)会立即获胜，但我们将走上获胜之路”。
同时，Jim枚举了2023年关于将来机器人的基础模子和平台的发(fa)展：
1、以(yi)机器臂作为(wei)物理输入/输入设备的多模态LLM：VIMA、PerAct、RvT（英伟达）、RT-1、RT-2、PaLM-E（谷歌）、RoboCat（DeepMind）、Octo（伯克利(li)、斯坦福、CMU）等。
2、弥合(he) System 1（担任低级操纵）和 System 2（担任高级推理）之间差异的算法（使得系统(tong)可以(yi)或许行使高级推理进行决议和理解，并将这(zhe)些决议转化为(wei)实际的操作和操纵）：Eureka（英伟达）、Code as Policies（谷歌）等。
3、正在强大硬件方面取得的惊(jing)人希望：特斯拉擎天柱、Figure、1X、Apptronik、Sanctuary、Agility+Amazon、Unitree等。
4、数据一直(zhi)是机器人技能(neng)的致命弱点，研(yan)究界正正在共同策划下一个 ImageNet（野生智能(neng)深度学习取得冲破的关键项(xiang)目），如开放Open X-Embodiment (RT-X)数据集。虽然数据集还没有(you)敷多样化，但迈出(chu)了重要(yao)的一步(bu)。
5、模拟和分解数据将正在解决机器人机灵性以(yi)致整个计算机视觉成绩(ji)上发(fa)挥(hui)关键作用。
- （1）NVIDIA Isaac可以(yi)以(yi)比(bi)及时快(kuai)1000倍的速率模拟现实，传入的数据流随着计算规模的增加而扩(kuo)大；
- （2）经(jing)过硬件加速的光线追(zhui)踪可以(yi)实现真切(qie)的效果。真切(qie)的渲染还带有(you)收费的空中真实注释(shi)，如分割、深度、3D姿势等；
- （3）模拟器甚至(zhi)可以(yi)将真实世界的数据扩(kuo)大，制造更大的数据集，从(cong)而大大减少高贵的野生演示工作。MimicGen（英伟达）是一个典范的例子。