MVIG-RHOS招新

各位同学大家好！

我是李永露（长聘教轨助理教授，博导），感谢关注上海交大RHOS实验室，RHOS隶属于电子信息与电气工程学院-清源研究院和MVIG实验室（与卢策吾教授co-supervise），我的基本情况如下：

•在人工智能领域发表论文30余篇（TPAMI, NeurIPS, CVPR, ICCV, ECCV, etc），NeurIPS AC；
•开发了开源系统HAKE，探索以知识驱动的推理方式理解人类行为，其官网得到全球十几万次访问；
•NeurIPS Area Chair，曾获得NeurIPS杰出审稿人（2020、2021）、百度奖学金、WAIC云帆奖（明日之星、璀璨明星）、吴文俊奖优博（中国人工智能学会）、上海市优秀毕业生、2020华人学生AI百人（机器学习top-10）、上交85-杨元庆基金优秀博士等。

实验室简介

我们的目标是做出类似C-3PO和R2-D2的智能（真实/模拟）机器人。实验室的研究方向包括：

1. 具身智能：如何让机器人学习人类的技能并与人类交互？
a. 人类行为理解：如何从多模态信息（2D-3D-4D）中学习和理解复杂、模糊的人类行为（身体运动，人-物体/人/场景交互）和物体概念；
b. 视觉推理：如何从人类行为中挖掘、捕获和编码逻辑、因果关系；
c. 通用多模态基础模型：特别是以人为中心的感知与理解任务；
d. 基于认知的行为理解：与跨学科研究团队合作，探索大脑如何感知人类行为；
2. 人机交互（如：智能医院）：与上海交通大学的医疗团队（医生和工程师）合作，开发辅助人类的机器人。

我们有非常高水平的博士/硕士团队，以及具有浓厚科研兴趣的实习生（数据截至2024.4）：

● 10+同学曾是交大本科所在系前五名；

● 3名本科实习生以一作发表顶会（CVPR、ECCV）；

● 20余名本科实习生以co-author发表顶会/顶刊（TPAMI、CVPR、NeurIPS、ECCV、ICCV）；

● 2名本科实习生前往Stanford, UCB等北美CS四大深造（硕博）。

我们追求自由与理性，努力营造团结、紧张、严肃、活泼的研究氛围：

● 每周组会有一对一和小组讨论两种形式，根据实际需求进行。

● 论文方面，我们追求顶级机器学习、计算机视觉、机器人方向的会议和期刊（如ICLR、 NeurlPS、ICML、CVPR、ICCV、ECCV、ICRA、CoRL、RSS、TPAMI、IJRR, T-RO等）。

● 与工业届有密切的合作，积极推动我们的研究工作落地应用，也可以推荐实习生前往人工智能和机器人的工业界团队（如腾讯、华为、快手、商汤、非夕等）实习。

● 足够的研究资金和硬件设施（50+ GPUs、机器人、VR、人体工程设备）。

实验室每年会招收多名博士生及硕士生，同时长期招收实习生（本硕博均有）。英语水平、科研经历、代码能力和深度学习基础将会是你的加分项，但不是必需项。只要你有强烈的自驱力和科研兴趣,能展示出有价值的科学研究潜力或优秀工程技能，欢迎加入我们！

我们致力于“world-class research， world-class students”，给学生予充分的指导。我们的培养分为四个阶段：

● Stage-0: 培训掌握基本算法和技术，包括深度学习/机器人基础课程的学习、基础工具的学习等。可参见Research_in_RHOS。

● Stage-1: 参与研究课题，在老师和高年级学生的带领下，发表一篇co-author论文，体验完整的研究过程：好奇心--问题--思考--验证实验--动机--洞察力--反复试验--写论文--提交论文--如果不幸拒稿修改后recycle--准备最终版--发表论文--参加会议。

● Stage-2: 提出一个好的问题，在指导下每周推进，独立发表一作顶会论文。

● Stage-3: 提出一个高水平的idea，独立进行研究，与老师同学们互相学习。

● 保研/直博：实习期间表现优异的同学优先保研，目前实验室研究生大部分来自本科实习生。若实习期内表现突出且能够获得推免资格，实验室会竭尽全力为大家提供组内的保研机会。

● 出国申请：每年实验室会帮助很多实习生同学准备申请工作，包括科研训练、申请材料准备、暑研学校选择、北美导师选择、推荐信等，实验室也已有很多同学去Stanford、MIT、CMU等北美名校的人工智能和机器人实验室暑研、读博。

从数据和任务端重新定义具身智能学习的范式，在有限、多模态、noisy、异构数据的条件下，研究可泛化、可解释且具有推理能力的机器人“大脑”，与现有技术配合实现智能机器人应用。

推理驱动的人类行为知识系统：使智能体能够感知人类行为、推理人类行为逻辑、从人类行为中学习技能，并与物体和环境进行交互。

物体概念学习：提出涉及物体属性、可供性等与人类行为紧密相关的物体概念，以推动机器对物体的理解，并基于因果图模型提出了因果推理基准和基线模型。

根据动词分类层次结构设计了动作语义空间，涵盖了大量人类行为，从而将多模态数据集聚合到一个统一的数据池中，使用统一的标签系统。相应地，提出了一个在物理空间和语义空间之间进行双向映射的模型，以促进行为理解领域的“统一度量衡”。

提出了一个全新的手-物体交互理解框架，通过对手-物体交互数据的探测、分析和重采样，提供了更平衡而全面的预训练集、测试集和测试基准，并使用专门针对手-物体交互的预训练策略以及下游微调有效机制，推动手-物交互理解的发展，以助力机器人物体操作技能学习。