MVIG-RHOS招新

各位同学大家好!

  我是李永露(长聘教轨助理教授,博导),感谢关注上海交大RHOS实验室,RHOS隶属于电子信息与电气工程学院-清源研究院和MVIG实验室(与卢策吾教授co-supervise),我的基本情况如下:

  •   •在人工智能领域发表论文30余篇(TPAMI, NeurIPS, CVPR, ICCV, ECCV, etc);
  •   •开发了开源系统HAKE,探索以知识驱动的推理方式理解人类行为,其官网得到全球十几万次访问;
  •   •曾获得NeurIPS杰出审稿人(2020、2021)、百度奖学金、WAIC云帆奖(明日之星、璀璨明星)、吴文俊奖优博(中国人工智能学会)、上海市优秀毕业生、2020华人学生AI百人(机器学习top-10)、上交85-杨元庆基金优秀博士等。

实验室简介

  我们的目标是做出类似C-3PO和R2-D2的智能(真实/模拟)机器人。实验室的研究方向包括:

  1. 1. 具身智能:如何让机器人学习人类的技能并与人类交互?

      a. 人类行为理解:如何从多模态信息(2D-3D-4D)中学习和理解复杂、模糊的人类行为(身体运动,人-物体/人/场景 交互)和物体概念;

      b. 视觉推理: 如何从人类行为中挖掘、捕获和编码逻辑、因果关系;

      c. 通用多模态基础模型:特别是以人为中心的感知与理解任务;

      d. 基于认知的行为理解:与跨学科研究团队合作,探索大脑如何感知人类行为;

  2. 2. 人机交互(如:智能医院):与上海交通大学的医疗团队(医生和工程师)合作,开发辅助人类的机器人。

我们有非常高水平的博士/硕士团队,以及具有浓厚科研兴趣的实习生(数据截至2023年):

  ● 研究生人均顶会/顶刊2.4篇;

  ● 10+同学曾是交大本科所在系前五名;

  ● 2名本科实习生以一作发表顶会(CVPR、ECCV);

  ● 17名本科实习生以co-author发表顶会/顶刊(TPAMI、CVPR、NeurIPS、ECCV、ICCV);

  ● 4名本科实习生前往Stanford等北美名校暑研、深造(硕博)。


我们追求自由与理性,努力营造团结、紧张、严肃、活泼的研究氛围:

  ● 每周组会有一对一小组讨论两种形式,根据实际需求进行。

  ● 论文方面,我们追求顶级机器学习、计算机视觉、机器人方向的会议和期刊(如ICLR、 NeurlPS、ICML、CVPR、ICCV、ECCV、ICRA、CoRL、RSS、TPAMI、ToR等)。

  ● 与工业届有密切的合作,积极推动我们的研究工作落地应用,也可以推荐实习生前往人工智能和机器人的工业界团队(如腾讯、华为、快手、商汤、非夕等)实习。

  ● 足够的研究资金和硬件设施(50+ GPUs、机器人、VR、人体工程设备)。


招生

   实验室每年会招收多名博士生及硕士生,同时长期招收实习生(本硕博均有)。 英语水平、科研经历、代码能力和深度学习基础将会是你的加分项,但不是必需项。 只要你有强烈的自驱力和科研兴趣,能展示出有价值的科学研究潜力或优秀工程技能,欢迎加入我们!


本科生培养

我们致力于“world-class research, world-class students”,给学生予充分的指导。我们的培养分为四个阶段:

  ● Stage-0: 培训掌握基本算法和技术,包括深度学习/机器人基础课程的学习、基础工具的学习等。 可参见Research_in_RHOS

  ● Stage-1: 参与研究课题,在老师和高年级学生的带领下,发表一篇co-author论文,体验完整的研究过程: 好奇心--问题--思考--验证实验--动机--洞察力--反复试验--写论文--提交论文--如果不幸拒稿修改后recycle--准备最终版--发表论文--参加会议。

  ● Stage-2: 提出一个好的问题,在指导下每周推进,独立发表一作顶会论文。

  ● Stage-3: 提出一个高水平的idea,独立进行研究,与老师同学们互相学习。


未来发展

  ● 保研/直博:实习期间表现优异的同学优先保研,目前实验室研究生大部分来自本科实习生。 若实习期内表现突出且能够获得推免资格,实验室会竭尽全力为大家提供组内的保研机会。

  ● 出国申请:每年实验室会帮助很多实习生同学准备申请工作, 包括科研训练、申请材料准备、暑研学校选择、北美导师选择、推荐信等, 实验室也已有很多同学去Stanford、MIT、CMU等北美名校的人工智能和机器人实验室暑研、读博。

我们的工作

Robot Brain

从数据和任务端重新定义具身智能学习的范式, 在有限、多模态、noisy、异构数据的条件下, 研究可泛化、可解释且具有推理能力的机器人“大脑”,与现有技术配合实现智能机器人应用。

egopca
egopca

HAKE

推理驱动的人类行为知识系统:使智能体能够感知人类行为、推理人类行为逻辑、从人类行为中学习技能,并与物体和环境进行交互。

hake

OCL

物体概念学习:提出涉及物体属性、可供性等与人类行为紧密相关的物体概念, 以推动机器对物体的理解,并基于因果图模型提出了因果推理基准和基线模型。

Full demo on BiliBili

Pangea

根据动词分类层次结构设计了动作语义空间,涵盖了大量人类行为,从而将多模态数据集聚合到一个统一的数据池中, 使用统一的标签系统。相应地,提出了一个在物理空间和语义空间之间进行双向映射的模型,以促进行为理解领域的“统一度量衡”。


EgoPCA

提出了一个全新的手-物体交互理解框架,通过对手-物体交互数据的探测、分析和重采样, 提供了更平衡而全面的预训练集、测试集和测试基准,并使用专门针对手-物体交互的预训练策略以及下游微调有效机制, 推动手-物交互理解的发展,以助力机器人物体操作技能学习。

egopca
© Copyright 2022 MVIG-RHOS • Based on tbakerx