麻省理工学院博士项目

项目介绍

Dr. Han 现任麻省理工学院 (MIT) 电气工程与计算机科学系终身副教授。他在斯坦福大学 (Stanford) 获得博士学位,师从Bill Dally教授。他开创了高效AI计算技术,包括“深度压缩”(剪枝、量化)和“高效推理引擎”。该工作首次将权重稀疏性引入现代AI芯片,使其成为ISCA五十年历史上被引次数最高的五篇论文之一。他提出的TinyML、硬件感知神经架构搜索等创新,推动了AI模型在资源受限设备上的部署。

Dr. Han 研究方向主要涵盖以下三点:高效生成式AI:生成式AI模型规模远超传统预测式AI,带来新的计算挑战。团队在量化、并行化、KV缓存优化、长上下文学习与多模态表征学习等关键领域进行创新,以降低生成式AI的计算成本。

模型压缩与TinyML:他开创了模型压缩领域,能够在不损失精度的前提下将神经网络压缩10倍以上。通过剪枝、量化、神经架构搜索等技术,使神经网络得以部署在微控制器上,并实现了在内存减少1000倍的设备上进行端侧训练。

推荐

利用稀疏性加速AI:神经网络中的稀疏性体现在并非所有神经元均相互连接。他设计了首个利用权重稀疏性的硬件加速器EIE,并在现代AI中发掘了新的稀疏性来源(如稀疏注意力、token剪枝、点云),开发了相应的高效系统与加速器以充分利用稀疏性。所属院系:麻省理工学院,电气工程与计算机科学系

项目时长:4 年申请要求和方式

申请要求:·高效大语言模型、视觉语言模型、生成式AI等相关领域的研究经验与兴趣;·符合麻省理工学院电气工程与计算机科学系博士项目的录取要求。

申请方式:按照导师要求,向导师发送邮件和证明材料。经过双向选择后,向院校递交申请。

推荐
上一篇

香港城市大学博士后项目

下一篇

皇家理工学院博士后项目

返回顶部