慕尼黑工业大学全奖博士招生|100% TV-L E13岗位,资助至2029年秋

桌上放一块积木,相机拍下一张照片。照片有几十万个像素,可决定这张图长什么样的,只有几样东西:积木在哪、什么颜色、灯从哪边照过来。机器学习里的表征学习,想做的就是从一大堆像素里,把这几样东西重新找回来。

难的地方在于,找回来的东西不一定是原来那几样。数学上早就知道,如果只给照片、不加任何假设,会有无数种“隐藏变量”同样能把这批照片解释得一样好。模型学出来的某个变量,可能是位置和颜色搅在一起的组合,在训练数据上毫无破绽,换个场景就失灵。这个问题在研究里叫可辨识性:在什么条件下,学到的表示能保证对应真实的那几个变量。

慕尼黑工业大学的Simon Buchholz,研究的就是这个问题。他在加尔兴校区带一个Emmy Noether研究组,名字叫“面向干预式基础模型的因果与表征学习”,挂在AI for Scientific Modeling教席下面,现在正招一名博士。

Emmy Noether是德国科学基金会支持青年学者独立带组的项目,组长自己定研究方向、自己招人,经费周期通常是几年。这次博士岗位资助到2029年秋,跟这个周期是对得上的。

他2023年那篇NeurIPS口头报告论文,给出了一种让问题变得可解的条件:干预。回到积木的例子,假设你能拿到好几组照片,每一组里有人偷偷改动了其中一个因素,比如只动了灯的位置,但并不告诉你改的是哪一个。论文证明,在隐藏变量服从高斯分布、从隐藏变量到像素的映射可以是任意非线性函数的设定下,只要有足够多这种只动一个变量的干预,就能把隐藏的因果变量和它们之间的关系辨认出来。这也是第一次在不需要成对反事实数据的情况下,对深度网络这类一般映射给出这种保证。论文最后还给了一个对比学习算法,在实际数据上把变量找回来。

这个设定在科学数据里并不陌生。生物实验里敲除一个基因、化学实验里只改一个反应条件,都是只动一个变量的干预,而且实验者往往知道自己动了什么,却不知道它在模型内部对应哪个变量。他的研究组名字里写着“干预式基础模型”,挂在“AI for Scientific Modeling”教席下面,看中的大概就是这类数据。

对比学习的思路也可以用积木来想:把干预前后的两组照片放在一起,让模型学会分辨一张照片来自哪一组,模型要分得准,就得抓住被改动的那个因素。论文用这种方式把定理变成了能跑的算法,在多种任务上检验了它找回变量的效果。

推荐

证明成立,靠的是假设成立。可真实数据很少严格满足这些假设。2024年他和Bernhard Schölkopf在ICML上的口头报告论文,问的就是这件事:假设只差一点点的时候,结论还在不在。他们指出,已有的一些可辨识性结果,对任意小的偏差都不稳健;然后证明,当映射接近一种叫“局部等距”的形式时,也就是大体保持数据局部的距离结构,隐藏变量仍然能被近似地找回来。这篇论文发表时,他的署名单位还是图宾根的马普智能系统研究所。

把这两篇放在一起,能看出他一直在问同一个问题的两半。前一半是:要给模型多少额外信息,它学到的东西才能被保证是对的。后一半是:当这些条件只是近似成立,保证还剩多少。他这次招生写的两个可能方向,正好对应这两半,一个是做更稳健的(因果)表征学习方法,另一个是严格分析无监督表征学习里自然冒出来的潜在结构。

这类题目在两种人身上都能接上。概率论和统计学得扎实的人,能读懂、也能写出这类可辨识性证明;Python和PyTorch写得熟的人,能把假设放到真实模型上去试,看定理在哪一步开始和实验对不上。招生要求写的就是二者有其一,两样都有更好。

这个组要的人

申请人入职前要拿到数学、统计、计算机、机器学习或相近专业的硕士,正在读硕士的也可以申,不要求德语。材料包括一段研究兴趣和动机陈述、CV(含一到两位学术推荐人的联系方式)、发表列表、硕士论文摘要,有开源贡献也可以附上,首选通过MathJobs提交,也接受邮件。11月22日开始审材料,截止到2027年1月31日,招满为止。

岗位是100%的TV-L E13,也就是德国公共部门的全职研究员合同,资助到2029年秋,可以延长,入职时间灵活,差旅和访学经费也写明了比较充裕。

准备那段研究陈述时,可以从积木那个问题出发,想一想你自己见过的一个模型:它学到的哪个特征,你能确定对应现实里的某个量?如果不能确定,换什么样的数据或干预,才能让你确定?

推荐
上一篇

南洋理工大学全奖博士项目:国际生月津贴S$3,000,资助最长4年

下一篇

新加坡国立大学全奖博士招生:3-4个NUS研究奖学金名额,2027年1月和8月入学

返回顶部