如果你准备申香港城市大学的计算机博士,研究计划的第一句,先别写成“我要用大模型解决某某大问题”。这类句子方向没错,但它大到导师读完没法接话。
我拿一句演示用的开头来说明(这是我为了讲解写的,不是哪位真实申请者的原文):“我希望利用大语言模型提升长文本理解能力,解决实际应用中的效率问题。”你读完会发现,它没说清你到底研究什么,也没说清你准备怎么判断自己做成了没有。那怎么改小?最好的参照,就是目标导师本人的一篇论文。
正好最近我在读港城大计算机系张智松助理教授的研究。学校学者库里写得很清楚,他目前关注自然语言处理和大语言模型,特别是长上下文建模、基于大模型的智能体系统,以及弄清语言模型内部是怎么运作的。拿他的一篇论文来对照,开头那句话哪里空、该怎么改,会看得特别清楚。
他的一篇论文,问题比“提升长文本理解”小得多
这篇论文发表在2025年的ACL会议上,张智松是第一作者,也是通讯作者。题目直译过来,大概是“注意力熵是关键因素:对基于全注意力的预训练语言模型做并行上下文编码的分析”。
名字很长,问题其实可以讲得很简单。现在的大模型读一段材料,最常见的做法是让每个词都去“看”前面所有的词,这叫完整的自注意力。它很好用,但材料一长就很费算力,而且会忽略输入本身的结构,比如你塞进去的其实是五篇互不相关的文档。
于是有一种替代思路:把长材料切成几段,各段并行编码。问题在于,模型训练时从来没见过这种被切开的模式,直接这么用,效果就会往下掉。
这篇论文没有停在“效果掉了”这一步,而是去追问为什么会掉。他们的分析指向一个因素:注意力熵异常偏高。你可以把“熵”理解成注意力分得有多散,熵越高,模型越像在一堆内容上平均撒网,抓不住重点。
找到原因之后,他们用了两个很直接的办法把熵压下来:一个是引入“注意力汇聚点”(attention sink),一个是加入选择性机制。实验显示,这两种办法能降低不正常的注意力熵,也缩小了和完整注意力之间的效果差距。
你注意看,这篇论文的研究对象非常具体:不是“长文本理解”,而是“切段并行编码时,模型的注意力为什么会变散”。研究计划要写小,不是因为小问题更容易,而是因为只有小到能被检验,导师才有办法跟你讨论。
那句研究计划,可以这样改
回到开头那句演示。假设这位申请者真的对长文本感兴趣,也读过这类工作,第一轮可以改成:
“我希望研究把长输入切分成多段并行编码时,模型的注意力分布会发生什么变化,以及在不重新训练模型的条件下,能否用较小的结构调整,缩小它与完整注意力在多文档问答等任务上的效果差距。”
改完之后,研究对象出现了(切段并行编码时的注意力分布),判断标准出现了(和完整注意力的效果差距),场景也有了(多文档问答这类任务)。导师读到这里,至少能接着问你:准备用哪些模型?在多长的输入上测?差距用什么指标衡量?
改完之后,新的问题马上就来了
不过说实话,如果帮人改研究计划,我不会在这一步就停下来。因为改完的这句话,几乎就是张智松那篇论文已经做过的事。
把导师已经发表的问题原样写进自己的研究计划,不等于“匹配度高”,反而说明你还没想清楚自己要往前走哪一步。
所以第二轮修改,要从他的论文结论出发,往外推一点。比如,论文找到的是“熵偏高”这个因素,那在各段材料之间互相矛盾的时候,这个现象会不会更严重?两种降熵办法在更长的输入、更多的段数下还稳不稳定?这些是我读完论文后想到的可以追问的方向,不代表导师正在做或者希望学生做,你需要自己读完全文和相关工作,再判断有没有人已经回答过。
另一个边界是可行性。这类实验要在预训练语言模型上反复测试,你得诚实地问自己:手上的算力能跑多大的模型?有没有复现过一个最简单的版本?
如果你本科或硕士主要做的是应用开发,比如调用接口搭过问答系统,这段经历能说明你碰到过长文本的实际问题,但还说明不了你能分析模型内部的注意力。这时候与其把研究计划写得很满,不如先复现论文里的一个小实验,再把自己观察到的现象写进去。
当然,这些都是根据公开论文做的判断,不是导师公布的招生偏好。张智松最近的研究也不止这一条线,比如他在2026年的EACL会议上还有一篇第一作者论文,讨论给网页智能体加入明确的“回退”机制。读一位导师,至少要读两三篇他本人真正参与的工作,才知道哪条线是你能接上的。
你今天就能做的三件事
第一,把研究计划的第一句单独拿出来,删掉“大模型”“智能”“前沿”这些词,看剩下的内容还能不能说清你要研究什么。
第二,找一篇目标导师本人做第一作者或通讯作者的近期论文,用一句老师话写出它研究的具体问题,再写出它用什么标准判断“做成了”。
第三,拿你改完的研究问题和这篇论文对一对:如果几乎一样,就往外推一步;如果完全不相干,就回头想想自己为什么选这位导师。
你的研究计划第一句现在是怎么写的?可以发在评论区,我们一起看看它小到能被检验了没有。





