学习方法

从竞赛少年到生成模型研究者:邓明扬访谈笔记

·15 分钟阅读·— 次阅读

邓明扬的经历很容易被贴上“天才叙事”的标签:IMO 金牌、IOI 金牌,本科就读 MIT 数学与计算机科学,曾在 DeepMind 和 Meta 实习,如今在 MIT 师从何恺明,研究生成模型。

但这篇访谈真正有意思的地方,并不是履历本身,而是他如何理解竞赛、科研、AI,以及人在 AI 时代还能保留什么独特价值。

他的很多判断都带着一种反英雄主义色彩:世界并没有那么神秘,研究也并不总是靠纯粹推理前进,很多突破来自试错、噪声和黑天鹅。重要的不是成为“少数能看见真理的人”,而是在混沌里不断观察、拼接、实验。

1. 竞赛给他的,不是路径,而是观察力

邓明扬小时候喜欢写游戏。对他来说,编程最吸引人的地方是:一个想法可以通过代码变成真实运行的系统。这种创造感,后来也成为他转向 AI 的重要原因。

他对竞赛的总结很反直觉。竞赛并不只是训练解题技巧,而是在训练一种 few-shot 的观察与归纳能力。面对一个问题,你需要从有限信息中找性质、拼线索、试结构。这种能力并不局限于某道题,而会变成更抽象的 representation learning。

他从竞赛中得到的一个重要体会是:很多问题没有想象中那么深奥。所谓难题,很多时候不是藏着某种神秘答案,而是需要你认真观察,把已有性质列出来,再尝试拼接。

这也是他后来做研究的方法论底色:不要过早神化问题,也不要过早神化人。

2. TCS、数学和 AI:三种完全不同的研究气质

访谈中,邓明扬用三个比喻区分自己做过的方向:

TCS 像谈恋爱。研究者沉浸在精妙结构里,快乐很内在,不一定需要外部世界承认它有多大 impact。

数学像发现真理。它让人感觉自己在触摸世界的某个基本维度,用新的语言重新理解现象。

AI 则像闹革命。它混乱、快速、路线众多,每个人都在押注未来哪条路会赢。

他最终转向 AI,一个重要原因是他不太满足于纯理论中“必须严格证明”的表达方式。在 AI 里,实验现象、直觉、工程系统和创造感可以共同构成理解世界的路径。很多东西未必马上能证明,但可以先被观察、被试出来、被感受到。

这也是他反复强调的科研态度:有些问题靠辩论辩不明白,真正重要的是去试。

3. 科研不是竞赛:最难的是决定什么问题重要

竞赛和研究最大的区别,不在于技术难度,而在于问题选择。

竞赛题已经被设置好,你要做的是解它。但研究中,真正困难的是判断什么问题值得做、什么现象重要、什么方向可能代表未来。

这也是为什么竞赛能力可以迁移,但不能直接等价于科研能力。竞赛训练了 observation,训练了在有限线索中找结构的能力;但科研还要求你在开放世界里定义问题。

邓明扬对学术界和工业界的比较也很清晰:工业界能看到最前沿的系统,能把很多人的 observation 拼成强大的结果;学术界则更像一个人从 infra、代码到问题本身都要承担更多责任。

工业界适合推进确定性更强的路线,学术界则适合保持更高 temperature,尝试那些看起来不那么主流、但可能撞上黑天鹅的方向。

4. 师从何恺明:从“想 idea”到“做实验”

邓明扬选择跟随何恺明,一个重要原因是想补上自己早期不具备的能力:如何真正做好实验,如何从实验里获得直觉。

这也改变了他对研究的理解。过去他喜欢讨论 idea,现在越来越相信:很多 research 问题无法靠讨论解决。一个方法会不会 work,事前常常无法判断,只能通过实验观察。

这背后有一个更大的世界观:长期来看,很多科技进展并不是线性、可预测的,而是由噪声和黑天鹅推动。AlexNet 改变深度学习方向,就是这类事件的典型例子。

因此,科研不是坐在那里争论哪条路线更优雅,而是要足够快、足够认真地试。

5. AI coding 与人的价值:别把自己的技能树交出去

邓明扬已经大量使用 Codex、Claude Code 等 AI coding 工具。他认为,现在 AI 在代码层面的自动化已经很强,很多大模块都能直接写出来,人更多是在 review plan、把控整体方向。

但他也提出一个很重要的担忧:如果什么都交给 AI,人会不会失去自己的 representation?

他用“点技能树”来理解学习。人亲手做事,不只是为了完成当前任务,也是在积累未来创新所需的直觉。如果完全放开双手,把所有实现细节都交给 AI,短期效率可能更高,但长期可能会削弱自己对系统的 sense。

未来研究者可能越来越像 PI:AI 像 PhD 一样帮你做大量具体工作。但如果 PI 太久不写代码,也可能逐渐失去判断力。

所以问题不是“用不用 AI”,而是:哪些事情可以交给 AI,哪些事情必须亲手保留,以维持自己的技能树继续生长。

6. 生成模型:瓶颈可能不是 capacity,而是 optimization

在技术部分,邓明扬多次强调一个观点:很多问题的瓶颈并不在于模型 capacity,而在于 optimization。

以 Mean Flow 为例,传统 flow matching 预测瞬时速度场,而 Mean Flow 试图预测任意两个时间步之间的平均速度场。这个工作给他的启发是:模型可能比我们想象得更聪明。只要优化目标设计得当,它可以用很少步骤,甚至一两次 forward pass,完成过去认为必须多步逼近的生成过程。

这让他对 diffusion 的长期范式保持怀疑。一两步生成是否可行,本身不是最关键的问题;更关键的是训练目标是否让模型学到了足够完整的能力。

他把 machine learning 理解成“点技能树”:每个训练目标都在点某些技能。理想的目标不是只让模型预测一小部分信息,而是让模型预测所有可预测的信息。contrastive learning、MAE、next-token prediction 都只是这个大目标的子集。

7. Drifting Models:让 loss function 也成为 scaling 轴

在 Drifting Models 中,邓明扬探索了一条不同于传统生成建模的路径:让模型输出的分布在训练过程中逐渐漂移到数据分布。

核心思路是:模型先 rollout 一些样本,然后定义一个 drifting field,让生成样本靠近真实数据样本,同时远离附近的生成样本。更有意思的是,这种约束可以在不同 feature space 上做。

这带来一个新的 scaling 维度:不只是扩大模型、增加数据或提高 inference compute,而是让 loss function 覆盖更多、更好的 feature。feature space 越强,模型效果越好。

这和他的“技能树”直觉一致:通过更多 feature 施加约束,本质上是在让模型学习更多任务,从而获得更完整的能力。

8. Vision 的困境:缺少真正好的 downstream task

谈到视觉方向,访谈里有一个很尖锐的判断:vision 领域很多研究的问题不在于模型,而在于 task definition。

classification、segmentation 等传统任务与真实应用越来越远。VLM 的很多 benchmark 又高度依赖数据收集,而不一定体现方法本身的进步。

真正重要的方向可能是 computer usage agent、robotics、egocentric video、wearable device 等更贴近应用的场景。但这些方向还没有形成足够清晰、统一、可竞争的任务定义。

如果没有好的 downstream task,很多 model design 可能从一开始就是错的。

这也是为什么他和 ZP 都关注 long context、多模态经验共享和统一生成范式。未来的模型不仅要处理文本,还要理解视频、交互、生活经验和复杂环境中的长期上下文。

9. FID、pixel-level generation 与评价问题

对于 FID,邓明扬的态度比较务实:如果不刻意 hack,它仍然是一个不错的开发指标,稳定、简单、能反映基本质量。但当 FID 已经进入 1.x 区间,它区分模型细微差异的能力会变弱。

更深的问题是,很多视觉生成的评价方式仍不够 robust。比如像素级 loss 对语义不敏感,图像平移一个像素可能 loss 很大,但语义上并没有错。

这也解释了为什么 pixel-level generation 仍有价值。latent 压缩可能丢失信息,而 pixel 可以作为统一 interface:你可以在 pixel 上生成,再在不同 representation space 上施加 loss。这样既不提前丢信息,也允许训练目标覆盖更多表征。

10. 《战争与和平》:接受伟大,也接受不伟大

快问快答中,邓明扬提到自己喜欢看小说,也喜欢在波士顿半夜骑车。他最近喜欢卡尔维诺的《看不见的城市》和陀思妥耶夫斯基的《赌徒》。

对他影响最大的是《战争与和平》。原因不是宏大叙事本身,而是书中人物曾经渴望成为英雄,却在现实中发现自己普通甚至失败。这个过程让他意识到:人可以追求伟大的研究,也要接受理想可能无法实现;即使没有成为伟大的人,人生仍然可以继续展开,并且有意义。

这可能也是整篇访谈最有余味的地方。

一个拿过 IMO、IOI 金牌,站在生成模型前沿的年轻研究者,最后谈到的不是“我一定要赢”,而是“如果没有赢,如何继续生活”。

结语:在混沌里试,在有限经验里泛化

这篇访谈里,邓明扬反复谈到几个关键词:观察、试错、黑天鹅、技能树、few-shot 泛化、optimization。

它们共同构成了一种研究观:

不要把问题神秘化。 不要相信所有进展都是线性可预测的。 不要只靠辩论判断 idea。 不要把自己的技能树完全交给 AI。 不要把模型能力只理解成 capacity。 不要忘记,人类仍然有从有限经验中做大胆泛化的能力。

AI 时代的研究者,也许不再是亲手完成每一行代码的人,但仍然需要保留判断力、直觉、经验和愿意亲自试的能力。

真正重要的不是押中某个流行方向,而是在混沌中保持足够高的探索温度。

相关文章

从河南乡村到诺奖热门:阎连科写作之路

阎连科接受《巴黎评论》专访,讲了很多自己早年写作、阅读、参军、成名以及后来不断改变小说形式的经历。 他的作品已经被翻译成三十多种语言,两次获得鲁迅文学奖,获得过弗朗茨·卡夫卡奖,两部作品入围国际布克奖,也常常被认为是中国最有可能获得诺贝尔文学奖的作家之一。 从想离开开始: 阎连科1958年出生在河南农村,父母都是农民。他自称他不是那种“怀念故乡”的人,恰恰相反,他一直想离开村庄。 那时他心里...

2026/6/23 · 11 分钟

聚焦:理解 AI 工具的隐性风险

一个挑战,四种策略 这些文章选自 HBR.org。 1. AI 并没有减少工作——它让工作更密集 2. 当使用 AI 导致“脑炸” 3. 大语言模型正在用修辞技巧操纵用户 4. 研究:使用 AI 会抑制创新,但并非必然如此 ------ 1. AI 并没有减少工作——它让工作更密集 作者:Aruna Ranganathan、Xingqi Maggie Ye 现在,许多公司都在担心如何鼓励更多...

2026/6/11 · 76 分钟

破解AI时代的信息过载:AI 辅助阅读

-----不是让 AI 替你读完一切,而是重建阅读流程 现在很多人一提到 AI 辅助阅读,第一反应就是: > 把 PDF 扔给 AI,让它总结一下。 这当然有用,但远远不够。 真正高效的 AI 辅助阅读,不是让 AI 替你读完所有东西,而是让 AI 帮你完成过去最痛苦、最耗时、最容易半途而废的几个环节: - 从大量信息中筛出值得读的内容; - 快速理解一篇文章或一本书的结构; - 找到关键证...

2026/5/26 · 24 分钟