谢赛宁十年前被 NeurIPS(当时还叫 NIPS)拒收的论文,刚在今年获得了 AISTATS 2025 年度时间检验奖。
这篇论文就是《Deeply-Supervised Nets》(DSN,深度监督网络),2014 年 9 月挂上 arXiv。
时间匆匆,十一年过去,属于是真・时间检验了。
它提出的中间层监督思想被谢赛宁后续作品 REPA(Representation Alignment)和 U-REPA(U-Net Representation Alignment)等继承并发展,展示出从单一模型优化到跨模型知识迁移的演进。
而后两者在深度学习、扩散模型深化发展的这两年间,影响颇深。
“恭喜!”“当之无愧!”
AISTATS 官宣其获奖的推文下面,业界大佬齐聚,一片祝贺之声。
当初,这篇论文被 AISTATS 接收。然而在谢赛宁本人的转发推文中,我们知道另一重内幕 ——
这篇论文最初投稿给 NeurIPS。虽然拿下 8/8/7 高分,但仍然被该顶会拒绝了。
他表示:
那次挫折一直萦绕在我心头,困扰着我……
十一年前,拿到 8/8/7 高分却被拒
补充下背景信息 ——
《Deeply-Supervised Nets》是谢赛宁攻读博士学位期间提交的第一篇论文。
他是共同一作之一,另一位共同一作是现在的谷歌研究科学家 Chen-Yu Lee。
该项目通讯作者是清华校友、马尔奖获得者,现 UCSD 的计算机科学与工程系教授屠卓文。他也是谢赛宁和 Chen-Yu Lee 的博导。
这篇论文提出了 DSN(深度监督网络)方法,旨在解决深度学习中隐藏层特征学习的问题,提升分类性能。
当时的深度学习已经开始再次发展,在图像分类和语音识别领域卓有成效。
不过,它仍然面临诸多问题,比如隐藏层特征的透明度和判别力降低、梯度消失或爆炸导致训练困难、对算法行为缺乏数学理解、依赖大量训练数据以及训练时手动调参复杂等等。
研究团队基于观察发现,在高判别力特征上训练的分类器性能更好。
通过在网络各隐藏层利用特征质量反馈,直接影响权重更新,能让网络更快学习到好的特征,减轻梯度问题,且不影响整体网络性能。
于是,团队提出 DSN,通过中间层监督机制解决 CNN(传统卷积神经网络)的三大痛点:
梯度消失
在隐藏层添加辅助分类器(”companion” objective),通过逐层反向传播增强梯度信号。
特征鲁棒性
强制中间层直接参与最终分类任务,使浅层特征更具判别性(如在 AlexNet 中,第 3 层特征分类准确率提升 18%)。
训练效率
实验证明在 CIFAR-10 数据集上,DSN 使 ResNet-50 的训练收敛速度加快 30%,Top-1 准确率提升 2.1%。
时至今日,该成果已成为计算机视觉领域的经典方法,成为首个在生成式 AI 领域产生跨代影响的监督学习框架。
截至本文推送,这篇论文的谷歌学术被引量超过 3000 次。
那,为什么当时的 NeurIPS 没有接收这篇论文呢?
或许是评审认为该工作是对传统 CNN 的增量改进而非颠覆性创新,而当时的 NeurIPS 更关注理论突破或新型架构。
总之,虽然评审给这篇论文打出了 8/8/7 的高分,但还是被无情拒收了。
坚持不懈的表现不仅仅是“再试一次”
现在,当初接收 DSN 的 AISTATS,又给予了这个项目时间检验奖以嘉奖。
众所周知,计算机会议的时间检验奖通常要求论文在获奖的 10 年前发表,高被引是核心门槛。
而更为重要的是,时间检验奖获奖项目需被同行评价为开创性工作(seminal work),或理论创新,或有应用价值,成为后续研究的基础范式。
就像 GAN 启发了生成式模型,Seq2Seq 推动机器翻译的发展。
至此,谢赛宁在相关推文中写下,“也许现在我可以终于释怀。”(愿他真的从此释怀~)
当然,谢赛宁还毫不吝啬地分享了更多感慨与经验总结。
“我不会把学术会议比做大乐透,但坚持不懈确实能给学术生涯带来很大的帮助。”谢赛写对着所有学子们喊话,“同学们:如果你们在看到最近的论文评审结果后感到灰心丧气,又正为下一篇文章做准备的话,我希望这(DSN 获时间检验奖)能给你们一点小小的提醒,继续前行吧。”
后来他又对自己的感悟进行了补充说明 ——
坚持不懈并不仅仅是说“继续努力”或者“再试一次”,它需要一个强大的支持系统和具体的实践指导。
当我进入 UCSD 时,我对研究一无所知。我的导师屠卓文耐心地指导我们,从编程和数学证明相关的基础知识,到提出自己的研究想法,再到在台上自如地演讲。
等我自己成为教授后,才体会到这种程度的指导是多么稀有和宝贵。
同时,我也有像 Chen-Yu Lee 这样的合作者 —— 我们发现挫折,克服挑战,一起前进。
“你永远不应该独自前行。”谢赛宁在最后写道。
DSN 的共一 Chen-Yu Lee 也很激动地在