创世小说网

字: 大 中 小
关灯 护眼
创世小说网 > 我的学习群里全是真大佬 > 第394章 知己者,莫若东也

第394章 知己者,莫若东也

    讲到这儿,台下的学生就有点撑不住了。


    他们才大二啊。


    这帮人虽说不少都已经上手做起了自己的ai项目,模型调起来一个比一个溜,可姚先生今天讲的这个,实在太特麽垂直了。


    这已经不是“会不会用”的层面。


    这是得专门钻进深度学习的数学理论里头,整天跟损失景观、隐式偏置、泛化边界这些东西打交道的人,才跟得上的东西。


    随着姚先生的讲解,黑板上的公式越堆越多。


    【Θ(x,x′)=??f/?θ,?f/?θ?……】


    底下勉强还能跟上的人,越来越少。


    有人已经开始小声地议论了起来。


    “姚先生今天这……跟平时不太一样啊?”


    这话说到了点子上。


    平时姚先生上课,是出了名的深入浅出。


    再难的东西,他总能用一些大家听的动的例子来讲解,把学问讲得有趣,好懂。


    可今天他讲的这些什麽过参数化的损失景观,梯度下降的隐式偏置,还有那个懒惰训练背後的ntk机制……


    这根本就不是给一群大二智班学生准备的东西。


    这像是讲给同行听的。


    然而坐在後排的李东,却听得津津有味。


    这些东西,有一些他也不是全懂。


    哪怕这一个礼拜,他几乎把市面上能找着的ai论文、文献、测评,一篇不落地全塞进了记忆宫殿。


    可记忆宫殿这玩意儿,说到底只是个仓库。


    它能存,却不能替李东啃透。


    那些论文这一篇是讲损失景观,那一篇是讲泛化,另一篇又在讲什麽核方法,李东完全没办法将它们有序的关联起来。。


    而姚先生此刻在台上讲的这些,就像一根针线,终於将这些串联了起来。


    损失景观为什麽会连成片,连成片之後梯度下降凭什麽偏心,偏心又怎麽扯到了核方法的头上……


    原来,它们讲的是同一件事。


    ……


    就在李东顺着这根线往下捋的时候。


    台上的姚先生,忽然停了下来,低头看着教案,似乎是在等底下的同学消化。


    教室里,一下子就静了。


    李东还沉浸在刚才的思路里没出来,姚先生讲的那个懒惰训练有个地方他一时没搞明白。


    於是他下意识地就喃喃自语了一句。


    “……可它要是一直这麽懒,那它到底是从什麽时候起,才真正学到东西的呢?”


    声音不大。


    可教室太静了,这一句话就显得格外的清楚了。


    姚先生本来还低头看着教案,听见这一声,他抬起了头。


    目光落到後排的李东身上,他笑了笑。


    “李东教授,你这个问题,问得很好,”老人慢条斯理地说道,“网络要是真就一直这麽懒、一直围着起点打转,那它顶多算个换了身皮的核方法,谈不上学到什麽新东西。它真正开始学,是从它肯挪窝、肯把那些旋钮往远了拧、在底层自己长出一套有用特征来的那一刻起的。”


    “这中间隔着的那道坎叫逃离ntk机制,进入特征学习。”


    “至於这道坎卡在哪儿,又该怎麽迈过去……”


    姚先生笑着摇了摇头。


    “这恰恰是现在还没有几个人能说清楚的事。”


    姚先生话音一落,李东却愣在了那里。


    周围几个学生偷偷瞄他,心里都犯起了嘀咕。


    好家夥。


    这个问题难成这样了?连东神都被说懵逼了?


    然而李东并没有被说懵。


    他愣住的原因只是因为……刚才他的脑子里毫无征兆地冒出来一些更深的东西。


    【当网络宽到极限的时候,不再被看成一堆死板的旋钮,而是化作了一片连续的“概率分布”】


    【每一个神经元,都成了这片分布里的一粒尘埃。】


    【训练也不再是苦哈哈地一个个拧旋钮,而是这一整片分布,在一个叫wasserstein空间的几何世界里,顺着最省力的方向流动。】


    这是把训练直接写成了一道描述质量如何流动的偏微分方程啊。


    而顺着这道方程往下,那道卡了无数人从懒惰到特征学习的坎,竟隐隐约约露出了一点能绕过去的缝。


    这才是李东懵逼的原因,他立刻就反应了过来……


    这是姚先生脑子里的思路,是姚先生那些还没来得及说出口、甚至自己都未必理顺了的灵感。


    它们被薪火相传进阶版的效果,塞进了李东的记忆宫殿里。


    可紧接着李东又觉得不对劲。


    刚才他坐在底下听,姚先生讲了那麽久,他脑子里也只是把旧东西串了串,半点新的没冒出来。


    偏偏是他喃喃问了那一句、姚先生回了他那一句之後。


    这股灵感才出现的。


    “不会吧……”


    “难道非得我开口问才能……触发这个效果?”


    他越想越觉得是这个理。


    於是李东抬起头,有些抱歉地,看了一眼教室里那一张张还懵着的脸。


    对不住了,各位。


    接下来我要干的这些事,真不是我自己想这麽干的。


    ……


    於是在智班这一屋子人的眼皮子底下……


    李东自打问完头一个问题以後,就完全停不下来了。


    “姚先生,那顺着这个往下想。”


    “要是干脆别盯着一个个参数看了,把整张网络拉到无限宽,看成一片连续的分布,训练是不是就能看作这片分布的演化?”


    姚先生握着粉笔的手,微微一顿。


    他没料到,这小子一张口,直接切到了平均场理论的腹地。


    “……可以这麽看。”


    他眼里也透出了光。


    “把训练写成分布的流动,那你紧接着就会撞上一个问题,它顺着什麽尺度在流动?”


    “顺着最省力的方向呗。”


    李东几乎是脱口而出。


    “可省力得有个尺度,寻常的欧氏距离不顶用,得换一种能丈量两片概率分布远近的法子……”


    “最优传输给的度量尺度。”


    姚先生接了下去,语速也快了几分。


    “拿wasserstein距离当尺度,这片分布的流动,就成了一道最优传输空间里的梯度流。”


    “再往下一落地,你就得到一道偏微分方程。”


    “连续性方程!”


    两个人几乎是同时说出了这五个字。
『加入书签,方便阅读』
内容有问题?点击>>>邮件反馈
热门推荐
穿越明朝当皇帝 重生之极品皇帝 超级丧尸工厂 繁花落尽时,吻你 霸道总裁引妻入怀 遮天魔尊