7月17日，香港大學(xué)統(tǒng)計(jì)與精算學(xué)系和數(shù)學(xué)系助理教授曹原老師應(yīng)信息學(xué)部的邀請(qǐng)?jiān)L問(wèn)實(shí)驗(yàn)室，并做題為《深度學(xué)習(xí)中的一些有趣現(xiàn)象及其理論解釋》的精彩報(bào)告。

深度學(xué)習(xí)在許多應(yīng)用中取得了巨大成功。然而，深度學(xué)習(xí)的成功在理論上并不被充分理解。曹原教授首先介紹了深度學(xué)習(xí)中的“良性過(guò)擬合”現(xiàn)象，并介紹最近的研究結(jié)果，用于刻畫(huà)卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練中良性和有害過(guò)擬合的現(xiàn)象。然后，他討論最近在圖像分類(lèi)任務(wù)中發(fā)現(xiàn)的Adam和隨機(jī)梯度下降之間的泛化差距現(xiàn)象，并提供一個(gè)直觀(guān)的解釋?zhuān)俳o出支持這種泛化差距的嚴(yán)格理論。

在討論環(huán)節(jié)，與會(huì)師生就實(shí)驗(yàn)網(wǎng)絡(luò)的優(yōu)化器、數(shù)據(jù)訓(xùn)練中的過(guò)擬合現(xiàn)象等問(wèn)題展開(kāi)討論，現(xiàn)場(chǎng)氛圍熱烈。最后，董軍宇教授為本次講座做總結(jié)，并再次感謝曹原教授的來(lái)訪(fǎng)。