“你这里说的深度神经网络指的应该是你自己提出的那种上百上千层的神经网络,而不是目前业界的深度网络吧?”
付院长转过头来,微笑问道。
“付院长您是怎么..”
孟繁岐先是愣了一下,然后猛地反应过来,目前只有那个女生看到过自己提前准备的残差网络草稿。
“是那个女生跟您说的?”
“哈哈哈,她是我的小师妹。”
付院长笑道,“前段时间来这里,也顺便来拜访了我一下,提到了我们学校有个学生在研究什么深百层千层的神经网络,研究得像模像样的。”
“说实在的,这也不是我的领域,如果不是以前的老师让我关注一下这方面,我还真是一窍不通。
这两天我还在查询资料呢,我说这哪有什么上百层的神经网络,去年年底那个夺冠的AlNet不也才8层的深度吗。”
“我也只是刚刚有一些想法。”
孟繁岐连忙解释道。
“你不用紧张,我只是稍微有些好奇,想看看咱们学校到底是不是出了个这方面的天才。
若是真的,我肯定大力支持。”
();() 孟繁岐连忙先请付院长坐下,先为他大概介绍了一下背景,原理和现阶段难题。
付院长本身是纯数学出身,此前又在老师的指示之下对这个领域稍稍了解过一些,因此孟繁岐没说太多,他就已经掌握了大概。
“你认为深度网络难训练的问题本质上是梯度问题,所以你想使用残差的形式。”
付院长喃喃自语,左手握拳,撑住了自己的下巴。
“如果不去深究神经网络本身的变换,而只是将其的变换理解为一个未知的高维函数的话,f(x)的多次累加会比x+f(x)的残差形式要不稳定太多。”
孟繁岐后世主要以理解算法的流程,了解几种对比方法的优缺点为主。
对于其具体的内在原理,数学推导,平心而论,他的关心远远不足。
现下正是弥补这部分短板的大好机会。
“如果我们讨论一个函数的多次嵌套,f(f(f(f(..f(x)..))))的话,不管是否是残差的形式,都是相当难以分析的。
从数学上直观来看,两个相同次数的嵌套,有残差与否,不应当会改变该函数的实际表达能力。
也就说,你构建的模型其对函数拟合的能力是与原本相当的。”
“倘若真的可以观察到明显的改善,那说明这种残差的形式只是能够让你所说的模型更容易被优化。
换言之,以我的视角来说,该函数的求解变得更加精确了,从这个角度来看,残差是一种简洁的欧拉前向形式。”
付德清说着,拿起了纸笔开始了一些推演。
孟繁岐疏于数学上的推演,但他很熟悉这种形式构建的网络有什么特性,因而越听越觉得惊奇。
付院长的数学分析竟然相当接近不少后来的实验结果。
只可惜自己看他亲自上手推论,却稍微有些吃力了。
此时此刻和他一样一头雾水的还有附近竖起耳朵吃瓜的几名高年级学长学姐。
穿越到了地狱的贝尔希,意识到自己成为了一条深渊龙。携带着暴食之加护的他,只能够依靠不断的吃吃吃来变强了。桂花蜜味道的深渊魔虫花生酥味道的蛋壳,还有一只跟着他蹭吃蹭喝的史莱姆故事也将从这里开始。—已有多本完本经验,成绩一般但依旧坚持将故事讲完,人品大概还算可靠。书友群(与残月狂徒大人一起玩)926993534各位书友要是觉得暴食之龙从地狱位面开始还不错的话请不要忘记向您QQ群和微博里的朋友推荐哦!...
松软的戚风蛋糕酥脆的牛角面包可口的慕斯蛋糕蓬松的手撕面包网红的脏脏包。甜的咸的,酥香的,口感饱满的。种种精致诱人的面包蛋糕似乎都能从这一家小小的烘培坊找到。这是一个关于烘培的故事。阅读指南...
从1981年算起,穿越到英国已经十年了。开始以为能利用重生优势先知先觉,三十岁以前实现财务自由。结果十一岁生日当天,脑海里叮的一声万界杂货铺已开启,请店主接受第一个任务。看来,一个全新的未来开始了...
...
嬴天穿越大秦,成为始皇第九子,觉醒昏君系统,但想要激活,必须称帝。可是,政哥此时刚刚继位!赢天为了激活系统,花费数年时间,抵达罗马称帝。就在他准备联合父皇,灭掉迦太基时,意外发生。国战系统开启全球一百九十七个国家,每个国家都会选出一个幸运儿,穿越到两千年前,辅佐祖先发展失败的国家将会从历史上抹除,成为奴隶国后世各个国家激动万分。然而,穿越后,当看着坐在罗马皇位上的嬴天,全都懵逼了。意国我特么刚穿越,你和我说罗马帝国被占领了?樱花国谁懂啊家人们,刚穿越大秦就打过来了!阿三国打架都就打架吧,恢复贸易干啥?各位书友要是觉得大秦我们刚穿越,你在罗马称帝还不错的话请不要忘记向您QQ群和微博里的朋友推荐哦!...
路人甲听说了吗大清亡了路人乙你是哪个原始部落穿越过来的路人甲嗯,听说了吗外星人要跟咱们在一个服务器玩游戏了路人乙这特么全地球的人都知道了。路人甲嗯,听说了吗人...