啃书文学网

手机浏览器扫描二维码访问

第14章 万事俱备(第2页)

将简洁好用的结构反复重复,这也大大地降低了孟繁岐所需要的开发工程量。

AlexNet是八层的结构,各自有一些独立的设计,在此时,8层已经是革命性的深度网络了。

更深的网络特别难以训练,因此原本直到14年,谷歌和牛津才分别把这个深度推进到22层和19层。

而ResNet的思想,彻底从根本上解决了网络变深就没法顺利训练的问题。它让50,100,150,甚至1000层网络的训练成为可能。

“从去年的8,到今年的100+层,甚至1000层也可以训练。在2013年的视角来看,这一剂猛药应该够劲了。”

不仅是深度上取得了开创性的突破,ResNet的性能也同样惊人。它是第一个Top-5错误率低于人类能力的结构,单模型达到了4.6%左右。

如果综合几个不同方式训练的ResNet,平均他们的输出再去预测的话,其TOP-5错误率甚至低至3.7%。

“其实在IMAGENET上做得太准了反而是一件怪事。”考虑到后世的研究中,该数据集中的标签其实有不小的比例是错误的,越贴近百分之百的准确率反而越有一些荒诞的感觉。

ResNet的Res指residual,正经点说是残差,说得明白一些是一种短路或者是跳跃链接。

再说的浅显一点,假设原本的操作为f(x),ResNet就是把计算过程从f(x)改为f(x)+x。

这也是孟繁岐最早与付院长讨论的内容之一。

这种不带任何参数的支路链接,直接把操作前的内容加到操作后的内容上,是深度网络突然能够在上千层的深度下收敛的秘密所在。

在此之后的几乎所有AI文章,都很难绕得开这个思路。恺明本人单就这一篇文章,就在六七年的时间内收获了十五六万的文章引用。

不得不说这是一个天文数字。要知道即便是NatureCellScience三大世界级顶刊常客,著名华国美国双料科学院士抽出一个来,至今为止所有文章的总引用数量加在一起五万多都算是多的了。

当然了,单以论文被引用的次数来评价文章的水平和作者的水平是有失偏颇的。

很多基本学科曲高和寡,看得人少写得人也少。引用自然就上不去。

但就AI这个实用性实验性比较强的学科来说,内部去对比的话,引用的多少含金量还是相当之高的。

大家只会用代码投票,有价值的东西会一直迭代下去。有利于自己模型在任务上性能提升的技术,则会被一直引用下去。

学术界一直有这样的说法,搞理论的和搞实验的两边相互看不起。这倒也不是无中生有。

恺明凭借几篇代表作奠定自己历史地位后,就总有个别人喜欢说什么“ResNet的思想早就有人提过了”,“几十年前的东西不算什么新东西”,“这篇文章也就是流量大罢了,和流量明星是一样的”。

酸味都要溢出屏幕了。

孟繁岐不是没读过一些理论类的文章,但他个人觉得新时代的AI,P话谁都会说,代码写出来才是本事。你说几十年前就有的东西,怎么不写一个ResNet突破人类水准呢?

ResNet的核心代码难写吗?不难的。

基于阿里克斯的框架,只需几个小时的时间,他就可以基本复现出ResNet论文中的所有结构。

弱小和无知不是生存的障碍,傲慢才是。

巧克力女孩  无解  来自宇宙的情书  我不花心,只是多情  莫名其妙爱上你  桂林山水甲阳朔  弹琴不谈情  忘记  狂舞巔峰  JULIET  娱乐:让你上台卖惨,没让你笑场  黑天使  反派手挽手,八零抖一抖  西有鹿鸣  夜之牙一  荒岛求生后假千金爆火了  倾世狂妃:驯服腹黑王爷  华娱:导演的快乐就这么简单  冷暴力恐怖份子  你要不要跟我告白  

热门小说推荐
回到三国的无敌特种兵

回到三国的无敌特种兵

王牌特种兵不幸陨落,回到东汉末年三国乱世在强人横行肆意杀戮的年月里,各方势力只想着如何攻城掠地,人命在他们眼里如同草芥一般。想活下来吗?那就拿出你的智慧武力美色或者钱财来兑现生存筹码! 穿越而来的赵兴,佃农之后孤儿寡母家徒四壁,又拿什么同命运抗争?本不欲欺人,然而人欺我 本无意杀人,可别人向我举屠刀!既然来到了人吃人地年代,那就做个顶天立地的铁血男子汉!杀张杨占上党,灭丁原降吕布,战董卓平西凉天下纷争非所愿,那就凭着手中八尺铁枪征天下!北起辽东之地南到交州蛮荒,大军过处,且看袁绍刘备曹操袁术孙策司马氏化成尘土飞扬…有我赵兴在,岂让五胡再乱华?且看大汉百万铁军横扫四野八荒,一统天下!...

恋你一生无悔艾天晴

恋你一生无悔艾天晴

不要叫我后妈,我没你那么大的儿子!艾天晴一直以为自己要嫁的人是一个快六十的老头,直到某天晚上那个邪魅冷血的男人将她抵在了门上,从此她的日子就...

魔教

魔教

新书已经发布,世俗修真指南,支持的请进!新书已经发布,世俗修真指南,支持的请进!新书已经发布,世俗修真指南,支持的请进!新书已经发布,世俗修真指南,支持的请进!新书已经发布,世俗修真指南,支持的请进!...

无敌神灵

无敌神灵

这是一个有着宅男倾向的大学生,偶然间吞噬了一个有着传奇境界的法师灵魂,并获得了其传承,拥有穿越到其他世界的能力,并逐步成长到世界之巅乃至位面最强的传说。我一定会成为世界上最巅峰的存在!受到传奇法师灵魂影响的大学生,将此当作毕生目标。本书特色种类繁多的各种职业职业特长各种见过或没见过的魔兽异兽各种功能的宝物位面世界暂时包括英雄无敌神奇宝贝火影暗黑破坏神各完本小说1完本一部斗破之巅峰。因为很多人反应不够霸气,没有后宫,太憋屈,不好看,所以本书改进很多,至少不会有憋屈的感觉。当然,理智是必不可少的。2更新不给力,但一定完本,请大家放心阅读。3本人没事弄了一下,已和电话绑定,请大家放心收藏。4请喜欢的书友投我两票,给我鼓励和信心。...

不死邪尊

不死邪尊

修仙成圣,直达长生!什么?十几岁才开始接触修仙?什么?天赋极低?什么?喜欢肉搏?什么?丹田觉醒既不是攻击丹田,也不是防御丹田?那不是废丹田嘛叉!他虽然十几岁才入行,却有三位三界顶级大仙做小弟!天赋虽低,却掌握三界最优制符炼丹布阵之法!他丹田虽非攻击丹田防御丹田,却绝不是废丹田丹田内有一世界,想攻则攻,想守则守,想当布袋,便可装无穷尽之法宝神器!里面甚至还有一个美女杀人夺宝,靠全职业技能辅助修仙升级,他是整个三界最大的作弊者登峰造极,是为神之王者,仙之至尊!...

曾以相思铸流年宋灿

曾以相思铸流年宋灿

宋灿爱温容庭,爱到了骨子里,如鸩毒入心。  一场蓄意的爆炸事故,他的心尖人葬生火海。  她爱他十载,却被他亲手送入监狱,毁容,双耳失聪。  宋灿以为这就是地狱。  可转瞬间,他的心尖人死而复生,她身怀六甲被他遗弃在车祸现场。  救我身下的血水汨汨而出,她犹如蝼蚁拽着他的裤脚。  你和孽种都该去死!  他决绝转身,留下诛心之语。孩子惨死,她从天台上一跃而下,只求此生再也不见他。...

每日热搜小说推荐