深度学习成长的烦恼
发表于 16:47|
作者Chris Edwards
摘要：深度学习尽管对当前人工智能的发展作用很大，然而深度学习工作者并非一帆风顺。本文通过不同的深度学习研究人员的现身说法，列举了深度学习在不同场景下面临的一些挑战以及目前的解决方案。
【编者按】深度学习尽管对当前人工智能的发展作用很大，然而深度学习工作者并非一帆风顺。Chris Edwards发表于Communications of the ACM的这篇文章，通过不同的深度学习研究人员的现身说法，列举了深度学习在不同场景下面临的一些挑战以及目前的解决方案。CSDN翻译此文，希望对国内深度学习从业者有借鉴意义。理论和计算机硬件的进步促使神经网络成为在线服务的核心部分，如微软的Bing，采用神经网络驱动图像搜索和语音识别系统。这些公司提供这样的能力是希望在未来该技术能驱动更先进的服务，因为他们扩展了神经网络来处理更复杂的问题。神经网络从50年前的最初设想，到成为信息技术应用的公认部分，花了很长的时间。上世纪90年代，在一阵混乱的兴趣之后，部分支持通过发展高度专业化的集成电路设计来克服传统计算机性能的不足，神经网络在各类算法中脱颖而出，比如在图像处理中的支持向量机以及语音识别中的高斯模型。旧版简单的神经网络最多使用三层结构，分为输入层、中间“隐藏”层和输出层。神经元跨层高度关联。每个神经元将其输出馈送到下一层的每个神经元。该网络是这样训练的：迭代地调整每个神经元施加到其输入的数据，来尽量减少整个网络的输出与所希望的结果之间的误差。虽然神经科学表明人脑具有涉及多个隐藏层的更深结构，但是这类系统的早期实验结果比浅层网络更糟糕。2006年，Geoffrey
Hinton和Ruslan Salakhutdinov在多伦多大学的工作使得深度架构的研究获得一个显著的提升。他们开发的训练技术能更有效地用于包含多个隐藏层的网络。其中一种技术是“预训练（pre-training）”，用于在移动之前独立地调整每一层的输出以优化整个网络的输出。该方法使得上层能够提取可用于下面的隐藏层有效地进行数据分类的高级特征。即使训练有所改善，规模还是深度学习的一个问题。充分互连的神经元，特别是在较高的层，需要巨大的计算能力。用于图象处理应用程序的第一层可能就需要分析一百万个像素。深度网络的多个层连接的数量将会大几个数量级。总部位于瑞士Manno的Dalle
Molle Institute人工智能研究院（IDSIA）研究员Dan Cire?an认为，“每个图像有几十亿甚至上千亿的连接待处理”，训练这样的大型网络需要数千万亿（quadrillions）的浮点运算。Cire?an这样的研究人员发现，可以使用非传统的计算机体系架构来大规模加快处理速度。诸如AMD和nVidia公司的图形处理单元（GPU）提供了并行执行上百个浮点运算的能力。先前加快神经网络训练的努力围绕较慢但更容易编程的集群工作站。在一个深度神经网络训练用于寻找生物细胞分裂视觉特征的实验中，Cire?an认为在传统的CPU上训练阶段花费五个月，“它在GPU上只花了三天时间。”Facebook人工智能研究技术总监、纽约大学数据科学中心创始人Yann LeCun认为：“以前，神经网络没有打破识别连续语音的记录；它们还不够大。当人们更换为深度神经网络的高斯模型，误差率又一路下跌。”根据他们的介绍，深度神经网络显示了超过三分之一的改善，将带有少量背景噪声的语音识别的错误率从35%减小至25%以下，并且进一步优化还有更大的改进。这种学习形式有一些限制。总部位于伦敦、在2014年年初被谷歌以4亿美元收购的DeepMind，使用电脑游戏来评估深度神经网络面对不同类型问题的性能。谷歌研究员Volodymyr Mnih认为，该系统无法处理类似穿越迷宫这样的情况，即奖励只在成功地完成若干阶段后发放。在这些情况下，当网络尝试各种随机初始操作并且失败时，基本什么都学不到。深度神经网络在如Breakout和Virtual
Pinball等游戏中表现比较好，这些游戏成就可能会推迟，但它可以从随机响应学习。在商业应用中部署深度网络，团队都转向定制计算机的设计，使用现场可编程门阵列（FPGA）。这些实现的自定义电子电路使用可编程逻辑查找表，硬连线算术逻辑单元优化数字信号处理，以及存储器单元矩阵来定义所有这些元件如何连接。中国搜索引擎和网络服务公司百度（使用深度神经网络来提供语音识别、图像搜索，并服务于语境广告）决定生产环境服务器中使用FPGA而不是GPU。百度高级架构师Jian Ouyang表示，虽然个别的GPU提供峰值浮点性能，在百度使用的深度神经网络的应用中，相同的性能水平，FPGA功耗更少，并可以安装在刀片式服务器上，完全由连接在主板上的PCI Express总线供电。FPGA的一个主要优点是：因为一个计算得到的结果可以被直接馈送到下一个而无需在主存储器临时保存，存储器带宽需求比使用GPU或CPU实现时低得多。“使用FPGA，我们不需要修改服务器设计和环境，所以很容易大规模部署。我们需要许多功能来支持那些无法在同一时间部署到FPGA中的。但是，我们可以使用他们的可重配置在FPGA中按需移入和移出功能。重构时间小于10μs。” Ouyang说。百度团队通过使用一个简化的浮点引擎来进一步节省空间。“处理器提供的标准浮点实现可以处理所有可能的异常。但以我们的情况来看，我们并不需要处理所有IEEE[754]标准以外的情况。”还有，设法使用更有效的处理器，研究人员正试图利用分布式处理来构建更广泛的深度学习网络以应对更大的数据集。通过网络传送的等待时间严重影响训练速度。然而，与一个提供更低延迟的从以太网络到互联结构的转换一起重新整理训练算法，使得来自斯坦福大学的团队在2013年为多个并行的GPU实现近线性的加速。在最近的工作中使用CPU集群而不是GPU，微软开发出一种放松同步要求的训练方法，允许跨数千机器执行。更具扩展性的网络使得百度有可能实现一个名为Deep Speech的“端到端”语音识别系统。该系统不依赖于传统语音处理算法的输出，例如使用隐式的马尔可夫模型来提高有噪声输入时的性能。在一个噪音频发的数据集上，相比于2014年年底最佳商业系统错误率可达到的30.5%，它将单词识别的错误率减少到刚刚超过19%。然而，预处理数据以及合并从多个较小网络得到的结果比纯粹依靠神经网络更有效。Cire?an已联合使用图像扭曲和小网络“委员会”来减少相比较大单一深度学习网络的错误率。在交通标志识别的一个测试中，技术的结合产生了比人类观察者更好的性能。决定为一个给定模式的类使用扭曲需要人工干预。Cire?an认为，网络自主学习扭曲的最佳组合是困难的，但对于人来说设置系统通常是一个容易的决定。谢菲尔德大学计算机科学系机器学习教授Neil Lawrence认为，传统深度学习的一个潜在的问题是数据的访问。他说，当数据集很好地表示并且可以在大量的适当标签数据上训练时，深度模型往往表现良好。“然而，激励我的其中一个领域是临床数据，并不是这种情况。对于临床数据，大多数人大部分时间并没有大量的临床试验来使用。此外，临床试验也在不断发展，就像患者的疾病一样。这是一个‘大量丢失的数据’的例子。”Lawrence等人曾建议使用概率论中的高斯过程层代替神经网络，以提供对较小数据集的有效学习，对于应用程序，神经网络表现并不良好，比如那些相互连接贯穿于许多不同数据库的数据，这是医疗的情况。因为数据可能不会呈现在某些数据库作为一个给定的候选，概率模型处理这种情况要比传统的机器学习技术更好。这项工作落后于神经网络，但研究人员已开始着手于有效的训练技术，以及扩大处理来工作在如多核GPU机器一样的平台上。“我们有额外的算法负担，即围绕网络传播不确定性，”Lawrence说。“这就是算法问题的开始，但也是在这里，我们已经有大部分的突破。”Lawrence表示，基于高斯过程的深度学习系统可能会要求更高的计算性能，但系统能够自动判断网络内部需要层，这是基于神经网络的系统目前所不能实现的。“这种类型结构的学习是非常令人兴奋的，并且是考虑这些模型的原始动机之一。”对于目前更广泛的神经网络系统，Ciresan提到去除更多限制建造更大、更有效的模型的工作正在进行，“但我想说，我们最想要的是更好地理解深度学习为什么能实现。”原文链接：（翻译/王玮 责编/周建丁）
【预告】&将于7月26-27日在北京友谊宾馆召开。机器学习与模式识别、大数据的机遇与挑战、人工智能与认知科学、智能机器人四个主题专家云集。人工智能产品库将同步上线，预约咨询：QQ：。欢迎关注。&
推荐阅读相关主题：
CSDN官方微信
扫描二维码,向CSDN吐槽
微信号：CSDNnews
相关热门文章【成长和学习的烦恼】理科生想转文科生学会计这个专业_高考吧_百度贴吧
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&签到排名：今日本吧第个签到，本吧因你更精彩，明天继续来努力！
本吧签到人数：0成为超级会员，使用一键签到本月漏签0次！成为超级会员，赠送8张补签卡连续签到：天&&累计签到：天超级会员单次开通12个月以上，赠送连续签到卡3张
【成长和学习的烦恼】理科生想转文科生学会计这个专业收藏
我在上高中前就已经有志向读哪个专业了因为本来是学画画的，是冲着建筑这个和理科挂钩的专业选的理科但是分了科后觉得挺累的，而且发觉自己考理科时心态有问题，虽然成绩没什么起伏，但是意识到或许自己不是这块料本来也不太喜欢，更别说对什么医学化工水电工程这类热门理科工程感兴趣了，仅仅考虑过以后选择建筑或者it专业大家都觉得我的成绩应该继续学理科，但是个中细节和味道只有自己知道，光是计算速度比别人慢半拍就足以让我在高考场大大过失性失分了。而且我了解到建筑和美术虽然挂钩但是关系也并不是非常密切，并不是你画得好建筑一定会学得好。所以我在想，或许我读文科要轻松点吧，因为我学文科比学理科学得好学得轻松。看了下文科的专业。。待遇不错的我也觉得可以似乎有法律、工商管理、金融然后这几个大家都不推荐我去学，因为他们说多数靠背景大家推荐我以后从事会计。我主要是想在年轻时从事会计赚点月薪，然后画点漫画，不能一头热地画画走天涯，我还要养我一家人，我不能对不起他们，所以我想要个能吃大碗饭的工作当主业我才高一完，我高一读了一期就分了科，先读的理科。 高一期末市里联考理科551分，我对这个成绩不是很满意。 高一题还很简单，高二难起来了，我不确定自己会发展成什么样子。尤其害怕高考过失性失分会毁了我，我主要是为高考着想，因为高考决定你的大学，你的大学决定你以后出来找工作的那个破本本，我还是想上个好大学，我很多想法还很幼稚，但是我明白现在我的每一步是为了自己的未来，我比我们班上的那群整天不学习还要以我为榜样说要像我一样努力的臭学生在这方面成熟。晚辈其实现在现在对转科事情还拿不定主义其实简单来讲，就是一边是前人给的教训和建议是，一定要顺着自己的兴趣和天分特长，不要硬来，既然文科考试拿得更准觉得高考可以考得更好，那就学文科，然后会计这个专业比较不错。一面又是理科出路更广，专业选择更多，而且理科成绩还行，但是拿捏分数远远没有文科拿捏得好。。很容易过失性失分，在理科方面没什么自信说白了。。我就是为了服务高考而考虑文理科，我如果读了文科，估计会选择会计专业，理科估计就学建筑或者it【但是我读理科风险大于文科】晚辈或许在考试时就经常粗心导致小细节造成大出血，但是表示那是过于紧张的情况下，做会计不会很紧张，再加上我智力并不低于正常人，所以个人自以为没有问题。对于这个工作也不是很清楚，也希望有经验的前辈能进来开导一下。因为晚辈现在还拿不定文理科。如果学了文科，表示以后会坚持，到时候选会计专业经验和见识短浅，望各位轻喷。另外我的英语既不是长项也不是短项，数学也是，还算好但不出众
登录百度帐号推荐应用
为兴趣而生，贴吧更懂你。或······
临沂顺安小区内学屋聚集 居民烦恼苦不堪言(图)
&&&&发布时间： 08:29:00
小区内随处可见学屋招牌。
小区内随处可见学屋招牌。
小区内随处可见学屋招牌。
　　小区内的学屋越来越多，学生们在楼梯里上上下下，在一定程度上影响了周边居民的正常生活，其楼下储藏室走廊处，也成了部分孩子的“方便之所”，四处都是污物和尿渍，这让小区居民们烦恼不已。“太烦人了，学校放假了，学屋却多了，小区内学屋聚集，乱糟糟的不说，经常有人随地大小便，天一热，尿骚味扑面而来，这让楼上的很多居民苦不堪言，对周围环境影响很大。”6日，家住市区北园路与东岳庙街交会处顺安小区的彭女士拨打12345市民服务热线反映。
　　记者探访：两栋居民楼近20家学屋
　　6日上午11时许，记者来到该小区，远远就听见孩子们的读书声和说笑声。进入小区，只见小区内随处可见学屋招牌，不时有家长和孩子来往穿梭，俨然成了学校宿舍区。记者粗略数了一下，仅有两栋楼的小区就挂有近20家学屋招牌。
　　“你看看，学屋太多了，整个小区就两栋楼，加上沿街商户才80余户，现在已经近20家学屋了，有的住户还在装修，准备开办学屋。这个地方昨天下午已经打扫过了，空气中依然能闻到一股尿骚味，之前更是没法看。”对此，彭女士指着单元楼道内侧储藏室门口地面的水迹说。
　　据彭女士介绍，小区2000年建成后，居民搬迁入住，原来他们楼下卫生一直挺好，自从2014年临沂三小北园路涑河校区搬迁到附近，小区开始出现学屋后，就经常出现这种情况。“应该就是附近学屋孩子所为，这些地方比较隐蔽，附近又没有厕所，下课后，部分学生就跑到这边方便了。”彭女士说。
　　“确实比较烦，原来以为学校放假了，可以安静了，没想到学屋办起了补习班，人员更多了。特别是下午，那么多家长来接孩子，整个小区挤得满满的，小区居民想进出都困难。”对此，居民胡先生抱怨说，他的工作比较累，中午下班后想回家好好休息一下，可是楼上、楼下的学屋总是让他难以如愿，“每天都有上百名学生来到小区，楼道里到处吵吵嚷嚷的不说，这些学生会在小区内追逐打闹，乱扔垃圾、破坏公共设施，让人很头疼。小区没了物业，无人管理，这让我们犯了愁。”
　　中小学已经放假了，学屋里怎么还有这么多学生呢？“送孩子来学屋实属无奈，我们是朝九晚五的上班族，老人都在老家，将孩子送老家又不放心，就将孩子送了过来。”对此，市民张女士很无奈。“原来孩子就在这里的学屋，放假后没人看，听说学屋举办暑期学习班，就又送了过来，既能看管着孩子，还能指导学习。”市民杨先生接着说。
　　学屋：可能是部分孩子所为，将加强管理
　　这种情况难道学屋不知道吗？“孩子比较爱闹，一旦多了，确实是有动静，一般我们都会尽量让他们轻一些。”对此，小区内一学屋负责人孙老师说。对于有时个别楼道、走廊内发现一些屎尿，她也很气愤。“一般学屋里都有厕所，学生们都在那里方便，况且我们管理都很严格，怎么会让自己的学生随地大小便呢？”孙老师说。
　　据孙老师介绍，小区内办辅导班是去年才兴起来的，因为临沂三小北园路涑河校区搬迁至此，小区内的住户便将自己的房屋出租给办辅导班和学屋的个人。“学屋一般都是中午11点半放学，中午午休，下午2点上课，5点放学。我们管理很严格，一般就是下课休息也不让孩子出‘教室’。”孙老师说，有的地方经常出现一些尿渍，不排除是部分孩子所为，但肯定不全是他们。因为有的时候这个地方清理干净了，礼拜天孩子不上课，但在第二天早上来开门时又发现屎尿，“你别看孩子小就觉得是他们干的，有些孩子比大人还懂事。”
　　“我们也不希望小区内出现这种情况，这样不仅不利于管理，也会造成业主的不满。”对此，另一学屋的负责人刘女士接着说，他们将加强管理，想一个切实可行的办法，杜绝这种事情，特别是对于小区内孩子的安全问题，他们将尽量做好防护措施。
　　部门回应：住宅楼内开学屋须经业主同意
　　小区内大量辅导班、学屋进驻，不仅打扰了业主的正常生活，还存在安全隐患。这让小区居民很着急，如何进行处理呢？“根据《物权法》规定，业主不得违反法律、法规及管理规约，随便改变用途，将住宅改变为经营性用房。”对此，市房产局物业科工作人员说，作为业主，小区内住宅用户可自由支配房屋的使用，但将住宅改变为经营性用房的，除遵守法律、法规及管理规约外，还应征得小区有利害关系的业主同意。
　　该工作人员称，根据《民法》相邻关系规定，业主不得在采光、噪音等方面影响到隔壁邻居的生活。学屋内孩子的吵闹已经明显打扰业主的正常休息。“小区学屋属于典型的住改商行为，如果未征得周围居民的同意，住户私自将住宅改为学屋，周围居民、物业有权进行劝阻，并向相关部门反映。如果发现这种情况，应该查清其是否办理完备各种手续，如果发现没有取得各方面(包括小区利害关系的业主)同意，应立即对其经营行为进行制止，对于不听劝阻的可以依法追究其责任。”该工作人员说。
　　记者赵泽军
来源：沂蒙晚报&&编辑：全磊磊
【】【】【纠错：】
琅琊新闻网版权与免责声明：
1、琅琊新闻网所刊登的临沂日报报业集团旗下媒体各类新闻﹑图片、信息和各种原创专题资料 版权，均为琅琊新闻网及作者或页面内声明的版权人所有。未经许可，域内（临沂）商业性网 站或组织不得以任何形式转载、复制、编辑或发布；域内商业网站转载本网信息须经书面授权 ，域外网站转载请注明来源：琅琊新闻网。违反上述声明者，本网将追究其相关法律责任。
2、凡本网注明"来源：XXX（非琅琊新闻网）"的作品，均转载自其他媒体，转载目的在于传 递更多信息，并不代表本网赞同其观点和对其真实性负责。如因作品内容、版权和其他问题需 要同本网联系的，请30日内进行。
纠错邮箱： 投诉电话:
房产家居汽车财经旅游
琅琊新闻网移动产品下载区
琅琊网官方微信
琅琊网官方微博
临沂通客户端
琅琊网临沂社区
临沂家居网微信综合性学习__成长的烦恼_图文_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
文档贡献者
评价文档：
综合性学习__成长的烦恼
大小：2.58MB
登录百度文库，专享文档复制特权，财富值每天免费拿！
你可能喜欢学习的烦恼作文——所有资料文档均来源于www.downhot.com，全部是文档中的..
扫扫二维码，随身浏览文档
手机或平板扫扫即可继续访问
学习的烦恼作文
举报该文档为侵权文档。
举报该文档含有违规或不良信息。
反馈该文档无法正常浏览。
举报该文档为重复文档。
推荐理由：
将文档分享至：
分享完整地址
文档地址：
粘贴到BBS或博客
flash地址：
支持嵌入FLASH地址的网站使用
html代码：
&embed src='/DocinViewer-4.swf' width='100%' height='600' type=application/x-shockwave-flash ALLOWFULLSCREEN='true' ALLOWSCRIPTACCESS='always'&&/embed&
450px*300px480px*400px650px*490px
支持嵌入HTML代码的网站使用
您的内容已经提交成功
您所提交的内容需要审核后才能发布，请您等待！
3秒自动关闭窗口