关于雷锋科技的信息

雷锋网 AI 科技评论按:谷歌大脑近期放出了一篇论文「Neural Optimizer Search with Reinforcement Learning」(强化学习的神经网络优化器搜索),用强化学习的方法为神经网络(尤其是深度学习)找到最佳的优化算法/权重更新规则。论文并没有重新制造轮子,但也取得了不错的效果,而且也引起了一定的关注。雷锋网(公众号:雷锋网) AI 科技评论把论文内容简介如下。

要成功训练一个深度学习模型,选择一个适当的优化方法是非常重要的。虽然随机梯度下降法(SGD)通常可以一上手就发挥出不错的效果,不过 Adam 和 Adagrad 这样更先进的方法可以运行得更快,尤其是在训练非常深的网络时。然而,为深度学习设计优化方法是一件非常困难的事情,因为优化问题的本质是非凸问题。

在这篇论文中,谷歌大脑的研究员们讨论了一种方案,它可以自动设计优化方法中的权重更新规则,尤其是对于深度学习架构。这个方案的重点是使用了一个RNN结构的控制器,这个控制器可以给优化器生成权重更新方程。这个RNN结构的控制器是通过强化学习的方式训练的,一个具体的网络结构用它生成的更新规则进行同样次数的训练后,可以把模型准确率最大化。这个过程如下图。

神经网络优化器搜索的总体架构

训练神经网络很慢、很困难,之前有许多人设计了各种各样的方法。近期的优化方法结合了随机方法和批量方法的特点,比如用mini-batch,跟SGD类似,但是实现了更多的启发式方法来估计二阶对角信息,就和无黑塞方法(Hessian-free)或者L-BFGS类似。这样吸收了两种方法优点的方案通常在实际问题中有更快的收敛速度,比如 Adam 就是一个深度学习中常用的优化器,实现了简单的启发式方法来估计梯度的均值和变化幅度,从而能够在训练中更加稳定地更新权重。

之前的许多权重更新规则都借鉴了凸函数分析中的想法,虽然神经网络中的优化问题是非凸的。近期通过非单调学习速率的启发式方法得到的经验结果表明,在神经网络的训练方面我们仍然知之甚少,还有许多非凸优化的方法可以用来改进训练过程。

谷歌大脑的研究员们的研究目标是在人们已经熟悉的领域内为神经网络训练找到更好的更新规则。换句话说,他们没打算靠自己重新建立一套全新的更新规则,而是用机器学习算法在现有的更新规则中找到比较好用的。最近也有研究人员提出类似的方法,用模型学习生成更新数值。这里的关键区别是,谷歌大脑的这项研究是为权重更新生成数学形式的方程,而不是直接生成数值。生成一个方程的主要好处是可以轻松地迁移到更大的任务中,而无需为新的优化问题额外训练别的神经网络。而且,虽然他们设计这个方法的目的不是为了优化更新规则的内存占用的,不过还是能够在得到与 Adam 或者 RMSProp 等同的更新规则的情况下占用更少的内存。

论文中的方法受到了近期用强化学习做模型探索的研究的启发,尤其是在神经网络结构搜索上,其中用了一个 RNN 生成神经网络架构的设置文本。除了把这些关键思想用在不同的应用中,论文中的方法还展现出了一种全新的模式,把原有的输入以灵活得多的方法组合起来,从而让搜索新型的优化器变得可能。

控制器 RNN的总体结构。控制器会迭代选择长度为5的子序列。它首先选择前两个操作数和两个一元函数来应用操作数,然后用一个二进制函数合并两个一元函数的输出。获得的结果b就可以被下一轮子序列选中作为预测,或者成为更新规则。每次的预测都是由一个softmax分类器执行的,最后成为下一轮迭代的输入。

根据论文中的实验结果,在用 CIFAR-10 训练一个小型的卷积网络中,他们的方法比 Adam、RMSProp、带或者不带 Momentum 的 SGD 找到了许多条更好的更新规则,而且这些生成的更新公式中很多都可以轻松地迁移到新的模型架构或者数据集中使用。比如,在小型卷积网络训练中发现的权重更新规则在Wide ResNet 的训练中取得了比 Adam、RMSProp、带或者不带 Momentum 的 SGD 更好的结果。 对于 ImageNet 数据集,他们新找到的更新规则在目前最先进的移动设备级别模型的 top-1 和 top-5 正确率基础上继续提升了最高 0.4%。同样的更新规则在谷歌的神经机器翻译系统上也取得了不错的成果,在WMT 2014 英文到德文的翻译任务中最高能带来0.7BLEU的提升。

关于雷锋科技的信息

更多详细内容参见原论文:https://arxiv.org/abs/1709.07417 。雷锋网 AI 科技评论编译

关于雷锋科技的信息

作者:杨晓凡

郑重声明:本文内容及图片均整理自互联网,不代表本站立场,版权归原作者所有,如有侵权请联系管理员(admin#loooy.com)删除。
(0)
上一篇 2022年7月3日 07:28
下一篇 2022年7月3日 08:36

相关推荐

  • 强度是钢的200倍,重量却比纸轻1000倍,石墨烯究竟有多神奇?

    石墨烯经常出现在各种最前沿的科技产品上,也经常在一些科技文章上被提及,它被认为是21世纪最有潜力的科技材料。但是如果告诉你,它的成分和日常使用的铅笔主要成分一样,你是不是一定不敢相…

    2022年11月15日
  • 总统的账都不买!本泽马拒绝马克龙邀约,不会前往卡塔尔观战决赛

    根据西班牙《马卡报》的报道称,因伤退出本届世界杯的本泽马,拒绝了法国总统马克龙的邀约,他将不会前往卡塔尔观战世界杯决赛法国对阵阿根廷队的比赛。 据了解,法国总统马克龙曾亲自邀请本泽…

    2023年1月22日
  • 散文:深秋处,岁月静美,生命都有自己的光芒

    作者:子墨 时光里,季节在悄然辗转,无声而至的深秋,在秋色连波的浩瀚里,在万象天地中,有了不一样的风景。 人生中,总有些最美的风景,隐藏在岁月深处,静好了几分萧瑟。蹉跎岁月,因为有…

    2022年11月7日
  • 意甲0客胜维罗纳 五连胜升至第三

    北京时间11月11日凌晨1点30分,2022-23赛季意甲联赛第14轮,尤文图斯前往客场对阵维罗纳。上半场双方均无建树,下半场拉比奥助攻小基恩攻破旧主城门,打入全场唯一进球,阿莱士…

    2022年11月11日
  • 宜宾封城什么时候结束(宜宾封城什么时候结束)

    最近一段时间四川多地都有疫情,其中内江、成都、宜宾疫情都比较严重,比较严峻的,宾全域就实行了静态管理,那么宜宾封城什么时候结束呢?宜宾疫情什么时候可以解封?下面小编为大家带来宜宾封…

    2022年9月15日
  • 跨境电商个人开店需要交税吗

    跨境电商个人开店热度还是非常高的,每年要入驻各大跨境电商平台的商家无数,而大家对平台开店规则需要了解清楚。跨境电商个人开店需要交税吗?很多个人入驻跨境电商对税收规则了解不深,如果是…

    2022年10月21日
  • 今日,被一女子惊艳到了,穿得这“奶油白阔腿裤+嫩粉小衫”,清新优

    今日,被一女子惊艳到了,穿得这“奶油白阔腿裤+嫩粉小衫”,清新优雅又迷人,简直美炸了~慵懒时髦,具有质感的直筒阔腿裤! 穿起来自由不拘束,虽然宽松 但并不松垮,在不紧绷的状态下, …

    2022年11月7日
  • 柯受良:不做大哥好多年

    “不怕工作汗流浃背 不怕生活尝尽尽苦水 回头只有一回 而思念只有你的笑靥…” 每当《大哥》这首歌悠扬的音乐响起,脑海中就会浮现:一位头发花白、满脸沧桑、皮肤黝黑的中年男…

    2022年11月15日
  • 新零售优势4部曲(新零售的优势有哪些)

    新零售,即企业以互联网为依托,通过运用大数据、人工智能等先进技术手段,对商品的生产、流通与销售过程进行升级改造,进而重塑业态结构与生态圈,并对线上服务、线下体验以及现代物流进行深度…

    2022年10月14日
  • 中美签署审计监管合作协议

    [新闻页-台海网] 中国证监会26日宣布,中国证监会、财政部与美国公众公司会计监督委员会(PCAOB)签署审计监管合作协议,将于近期启动相关合作事项。这标志着中美双方监管机构为解决…

    2022年8月27日