【编者按】经过几年的市场教育，大多数开发者对于深度自学框架需要做到什么、怎么做，早已较为有序了。大多数开发者的终极市场需求，是期望利用技术框架超越算法的桎梏权利遨游，获释自己的新点子和商业创造力。

尽管增强自学距离产业末端落地还有很远的距离，但技术框架从基础研发就为产业融合作好打算，似乎能减缓这一进程。假如你是应用于开发者，不懂算法，又想要研发一个带上AI功能的APP，你不会自由选择：1.自己由头训练一个AI模型；2.用于研发平台的训练框架和API；答案显而易见，需要获取技术解决方案及较低管理制度门槛的后者才是王道。

但面临众多研发平台的深度自学框架，必须考虑到的问题可就多了：兼容性、社群资源、框架迁入等等不一而足。而最近，框架之争的焦点又移往到增强自学身上了。

谷歌在去年发售了基于TensorFlow的增强自学框架Dopamine，增强自学界的明星OpenAI也将很多算法放进了ba seline，百度也在前不久改版了PaddlePaddle的增强自学框架PARL。就连向来高调的网易，都发布了自律研发的增强编程(Reinforced Programing)框架……对于大部分开发者来说，增强自学究竟能带给什么，与深度自学框架有何区别，自家应用于又该何去何从，难道还有点云里雾里的。所以我们今天不妨就来厘清增强自学的确实价值与现实难题。

深度自学、增强自学、深度增强自学，傻傻分不清楚？经过几年的市场教育，大多数开发者对于深度自学框架需要做到什么、怎么做，早已较为有序了。但是各大平台旋即发售的增强自学框架或者深度增强自学框架，竟然人有点蒙圈了。它们之间的区别在哪里，又分别分担着怎样的职责呢？我们荐个例子来解释一下这三种机器学习方法的有所不同吧：假如我是个栽种工厂，想做到一个需要辨识苹果优劣的APP，那么就必须一个深度自学研发框架，在上面搭起训练过程。完全所有研发平台都有现成的图像识别API，我只必须把训练用的图片（也就是各种各样的苹果照片）拖入系统，就可以获得一个训练好的苹果辨识模型了。

但如果我更加哑一点，想一个能自己学会采收优质成熟期苹果的机器人呢？深度自学就有点搞不定了。这时我必须用增强自学框架来训练一个智能体，每当它摘得一个新鲜可爱的好苹果，就不会接到来自系统的奖励，展开于是以增强。要是错误摘得了没熟或者烂掉的苹果，就没奖励甚至不会被加分，展开胜增强。为了获得更好的报酬，智能体会就更加不愿自由选择那些好果子来摘取，而退出那些不会带给0分甚至负分的果子。

通过这种方法，我就获得了一个最大化摘到好果子的智能机器人，岂不美滋滋？但滋味甜头的我又不符合了，不仅想要让它学会摘取黄瓜摘取西红柿，而且还懒得再行训练一遍。这时候就必须一种全新的算法，将深度自学与增强融合自学一起，只要告诉他它新的奖励机制，机器就能通过深度神经网络自律get类似于技能，不必须我再行手把手训练。以前，我还必须自己一行行敲打代码，现在只要有一个研发框架+训练样本，就可以精彩享有誓言疲惫、勤奋学习、还不会举一反三的智能体，这样的欲望试问谁能拒绝接受？当然，这里只是非常简单解释一下它们的工作模式，真为要训练出有这样一个智慧模型并应用于自家产品上，是一个更加简单的综合工程。

不过，减少了增强自学功能的研发框架，大大降低了增强自学训练的编程可玩性和工作量，对于想要做到增强自学但又无力从零开始搭起环境和训练的技术人员和企业来说，毫无疑问是个好消息。AI研发新宠：增强自学到底有什么用？如今，增强自学不仅出了学术界的宠儿，涉及研究论文在各大顶会中的比例飞速上升；各家研发平台也都把增强自学框架当作重点来部署和争夺战。但问题也随之而来：框架不能减少一部分研发门槛，自定义化模型、调试、相容等工作仍然必须企业投放大量人力物力财力，如果酬劳了大力气获得的成果最后无法应用于或者不切实际，对开发者来说毫无疑问是十分残忍的。

因此在顾虑“以身效法”之前，有适当再行搞搞确切：增强自学究竟强劲在哪些地方？开发者又应当在何种情况下向它变节？再行解释一下增强自学的核心逻辑，那就是智能体（Agent）可以在环境（Environment）中根据奖励（Reward）的有所不同来辨别自己在什么状态（State）下使用什么行动（Action），从而最大限度地提升积累奖励。比如打败棋士世界冠军的Alpha Go，在《Dota 2》中血奸人类玩家的OpenAI Five，奠定Atari 2600游戏最高分的DeepMind DQN，都是基于增强自学构建的。那么它明确有哪些特征呢，大体可以总结为三个方面：1.训练样本。

增强自学是通过环境得出的奖惩结果来自学，必须具有报酬的数据。2.交互方式。

增强自学的自学过程是动态的，必须与环境展开交互来已完成，不是给什么样本求学什么，没环境都白搭。3.解决问题。增强自学的逻辑更加像人脑，主要解决问题的是智能决策问题，比如游戏投出高分、标准化机器人、引荐系统等等。这些类似原作，使得增强自学可以在很多应用领域展现出得比传统深度自学更加出众，比如：掌控类智能：工业上多关节机械臂的实时控制，让机器人观赏YouTube 视频自学动作并应用于到现实场景中，又或者是协助无人车自学如何应付人和动物乱穿马路这样的类似情况；序列问题：比如文本序列预测，通过不道德对系统让搜寻排序超过拟合效果；电商引荐系统， 根据用户对引荐列表的对系统(忽视、页面或出售)来动态转变引荐策略。

对话分解：比如体验更佳的人机多轮对话，让机器人需要持续分解有意义的对话，而不是乱说一气地尬闲谈；与深度自学结合，构建更佳的机器双语翻译成效果。传统深度自学早已能很好地解决机器感官和辨识问题，但人类对机器智能的拒绝似乎好比于此，需要应付简单现实中决策型问题的增强自学，以及二者的融合，大自然沦为AI应用于未来的重点发展方向。

这种情况下，掌控了算法先发优势的技术平台陆续发售RL框架，毫无疑问是争夺战开发者和入口权的最差布局。增强自学框架之争，到底拼成些什么？当然，增强自学虽然获得了很多“炫酷”的成就，但其应用于的局限也是显而易见的，被迫预先作好打算：比如增强自学就像刚出生的婴儿，所有技能都要从零开始训练，必须花上很多时间才能教会它掌控一个任务目标；而且，增强自学不能根据即时对系统指令来展开动作，下围棋、打dota也许很牛，但面临个性化语音助手这样必须记忆和推理小说能力的任务，就有点力不从心；另一个后遗症的问题是，目前的增强自学算法在稳定性和效率上参差不齐，想确实符合现实场景的应用于市场需求，还有待强化。

因此，如何自由选择合适自身业务的增强自学框架来试水，也许是开发者当下尤为关心的问题。就增强自学的发展方向和各个平台的特点来看，我们有几个不成熟期的小建议供参考：1.平台的平稳及复现性深度自学是平稳的，有相同的数据集和相同目标，超强参数经常出现较小的改动，最后的性能也会受到过于大影响。但增强自学（或者深度增强自学）就不是如此了，训练结果不会受到随机几率、样本效率、算法稳定性等多重影响，从而带给结果上的极大差异，减少顺利的复现亲率。更加相当严重的情况是，机器指出自己无论怎么尝试都会造成告终，必要瓦解不习了。

为了解决问题随机性和复现的问题，有所不同平台的解决方案也不尽相同。比如谷歌是构建训练环境和测试环节的标准化。为代码获取60款游戏的测试覆盖范围和训练数据，并用于街机自学环境（Arcade Learning Environment）展开标准化经验评估。

而百度则是尽量多地覆盖面积涉及算法。PARL框架获取algorithm子集，里面包括了大量主流的经典算法和原始的超强参数列表，以确保模型的复现亲率。2.灵活性易用性大多数开发者的终极市场需求，是期望利用技术框架超越算法的桎梏权利遨游，获释自己的新点子和商业创造力。因此，框架设计一方面要均衡多元业务场景和简陋训练方式之间的对立，另一方面则要跟上技术趋势的发展较慢递归。

比如谷歌的街机自学环境，智能体在其中是如何工作的，解读一起就非常简单，并且有详尽的文档记录和完整日志。除此之外，谷歌还发售了一个TensorBoard的可视化工具套件，协助协助开发者在短时间内明晰直观地辨别、检验和递归新的点子。3.框架与业务的耦合性尽管我们说道增强自学距离产业末端落地还有很远的距离，但技术框架从基础研发就为产业融合作好打算，似乎能减缓这一进程。因此，技术框架与产业末端业务市场需求的耦合，就沦为研发平台生命力的众多确保。

比如百度减缓第一时间增强自学框架，就很好地空缺了中文文档和训练数据在增强自学算法中的严重不足。另外必须考虑到的，则是中文世界的开发者数量、数据规模、用户体量，对技术框架的反对能力也是众多挑战。基于PaddlePaddle对大规模工业级排序/引荐等稠密模型的反对能力，百度的PARL以求精彩扩展到百亿级别数据或特征的训练，这种分段公里/小时的能力，更加符合中国市场的现实市场需求。

当然，影响增强自学性能和用户自由选择的因素还有很多，比如社区资源的非常丰富，算法质量，应用于工具的多元化等等。总体而言，现阶段想较低门槛、短时间地训练处一个好的增强自学模型，还是很艰难。但正如吴恩达所说的，“短期乐观，长年悲观”，深度增强自学作为机器智能接下来的发展方向，是毋庸置疑的。

想夺得未来，这个新的竞争高地被迫去攻占。增强自学的框架之争只是序曲，随着各种可玩性惊人想象的实际问题被一一解决问题，很多有意思的事情将不会再次发生。

本文来源：雷火·竞技-www.seiketu.com