读书成神豪

第252章 浅度学习

在图像理解里面,看图说话,也就是给一张图生成一句描述性的语句,生成式对抗网络的对偶任务是给一句话生成一张图,这两个任务一个是从图像到文本,另外一个是从文本到图像。在对话系统里面,回答问题和问题生成也是互为对偶的两个问题,前者是给定问题生成答案,后者是给定答案生成问题。

在搜索引擎里面,给定检索词返回相关文档和给定文档或者广告返回关键词也是互为对偶的问题:搜索引擎最主要的任务是针对用户提交的检索词匹配一些文档,返回最相关的文档;当广告商提交一个广告之后,广告平台需要给他推荐一些关健词使得他的广告在用户搜索这些词能够展现出来被用户点击。

对偶学习试图把这种结构的对偶属性应用在机器学习里。

其基本思想比较简单,章杉以机器翻译为例子来说明。

当我们想把一个中文句子翻译成英文,可以先用一个中文到英文的翻译模型,把这个句子翻译成英文的句子,因为没有英文的标注,所以不知道这个英文的翻译是好还是坏以及有多好多坏。章杉再利用从英文到中文的翻译模型,把这个英文的句子翻译成中文的句子,这样一来,章杉就得到了一个新的中文句子。

整个过程包含了正向翻译和反向翻译互为对偶的两个步骤。

然后章杉比较原始中文的句子和后来得到的中文句子,如果两个翻译模型都很好的话,这两个中文的句子应该比较相似,如果两个模型不好或者有一个模型不好的话,得到的两个中文句子就不相似。因此章杉可以通过这种对偶过程从无标注的数据获得反馈信息,知道章杉的模型工作的好还是不好,进而根据这些反馈信息来训练更新正向反向模型,从而达到从无标注数据学习的目的。

章杉在机器翻译里面做了一些实验,发现通过对偶学习的过程,章杉只需要用10%标注的数据(大概100万英法双语句对),再加上很多没有标注的数据,达到用100%标注数据(1200万英法双语句对)训练的模型的准确度。

一千万个训练语料标注的费用差不多2200万美元,如果章杉能把标注的人工费用从2200万美元降到200万美元,这会是一个非常好的结果,能够大大降低公司运营成本提高运营效率。

很多问题以前是因为受限于没有标注的数据,没有办法用深度学习技术。

现在章杉能够从无标注的数据进行学习,那么很多应用很多问题里面都可以应用深度学习技术。

论文到这里已经很牛了!

但仅仅如此吗~

章杉继续读完,很快就震惊了!

因为论文里似乎提出了一种崭新的概念。

现在虽然深度学习很受欢迎,但是说到底深度学习主要是从大数据进行学习,就是通过很多标注的数据,使用深度学习算法学习得到一些模型。

虽然叫着人工智能的名字。

但是这种学习方式和人的智能是非常不一样的。

人是从小样本进行学习。

人对图像进行分类,只需要很少几个样本就可以做到准确分类。

两三岁小孩,开始认识世界的时候,他如果想知道什么样的动物是狗,我们给他看几张狗的图片,并且告诉他狗有什么特征,和其他动物像猫或者羊有什么区别的话,小孩可以很快很准确的识别狗。

但是像深度残差神经网络,一般来说一个类别大概需要上千张图片才能进行比较充分的训练,得到比较准确的结果。

再比如汽车驾驶,一般来说,通过在驾校的培训,也就是几十个小时的学习,几百公里的练习,大多数人就可以开车上路了。

但是像现在的无人车可能已经行驶了上百万公里,还是达不到人的全自动驾驶的水平。

原因在于,人经过有限的训练,结合规则和知识能够应付各种复杂的路况,但是当前的AI还没有逻辑思考、联想和推理的能力,必须靠大数据来覆盖各种可能的路况,但是各种可能的路况几乎是无穷的。

随着一项项能力的提升,章杉现在对人的理解也很深。

人的智能包含了很多方面,最基本的阶段是认知性智能,也就是对整个世界的认知。

尽管现在对于图象识别、语音识别,AI已经差不多能达到人类的水平,当然可能是在某些特定的约束条件下,能够达到人类的水平。

但是其实这种认知性的任务,对人类而言都是非常简单的,现在AI所能做的这种事情或者能达到的水平,人其实也很容易做到。

只是AI可能在速度上更快,并且规模上去之后成本更低,并且24小时都不需要休息。更有挑战的问题是,人工智能能不能做一些人类做不了或者是很难做好的事情。

像图象识别、语音识别这类认知性的任务,AI之所以做得好,是因为这些任务是静态的,所谓静态就是给定输入,预测结果不会随着时间改变。

但是决策性问题,往往和环境有很复杂的交互,在某些场景里面,如何做最优决策,这些最优决策往往是动态的,会随着时间改变。

现在有人尝试把AI用到金融市场,例如如何用AI技术来分析股票,预测股票涨跌,对股票交易给出建议,甚至是代替人来进行股票交易,这类问题就是动态决策性问题。

决策性问题的第二个难点在于各种因素相互影响,牵一发而动全身。

一支股票的涨跌会对其他股票产生影响,一个人的投资决策,特别是大的机构的投资决策,可能会对整个市场产生影响,这就和静态的认知性任务不一样的。

在静态认知性任务我们的预测结果不会对问题(例如其他的图像或者语音)产生任何影响。

但是在股票市场,任何一个决定,特别是大的机构的投资策略会对整个市场产生影响,对别的投资者产生影响,对将来会产生影响。

当前深度学习已经在静态任务里面取得了很大的成功,如何把这种成功延续和扩展到这种复杂的动态决策问题中,也是当前一个深度学习的挑战之一。

章杉认为,一个可能的思路是博弈机器学习。

在博弈机器学习里,通过观察环境和其他个体的行为,对每个个体构建不同的个性化行为模型,AI就可以三思而后行。

选择一个最优策略,该策略会自适应环境的变化和其他个体的行为的改变。

……

章杉在这篇论文继提出了一种几乎是完全反深度学习思路的机器学习——浅度学习。

强调增强博弈机器学习的重要性,强调AI的逻辑性和思辨性,大幅度降低“机器学习”任务量。

毫无疑问,这是一种全新的机器学习方式!

最起码,这种全新的模型在处理动态信息上取得的成绩将是革命性的。

人气小说推荐More+

极品仙医在都市
极品仙医在都市
20出头被家里安排结婚,未婚妻竟是个武道高手,能用手解决的事绝对不用嘴,哥的生活是一天不如一天,这哪里还是个武道家族少主的样子。打不过,我跑还不行么!反正哥医术高超,接骨摸脉样样精通。有谁知道哪家医院是只给美女看病的,请赶紧联系我,给介绍费!
碧强哥
权少豪宠小宝贝
权少豪宠小宝贝
宿醉醒来,身边躺着一位冷艳高贵女神,要求完成诺言,原来是……各位书友要是觉得《救个女神当老婆》还不错的话请不要忘记向您>
梨心悠悠
特种兵之战狼崛起
特种兵之战狼崛起
铁杆兵迷的林凌意外来到了影视热剧特种兵的世界,面对熟悉的开局,偶像级同伴战友,用先知能力逆转剧情步步为营,成就巅峰玩转兵王世界!
忆山尘
女总裁的全能战神
女总裁的全能战神
八年前,叶翔因家族纷争及堂哥的欺负被迫退学参军。八年之间经历太多磨难,终成一代战神,斩获特种兵全能冠军,立下赫赫战功。八年后,他带着一身本领回归都市,护花兴业。他医术救人,武道克敌,牵起美女总裁的手,护妻当战神,霸气凌天下!
书书出村
皇后的马甲撕不完
皇后的马甲撕不完
她是江湖顶流名士的得意弟子,武功高强,进宫只是受人之命,完成任务的,虽容色倾城,皇上偏爱,可对什么皇后之位实在没有兴趣。只想卸甲归田,踏踏实实做个宫女,是谁要撕她的马甲?看似风平浪静的宫闱之内,其实暗流汹涌,不过你有阴谋诡计,我有马甲交替,不做皇后不算完!皇上:“若报恩就要以身相许,我就该入赘给你了。”云知:“我连个姓氏都没有,你入赘给我,这天下该姓什么。”皇上:“那先给你抬籍,容你好好想想该姓什
桥烟雨