手机浏览器扫描二维码访问
在生成式对抗网络里面,第一个神经网络也就是生成式神经网络,生成式对抗网络的目的是希望生成的图像非常像自然界的真实图像,这样的话,那后面的第二个网络,也就是那个分类器没办法区分真实世界的图像和生成的图像;而第二个神经网络,也就是分类器,生成式对抗网络的目的是希望能够正确的把生成的图像也就是假的图像和真实的自然界图像能够区分开。
这两个神经网络的目的其实是不一样的,他们一起进行训练,就可以得到一个很好的生成式神经网络。
生成式对抗网络最初提出的时候,主要是对于图像的生成。
章杉论文里提出来的显然是将该方法应用到各个不同的问题上。
不过论文的着重点还是章杉针对如何从无标注的数据进行学习!
在文中他提出了一个新思路,叫做对偶学习。
对偶学习的思路和前面生成式对抗学习会非常不一样。
章杉发现很多人工智能的任务在结构上有对偶属性。
在机器翻译里面,章杉把中文翻译成英文,这是一个任务,但是章杉同样也需要把英文翻译成中文,这是一个对偶的任务。
这种原任务和对偶任务之间,他们的输入和输出正好是反着来的。
原本章杉还因为论文是系统弄得而心存愧疚,但现在看来这论文完全是照着他的思路去写的。
因为之前对多门语言的卓越性。
章杉自己本人来写这个论文的话,最可能想到的涉及对偶属性的应用也是翻译工作。
不过对偶工作不止于此。
在语音处理里面,语音识别是把语音转化成文字,语音合成是把文字转化成语音,也是互为对偶的两个任务。
在图像理解里面,看图说话,也就是给一张图生成一句描述性的语句,生成式对抗网络的对偶任务是给一句话生成一张图,这两个任务一个是从图像到文本,另外一个是从文本到图像。
在对话系统里面,回答问题和问题生成也是互为对偶的两个问题,前者是给定问题生成答案,后者是给定答案生成问题。
在搜索引擎里面,给定检索词返回相关文档和给定文档或者广告返回关键词也是互为对偶的问题:搜索引擎最主要的任务是针对用户提交的检索词匹配一些文档,返回最相关的文档;当广告商提交一个广告之后,广告平台需要给他推荐一些关健词使得他的广告在用户搜索这些词能够展现出来被用户点击。
对偶学习试图把这种结构的对偶属性应用在机器学习里。
其基本思想比较简单,章杉以机器翻译为例子来说明。
当我们想把一个中文句子翻译成英文,可以先用一个中文到英文的翻译模型,把这个句子翻译成英文的句子,因为没有英文的标注,所以不知道这个英文的翻译是好还是坏以及有多好多坏。
章杉再利用从英文到中文的翻译模型,把这个英文的句子翻译成中文的句子,这样一来,章杉就得到了一个新的中文句子。
整个过程包含了正向翻译和反向翻译互为对偶的两个步骤。
然后章杉比较原始中文的句子和后来得到的中文句子,如果两个翻译模型都很好的话,这两个中文的句子应该比较相似,如果两个模型不好或者有一个模型不好的话,得到的两个中文句子就不相似。
因此章杉可以通过这种对偶过程从无标注的数据获得反馈信息,知道章杉的模型工作的好还是不好,进而根据这些反馈信息来训练更新正向反向模型,从而达到从无标注数据学习的目的。
章杉在机器翻译里面做了一些实验,发现通过对偶学习的过程,章杉只需要用10%标注的数据(大概100万英法双语句对),再加上很多没有标注的数据,达到用100%标注数据(1200万英法双语句对)训练的模型的准确度。
一千万个训练语料标注的费用差不多2200万美元,如果章杉能把标注的人工费用从2200万美元降到200万美元,这会是一个非常好的结果,能够大大降低公司运营成本提高运营效率。
很多问题以前是因为受限于没有标注的数据,没有办法用深度学习技术。
现在章杉能够从无标注的数据进行学习,那么很多应用很多问题里面都可以应用深度学习技术。
论文到这里已经很牛了!
但仅仅如此吗~
章杉继续读完,很快就震惊了!
叶林一觉醒来穿越到了一个犯罪率极高的平行世界。突然被选中作为最高赏金的素人选手参与一档追捕逃亡类综艺节目。面对的对手不仅仅危险的其他选手,还有来自于全球各地的追捕专家。影后黑客刑警侦探!二十四小时城市大逃亡!豪华游轮惊险游戏!荒岛求生倒计时!别人都是想方设法地避人耳目,逃过层层追捕!叶林却硬生生将反派演绎地淋漓尽致!反追踪伪装术电子学离间计全球直播上,观众看着叶林的操作纷纷震惊。你管这叫人类?...
作者鳄鱼罐头的经典小说我有七个师姐无敌了最新章节全文阅读服务本站更新及时无弹窗广告小说奉师命下山的罗非遇到了儿时的七个姐姐,发现他们每一个人的身份都不简单。首富大明星神医大学教授佣兵老大...
惊鸿一瞥,他不惜动用所有势力,大海捞针,只为找到那个相似的她。一场交易,两番景色,他步步为营,处处设计,不惜一切代价,只为将她禁锢在身边。面对巨额医药费,她茫然无措,四处打工,操劳过度送医治疗,他傲立在床边,声音清冷要钱很简单,只要你嫁给我。刚毅的铁臂让她无处可逃,被迫承受他的所有,她以为自己很幸运被他看中,就在一片芳心沦陷时,他发泄过后,趴在她身上,嘴里念着的却是另外一个女人的名字。婚后她的生活天翻地覆,拿下奥斯卡,打败心机婊,开了挂的人生让她从此闪耀夺目。人人都说他爱她,她却笑的心里发凉,因为她知道,自始至终。他爱的不过是这张酷似前妻的脸,而不是她但恢复记忆的那一刻,她却潸然泪下...
穿越,失忆,民国,抗战,颠沛流离,出生入死,缠绵爱情种种不可思议匪夷所思的事情都发生在了黄历的身上。在那个民族危难的年代,在作英雄与汉奸之间,只有一个缝子留给他把忠与奸全放在一边,低头去作行尸走肉,浑浑噩噩地苟延残喘。而黄历,本想平凡,却摆脱不了传奇人生的宿命。让我们一起与他去感受历史的脉搏,在血雨腥风中享受那温情恬适,在战斗烽火中陶醉于那儿女情长。...
一双可以看穿基本法则的魔瞳,再加上一座收集了地球到瑞泽尔穿越数据的灵魂数据库,就等于一个规则中的漏洞,俗称S重拾节操,竖立正确三观,传播正能量已完本星际传承唯一进化者机甲战神,节操满满放心食用...
书海阁小说网免费提供作者落落叶儿的经典小说这个王妃不好惹最新章节全文阅读服务本站更新及时无弹窗广告欢迎光临wwwshgtw观看小说继母上位,妹妹恶毒,苏倾言上一世护不了自己更护不了家人,重活一世,苏倾言杀继母,惩白莲花妹妹,护亲人,只想过好这一生,结果还是招惹了个不得了的大人物情节虚构,请勿模仿...