您现在的位置: 词语大全网 >> 反义词 >> 正文
相 关 文 章
普通反义词 四个任务就要四个模型…
普通反义词 莱特币挖矿机电脑配置…
普通反义词 成语中有反义词的成语
普通反义词 给我一些带有反义词的…
普通反义词 含有反义词的成语大全
普通反义词 带有反义的成语
普通反义词 有什么是带反义的成语…
普通反义词 正反义词[精华]
普通反义词 同义词_同义词词典_大…
普通反义词 矫枉过正的反义词是什…
普通反义词 正反义词_百度文库
普通反义词 汉语“正”的反义词知…
普通反义词 四字近义词大全
普通反义词 带近义词的四字词语大…
普通反义词 单选] 构成反义词的一…
普通反义词 四字词语近义词归类
普通反义词 「反汗」的拼音_组词_…
普通反义词 含有反意词的成语
普通反义词 有一对反意词的成语有…
普通反义词 成语里有反意词的成语
普通反义词 快活的近义词是什么呢…
普通反义词 带反意字的成语大全
普通反义词 成都72岁老教师将出版…
普通反义词 纤雪冰璃的反义词是什…
普通反义词 干货分享!小学1-6年级…
普通反义词 一个男人暗地里喜欢你…
普通反义词 同义词大全_图
普通反义词 概念的近义词(概念相近…
普通反义词 宝宝有反义词的概念吗…
普通反义词 贬义词及分类
普通反义词 2019年中考语文总复习…
普通反义词 贬义词大全!!!
普通反义词 石油不锈钢筛网产品要…
普通反义词 初中语文知识点大全—…
普通反义词 重新定义爆款:远去的…
普通反义词 哈尔滨农商行未经同意…
普通反义词 要闻 汽车数据安全管理…
普通反义词 未经同意采集个人信息…
普通反义词 生活锦囊│天天输验证…
普通反义词 2020年12月计算机二级…
  四个任务就要四个模型?现在单个神经网络模型就够了!           ★★★
四个任务就要四个模型?现在单个神经网络模型就够了!
作者:佚名 文章来源:本站原创 点击数: 更新时间:2021/5/25 4:39:07

  雷锋网 AI 科技评论按:顾名思义,「暗示」(representation)就是指在收集中对消息进行编码的体例。为了让大师充实理解「暗示」,本文作者测验考试建立一个能同时完成图像描述,类似词、类似图像搜刮以及通过描述图像描述搜刮图像四项使命的深度神经收集,从实操中让大师感触感染「暗示」的奇奥世界。雷锋网 AI 科技评论编译如下。

  家喻户晓,神经收集十分擅利益置特定范畴的使命,但在处置多使命时成果并不是那么抱负。这与人类大脑分歧,人类大脑可以或许在多样化使命中利用不异的概念。例如,假如你从来没传闻过「分形」(fractal),不妨看一下下面这张图:

  在一张纸上,粗略地画出分形图的样子(它不会很完满,但也不会是随便的涂鸦);

  将雷同分形的图像与非分形图像进行分类(你会毫不犹疑地将图像按最类似到最不类似的体例进行分类);

  闭上眼睛,想象一下分形图像是什么样子的(即便此刻不给你一张现成的分形图象,你也能够在看过它一次之后,就想象出它的样子,是不是很棒!)

  那么,你是若何完成这些使命的呢?你的大脑中能否有特地担任处置这些使命的神经收集?

  现代神经科学对此给出了谜底:大脑中的消息是跨分歧的部位进行分享和交换的。大脑事实如何完成这些使命只是研究的一个范畴,而对于这种施行多使命的能力是如何发生的,我们也有一些线索——谜底可能就具有于若何在神经收集中存储和注释数据。

  顾名思义,「暗示」(representation)就是指在收集中对消息进行编码的体例。当一个单词、一个句子或一幅图像(或其他任何工具)被输入到一个锻炼好的神经收集时,跟着权重与输入相乘并进行激活操作时,它就能在持续的层上实现转换。最初,我们在输出层中获得一串数字,我们将其注释为类标签或股价,或收集为之锻炼的任何其他使命。

  这种奇异的输入->

  输出转换因持续层中发生的输入转换得以实现。输入数据的这些转换即称为「暗示」。它的一个主要思惟是,每一层都让下一层更容易地施行使命。这个过程让持续层的具有变得更容易,进而也使得激活(特定层上输入数据的转换)变得成心义。

  我所说的成心义是指什么呢?让我们看下面的示例,其展现了图像分类器中分歧层的激活:

  图像分类收集的感化是将像素空间中的图像转化为更高级的概念空间。例如,一张最后用 RGB 值暗示的汽车图像,起首在第一层用边缘空间暗示,然后在第二层被暗示为圆圈和根基外形空间,在倒数第二层则起头利用高级对象(如车轮、车门等)暗示。

  跟着暗示(因为深度收集的条理性而主动呈现)日益丰硕,图像分类的使命也变得微不足道。最初一层要做的就是衡量车轮和车门的概念更像汽车以及耳朵、眼睛的概念更像人。

  因为这些两头层存储成心义的输入数据编码,所以能够对多个使命利用不异的消息。例如,你能够利用一个言语模子(一个颠末锻炼、用于预测下一个单词的轮回神经收集),并注释某个特定神经元的激活以预测句子的情感。

  一个令人惊讶的现实是,感情神经元是在无监视的言语建模使命中天然呈现的。(相关文章请参阅:)。收集颠末锻炼来预测下一个单词,然而在使命中我们没有要求收集预测情感。也许感情是一个很是有用的概念,以致于收集为了更好地进行言语建模而缔造了它。

  一旦你理解了「暗示」这个概念,你就会起头从完全分歧的角度来理解深层神经收集。你会起头将暗示(sensing representations)视作一种可以或许让分歧收集(或统一收集的分歧部门)之间实现通信的可转换的言语。

  为了充实理解「暗示」,让我们来建立一个能同时完成四个使命的的深度神经收集:

  这三个使命中的每一个本身都是一个项目,一般来说需要三个模子。但我们此刻要用一个模子来完成所有这些使命。

  该代码将采用 Pytorch 在Jupyter Notebook 中编写,大师能够前去这个存储库进行下载:

  在网上有良多实现图像描述的好教程,所以这里就不深切讲解。我的实现与这个教程中所利用的方式完全不异:建立一个主动化的图像题目使用法式(教程链接:)。环节的区别在于,我的实现是利用 Pytorch 实现的,而教程利用的是 Keras。

  要继续进修,你需要下载 Flickr8K 数据集(1GB Flickr8K 数据集的下载链接:,不外我不确定这个链接的无效期多长)。填好这张表格()后,你的电子邮件会收到一个下载链接。将 zip 文件解压到与笔记本目次不异的「Flicker8k_Dataset」文件夹中。您还需要从这里()下载描述,并提取「caption_datasets」文件夹中的描述。

  a)图像编码器(image encoder),它领受输入图像并以一种对图像描述成心义的格局来暗示图像;

  b)图说解码器(caption decoder),它接管图像暗示,并输出文本描述。

  图像编码器是一个深度卷积收集,而图说解码器则是保守的 LSTM/GRU 轮回神经收集。当然,我们能够从头起头锻炼它们。但如许做的话,就需要比我们现有的(8k 张图像)更多的数据和更长的锻炼时间。因而,我们不从头起头锻炼图像编码器,而是利用一个预锻炼的图像分类器,并利用它倒数第二层的激活。

  你将在本文中看到很多奇异的暗示示例,下面这个示例是第一个。我利用在 ImageNet 长进行了锻炼的PyTorch modelzoo中可用的 Inception 收集来对 100 个类此外图像进行分类,并利用该收集来供给一个能够输入给轮回神经收集中的暗示。

  值得一提的是,虽然 Inception 收集从未对图说生成使命进行过锻炼,可是它简直无效!

  如我在通过机械进修构成机械进修思绪一文中所做的那样,我们利用了一个预锻炼的言语模子来作为图说解码器。但这一次,因为我从头实现了在教程中运转优良的模子,仅按照教程的步调便从头起头锻炼了一个解码器。

  你能够从头起头锻炼模子,可是在 CPU 上就要破费几天时间(我没有对 GPU 进行优化)。但不消担忧,我的笔记本电脑渡过了几个不眠之夜锻炼出来的模子功效,可供大师利用。(若是你是从头起头锻炼,需要留意的是,当运转的平均丧失约为 2.8 时,我在大要 40 epochs 时遏制了锻炼。)

  我采用的集束搜刮(beam search)方式实现了优良的机能。下面是收集为测试集中的图像所生成的图说示例(收集此前从未见过这种图像)。

  结果不错!令人印象深刻的是,收集晓得这张照片中有一个穿戴白色 T 恤的汉子。别的虽然图说的句子语法有些错误(我相信通过更多的锻炼能够批改这些错误),但根基的要点都抓住了。

  若是输入的图像包含收集从未见过的工具,它往往会失败。例如,我很猎奇收集会给 iPhone X 的图像贴上什么样的标签。

  结果不太好。但总的来说,我对其机能很是对劲,这为我们在进修生成图说时,利用收集所开辟的「暗示」建立其他功能供给了优良的根本。

  回忆一下我们若何对由图像暗示获得的图说进行解码。我们将该暗示供给给 LSTM/GRU 收集,生成一个输出,将输出注释为第一个单词,然后将第一个单词前往给收集以生成第二个单词。这个过程不断持续到收集生成一个暗示句子竣事的特殊标识表记标帜为止。

  为了将单词反馈到收集中,我们需要将单词转换为暗示,再输入给收集。这意味着,若是输入层包含 300 个神经元,那么对于所有图说中的 8000 多个分歧的单词,我们需要有一个独一指定阿谁单词的「300」数字。将单词字典转换成数字暗示的过程,就称为词嵌入(或词暗示)。

  我们能够下载和利用曾经具有的词嵌入,如 word2vec 或 GLoVE。但在本例中,我们从零起头进修一个词嵌入。我们从随机生成的词嵌入起头,并摸索我们的收集在完成锻炼时从单词中学到了什么。

  因为无法想象 100 维的数字空间,我们将利用一种称为t-SNE的奇异手艺将学到的词嵌入在二维空间可视化。t-SNE 是一种降维手艺,它试图使高维空间中的邻域不变地投射为低维空间中的邻域。

  让我们来看看图说解码器所进修到的词嵌入空间(不像其他言语使命中无数百万个单词和句子,我们的解码器在锻炼数据集中只看到了大约 3 万个句子)。

  因而,我们的收集曾经领会到像「play」、「plays」和「playing」如许的词汇长短常类似的(它们具有类似的暗示,如红色箭头所示的稠密聚类)。让我们看看这个二维空间中的另一个区域:

  这个区域似乎有一堆数字——「two」、「three」、「four」、「five」等等。再看一个:

  上图,它晓得「people」和「children」这两个单词类似。并且,它还明显地揣度出了物体的外形。

  我们能够利用 100 维暗示来建立一个函数,该函数可找出与输入单词最类似的单词。它的工作道理很简单:采用 100 维的暗示,并找出它与数据库中所有其他单词的余弦类似度。

  成果不错。除「Rider」外,但「kids」、「kid」和「toddler」都是准确的。

  「Chases」是能够理解的,但我迷惑的是为什么它认为「police」与「chasing」雷同。

  关于词嵌入的一个振奋人心的现实是,你能够对它们进行微积分计较。你能够用两个单词(如「king」和「queen」)减去它们的暗示来获得一个标的目的。当你把这个标的目的使用到另一个词的暗示上(如「man」),你会获得一个与现实的类比词(好比「woman」)很接近的暗示。这就是为什么 word2vec 一经推出就如斯受接待:

  我很猎奇通过图说解码器进修到的暗示能否具有雷同的属性。虽然因为锻炼数据并不大(大约 3 万个句子)我对成果持思疑立场,但我仍是测验考试了一下。

  收集学到的类比并不完满(因为有些单词书面上呈现的次数<10次,因而收集没有足够的消息可供进修),这种环境下我不得不细心去看,可是发觉仍有一些类比。

  若是「riding」对应「sitting」,那么「walking」对应什么呢?收集认为该当是「laying」(这个成果还不错!)

  同样,若是「man」的复数是「men」,那么「woman」的复数该当是什么呢:

  收集认为「sky」对应「silver」或「grey」的,虽然成果中没有呈现「blue」,但它给的成果都是颜色词。令人惊讶的是,这个收集还可以或许揣度颜色的标的目的。

  若是词暗示将雷同的单词聚类在一路,那么图像暗示(Inception支撑的图像编码器输出)呢?我将不异的 t-SNE 手艺使用于图像暗示(在图说解码器的第一步中作为输入的 300 维度的张量)。

  这些点是分歧图像的暗示(我没有利用全数的 8K 图像,只利用了大约 100 张图像样本)。红色箭头指向附近一组暗示的聚类。

  对于查找类似单词的使命,我们受限于在测试集词汇表中寻找类似的单词(若是测试集中不具有某个单词,我们的图说解码器就不会进修该单词的嵌入)。然而,对于雷同的图像使命,我们有一个图像暗示生成器,它能够领受任何输入图像并生成其编码。

  这意味着我们能够利用余弦类似度的方式来建立一个按图像搜刮的功能,如下所示:

  步调 1:获取数据库或方针文件夹中的所有图像,并存储它们的暗示(暗示由图像解码器给出);

  步调 2:当用户但愿搜刮与已有图像最类似的图像时,能够输入新图像的暗示,并在数据库中找到与之最接近的图像(数据库由余弦类似度给出)。

  让我们看看这个收集是若何工作的。我点击了下面这张我在Goa 度假时拍的照片。(PS:我爱Goa!)

  留意,这张图片是我本人的,而我们利用的模子此前从未见过这张图片。当我查询雷同的图像时,收集从Flickr8K 数据集中输出如下图像:

  是不是很像?我没想到该模子会有这么好的表示,但它确实做到了!深度神经收集几乎太棒了!()

  在最初一部门中,我们将反向运转图说生成器。因而,我们不是获取图像并为其生成图说,而是输入图说(文本描述)来找到与之最婚配的图像。

  步调 1:起首输入的是一个完全随机的 300 维张量,而不是一个来自编码器的 300 维图像暗示;

  步调 2:冻结整个收集的所有层(例如指导 PyTorch 不要对梯度进行计较);

  步调 3:假设随机生成的输入张量来自图像编码器,将其输入到图说解码器中;

  步调 4:获取给定随机输入时收集生成的图说,并将其与用户供给的图说进行比力;

  步调 6:为输入张量找到梯度,使丧失最小化(例如,在哪个标的目的以及 300 维数中的每个数值该当改变几多,从而使得在将张量输入到图说解码器时,图说与用户供给的图说接近);

  最初一步:取最终的输入张量,并操纵它的值,通过余弦类似度找到离它比来的图像(以 300 维暗示的步速);

  提示一下,大师能够从我的 Github 存储库()中下载完成所有这些操作的代码。这个存储库包罗了用于数据预处置、模子描述、预锻炼的图说生成收集、可视化的代码,但不包罗 Flickr8K 数据集或图说——这些需要零丁下载()。

  但愿你喜好这篇文章。若是你想进行更深切的实操,这里有一个挑战:基于给定的描述生成图像。这就比如是由一个随机的起点来生成一个与用户供给的图说婚配的 300 维图像暗示一样,可是你能够更进一步,从零起头为用户供给的图说生成一个图像吗?

  这比本文中的操作要难 10 倍,但我感受这是可行的。若是有如许一个办事,它不只能够搜刮与文本对应的图像,并且可以或许动态生成图像,那该有多酷啊!

  在将来,若是谷歌图像实现了这个功能,并可以或许为不具有的图像供给成果(好比「两只独角兽在披萨做成的地毯上翱翔」),我都不会感应惊讶。

反义词录入:admin    责任编辑:admin 
  • 上一个反义词:

  • 下一个反义词: 没有了
  •  
      最新文章
    普通反义词 四个任务就要四个模型?现在单个神…
    普通反义词 莱特币挖矿机电脑配置要求 显卡挖矿…
    普通同义词 属概念的英文_属概念的拼音(读音)_…
    普通同义词 拼音基础概念-412docx-原创力文档
    普通同义词 概念concept音标读音翻译英文例句英…
    普通同义词 概念分析怎么读
    普通同义词 定义(汉语词语)_百度百科
    普通同音词 嫌弃名字“太俗气” 一年级男孩要改…
    普通同音词 人教版小升初语文模拟试题(一)
    普通同音词 写字PK大学生不敌中学生 多数人没输…
    普通同音词 高考英语复习:2009年命题练习及指…
    普通同音词 8初中语文人教部编版八年级上册第三…
    普通反义词 成语中有反义词的成语
    普通反义词 给我一些带有反义词的成语
    普通反义词 含有反义词的成语大全
    普通反义词 带有反义的成语
    普通反义词 有什么是带反义的成语?
    普通四字词语 聚财的4字成语
    普通四字词语 形容“聚财”的成语有哪些?
    普通四字词语 四字吉利和招财的成语 聚财又吉祥的…
    普通四字词语 寓意吉祥的成语大概100个左右
    普通四字词语 财运类的成语能举出200个吗?
    普通多音词 可以多音字组词是什么
    普通多音词 部编版五年级下册多音字汇总+练习可…
    普通多音词 “还”的多音字可以组哪些词?
    普通多音词 好方法)可以简单掌握多音字
    普通多音词 和的多音字可以组哪些词
    普通好词好句 简爱好词好句 简爱好词好句摘抄
    普通好词好句 《简爱》好词好句摘抄
    普通好词好句 简爱精彩语句摘抄英文版带翻译
    词语大全网声明:登载内容出于传递信息之目的,绝不意味着赞同其观点或证实其描述,若侵权请来信告知,我们将及时处理! 站长: