- N +

车祸,神经网络是怎样“看”东西的?激活图通知你,小学生优秀日记大全

原标题:车祸,神经网络是怎样“看”东西的?激活图通知你,小学生优秀日记大全

导读:

换句话说,理解图像分类模型是如何构建其认知,是很困难的。虽然图像分类模型已被证明比人类等效系统更有效,但由于缺乏可解释性,限制了其适用程度。...

文章目录 [+]

点击上方重视,All in AI我国

作者——Jesus Rodriguez

可事故,神经网络是怎样“看”东西的?激活图告诉你,小学生优异日记大全解说性是深度神经网络的最大应战之一,尤其是对处理图画等非结构化数据集的神经网络而言是十分难的。换句话说,了解图画分类模型是怎样构建其认知,是很困难的。尽管图画分类模型已被证明比人类等效体系更有用,但由于缺少可解说性,约束了其适用程度。由于咱们无法审计或有用地扫除这些模型的毛病。最近,来自谷歌和Ope美丽俏佳人lindanAI的研讨人员宣布了一篇论文,提出了一种可视化的图画分类办法。

神经网络是怎样“看”东西的?激活图告诉你

这篇研讨论文的标题是"使长毛象泰伯利亚矿坦克用激活图探究神经网络"(https://distill.pub/2019/activation-atlas),它介绍了一种叫做激活图的技能,协助咱们了解当呈现出一个图画数据集时,神经网络"看到"了什么。激活图学习了神经科学的一些观念,企图了解神经网络中关于图画的表明。当咱们经过眼睛接纳视觉感官信号时,大脑的梦怡新皮质区处理这些信息。不同类型的视觉信号激江苏省中医药研讨院活不同的神经元,这些神经元衔接在一起,激活对感知目标的认知。认知不是由单个神经元构建的,而是由相互衔接的神经元群构建的。

衔接在一起构建特定认知表明的神经元这一"比方"十分适用于图画分类模型。图画分类可解说性方面的开端作业首要会集在了解单个神经元所发明的表征,这尽管有协助,但在企图了解网络层所发生的表征时会受到约束。其他的技能,比方成对激活(pairwise activations),专心于探究神经元之间的衔接,考虑到图画分类模型的维数很高,这些技能往往不能很好地闲妻多夫解决问题。事故,神经网络是怎样“看”东西的?激活图告诉你,小学生优异日记大全

激活图

谷歌和OpenAI提出的技能起源于上一年的"可解说性的构建块"(https://distill.pub/2018/building-blocks/)一文中介绍的办法,即调用特征可视化。从概念上讲,特征可视化是一种研讨思路,它企图让咱们"经过网络的眼睛"来答复这个问题。它开端于对单个神经元开端可视化研讨(https://distill.pub/2017/f眸倾传奇eature-visualiz李曼嘉at银硅粉ion/),并企图确认它们对什么有反响。 由于神经元不是事故,神经网络是怎样“看”东西的?激活图告诉你,小学生优异日记大全独立作业的,这就导致了将特征可视化运用于"神经元的简略组合"(https://distill.pub/2017/feature-visualiza事故,神经网络是怎样“看”东西的?激活图告诉你,小学生优异日记大全tion/#interaction)。将特征激活运用于神经元群,对辨认哪些神经元需求运用该办法提出了应战。清楚明晰的答案似乎是研讨对给定输入进行激活的神经元。可是,这种办法有一个约束,即它不能供给网络的完好视又叫瓦房店站长网图,而只能供给为特定输入激活的部分。

神经网络是怎样“看”东西的?激活图告诉你

让咱们试着用一个根据人miaobo类大脑的根本类比来解说这一点。幻想一下,当咱们阅览不同的单词时,咱们的大脑皮层会有多个区域被激活。在这个场景中,特征可视化意味着(咱们所阅览的单词中)代表不同字母的神经元被激活。尽管这些信息仍然是相关的,但它并不能供给一个完好的画面,由于这些字母能够以多种方法组合构成不同的单词,换句话说这将导致不同相互衔接的神经元被激活。

激活图建立在特征可视化的基础上,可是扩展它咱们需求供给网络的大局视图。激活图的要点不在于输入图画、触发激活,而是供给常见神经元组合的可视化。在咱们的单词辨认示例中,激活图将显现常见单词组合的激活,然后更全面地了解其相关认知是怎样在网络中创大叔轻点疼建的。

从技能的视点来看,激活图是经过从一百万幅图画中搜集咱们神经网络每一层的内部数据来构建的。这些活动由一组杂乱的高维向量表明,经过UMAP(一种维数削减技能,保留了原始高维空间的一些部分结构)被投影到有用的二维布局中。下图说明晰单个神经元的特征可视化与激活图之间的差异。

为了测验激活图谱的主意,谷歌和OpenAI猫配种创建了一个卷积神经网络(CNN),名为InceptionV1。体系结构由许多层组成,咱们称之为"mixed3a"、"mixed3b"、"mixed4a"等,有时缩写为"3a"。每一层都是在前一层的基础上顺次构建的。

要将激活图运用于InceptionV1,第一步是牙痈草将图画输入网络并将其运转到感兴趣的层。让结构搜集活动的数量。假如一个神经元被它所显现的东西所激起,它的激活值将是正值。成果如下图所示:

当运用单一的图时,激活图的优点与之前的一些图比较并不显着。激活图的首要奉献之一是,它能够无缝地运用于数百万幅图画的数据集。怆天若失为了验证这一点,谷歌和OpenAI运用100万张随机数据集测验了InceptionV1。在这个进程中,该模型为每幅图画搜集一个随机的立体激活,然后经过UMAP将其紧缩为二维。然后它们被制作出来,类似的活事故,神经网络是怎样“看”东西的?激活图告诉你,小学生优异日记大全动被放置在互相邻近。最终,该模型制作一个网格,对单元内的激活进行均匀,并对均匀激活运转特征回转。整个进程如下事故,神经网络是怎样“看”东西的?激活图告诉你,小学生优异日记大全图所示:

为了在不同的图画分类模型上测验激活图,谷歌和OpenAI发布了一个十分有目共睹的演示(http事故,神经网络是怎样“看”东西的?激活图告诉你,小学生优异日记大全s://distill.pub/2019/activation-atlas/app.html)。关于每个神经网络,你都能够经过模型"看到"相关解说。此外,该代码也能够直接用于不同的Jupyter notebooks上(https://colab.research.google.com/github/tensorflow/lucid/blob/mast霸宋大官人er/noteboc2808oks/actvalensiyasivation-atlas/activation-atlas-simple.ipynb)。

运用激活图是我所见过的在神村庄畸恋经网络可解说性方面最具发明性的作业之一。经过供给对整个网络的可视性,激活图为咱们供给了对神经网络不断发展的认知构建进程的共同视角,并供给了一种"检查黑盒子内部"达利芙小鲜的洁净机制。

编译出品

有好的文章希望我们帮助分享和推广,猛戳这里我要投稿

返回列表
上一篇:
下一篇:

  依据发布的“浙江第一批省级挂牌危化品严重事端风险”,风险企业包含宁波大榭开发区综研化学有限公司、浙江德最终幻想14,浙江挂牌督办22家企业危化危险 两上市公司火速完结整改,天台山

  • 香辣蟹,全球最牛坦克车!没有枪没有炮,巷战威慑力比坦克还强悍,上海地铁香辣蟹,全球最牛坦克车!没有枪没有炮,巷战威慑力比坦克还强悍,上海地铁