在树结构上的学习表现优于卷积前馈网络

放大字体  缩小字体 2023-01-31 13:47  浏览次数:

Is brain learning weaker than artificial Intelligence?

传统上,人工智能源于人类的大脑动力学。然而,与深度学习(DL)相比,大脑学习在许多重要方面受到限制。首先,高效的深度学习布线结构(架构)由数十个前馈(连续)层组成,而大脑动力学仅由几个前馈层组成。其次,深度学习体系结构通常由许多连续的过滤器层组成,这对于识别一个输入类是必不可少的。

例如,如果输入是一辆汽车,第一个过滤器识别车轮,第二个过滤器识别门,第三个过滤器识别灯,在经过许多额外的过滤器之后,输入对象确实是一辆汽车。相反,大脑动力学只包含一个位于视网膜附近的过滤器。最后一个必要的组成部分是复杂的数学深度学习训练过程,这显然远远超出了生物学的实现。

大脑在精确数学运算方面的实现能力有限,它能与在快速并行计算机上实现的先进人工智能系统竞争吗?根据我们的日常经验,我们知道对于许多任务,答案是肯定的。为什么会这样?既然有了这个肯定的答案,人们就能在大脑的启发下构建一种新型的高效人工智能?在今天发表在《科学报告》上的一篇文章中,以色列巴伊兰大学的研究人员解决了这个难题。

“我们已经证明了在人工树架构上的有效学习,其中每个权重都有通往输出单元的单一路径,可以实现比以前由更多层和过滤器组成的DL架构更好的分类成功率。这一发现为高效、受生物学启发的新型人工智能硬件和算法铺平了道路,”Bar-Ilan物理系和Gonda (Goldschmied)多学科大脑研究中心的Ido Kanter教授说,他领导了这项研究。

“高度修剪的树架构代表了通过单个或几个神经元实现高效树突树学习的合理生物学实现的一步,降低了复杂性和能量消耗,以及反向传播机制的生物学实现,这是目前人工智能的核心技术,”博士生兼这项工作的贡献者Yuval Meir补充道。

有效的树突树学习是基于Kanter和他的实验研究团队之前的研究,并由Roni vardi博士进行,表明了使用神经元培养的亚树突适应的证据,以及神经元的其他各向异性特性,如不同的尖峰波形、不应期和最大传输速率。

高效地实现高度修剪的树训练需要一种新型的硬件,这种硬件与新兴的gpu不同,后者更适合当前的深度学习策略。一种新的硬件的出现需要有效地模拟大脑动力学。

更多信息:Yuval Meir等人,对树结构的学习优于卷积前馈网络,科学报告(2023)。DOI: 10.1038/s41598-023-27986-6

由巴伊兰大学提供
引用:学习树形结构,表现优于公司 nvolutional前馈网络(2023,1月30日)检索自2023年1月30日https://techxplore.com/news/2023-01-tree-architectures-shown-outperform-convolutional.html本文档 作品受版权保护。除为私人学习或研究目的而进行的公平交易外,未经书面许可,不得转载任何部分。的有限公司 Ntent仅供参考之用。

热门搜索排行
声明:本站信息均由用户注册后自行发布,本站不承担任何法律责任。如有侵权请告知,立即做删除处理。
违法不良信息举报邮箱
晋ICP备17002844号
中国互联网举报中心