本文共 567 字,大约阅读时间需要 1 分钟。
越来越觉得sparse在学习过程中的重要性了,正是sparse,才导致了有限空间内,可以存储更多的记忆,如果没有saprse,来了模式1,你的记忆存满,来了模式2,你的记忆将被修改。此时你就无法同时记忆模式1和模式2。 同样的道理在一些大脑研究中也是行得通的:脑容量越小,理论来说记忆的也就说。但是具体模式1对应到哪些神经元被激活,个人认为并没有一个固定模式,他们之间只是一个mapping关系,比如让你记忆一条狗,你记忆成了猫,可能猫和够对应的神经元不一样,但是你只是映射关系错了而已,不影响你的记忆。所以具体让那些神经元来表达,应该也是有一定的随机性。在sparse ae中为了得到好的效果,硬是强制加了稀疏的约束。如果模式只有一个,那么稀疏不稀疏完全是没关系的,这个可以用实验证明。 类似dropout、sparse、以及retifier这些东西,本质上还是增加sparse,那么增加了sparse之后会有什么效果?我认为实际上是增加了网络的记忆能力。正如上面说过的,可以记忆多种模式,那么自然多个模式下识别效果必然要好的多。如果只有一个模式,我还是觉得用不用sparse效果都是可以的。 最近做了不少神经网络的东西,越发觉得sparse才是提高网络性能(记忆)的主要方面。当一个网络有了记忆,自然而然的就具备了更强的预测能力。转载地址:http://ccini.baihongyu.com/