物理或数学意义 人工神经网络的本质是什么?( 二 )


其他观点:
从数学的角度讲 。人工神经网络的本质从机器学习的过程可理解为通过参数求最佳解得过程 。同样也是一个负反馈的过程 。以最简单的负反馈神经网络bp神经网络(back propagation)为例 。其本质可以形象的理解为这样一个过程:

物理或数学意义 人工神经网络的本质是什么?

文章插图
我们假设这个刚搭建的好的机器人叫“小明”(假设他刚出生) 。他的硬件软件等我们不需要考虑的部分全部是最先进的 。小明的大脑里现在是最纯净的 。除了一个学习的算法什么都没有 。就像一个刚出生的婴儿一样 。
现在 。小明饿了 。想吃东西 。那么如何才能吃到东西呢?在什么都不知道的情况下 。小明开始探索如何才能不饿 。他可能会伸手 。或者笑、哭 。于是母亲喂了他吃的 。从逻辑上可以这么理解:
物理或数学意义 人工神经网络的本质是什么?

文章插图
然后他每次饿了 。都开始伸手-笑-哭 。然后就有吃的了 。突然 。有一天他自己也不知道怎么搞的 。直接哭了 。然后---有吃的了!!!这时他才明白这一个逻辑:
物理或数学意义 人工神经网络的本质是什么?

文章插图
这时候 。机器人“小明“明白 。其实达到一个目的很简单 。但是需要不断尝试 。
再后来 。小明又饿了 。这回他懒得动 。稍微小哭了一下等吃的 。结果妈妈没来喂他!这是为啥?然后他就哭的超级大声 。妈妈看他这样子以为是病了 。急冲冲的送她去诊所 。结果啥病也没有 。小明迷惑 。这是为什么?逻辑可以这么理解:
物理或数学意义 人工神经网络的本质是什么?

文章插图
然后他把哭声再稍微降低以点 。变成了很正常的哭 。这时妈妈终于恍然大悟 。喂他吃的 。小明终于明白 。想吃东西 。首先需要哭 。然后若哭声小 。不起作用 。需要调大哭声 。若哭声过大 。会起反作用 。需要把哭声再降小一点 。就有吃的了 。
以上就是人工神经网络的本质 。通过不断尝试引入各种参量 。最终得到允许误差范围内的解 。并通过引入参量系数 。最终得到最优解——喂食=哭 。通过负反馈机制 。当参量所占权重过小 。以当前参量所得结果为参考依据适当增加参量权重比例 。增加的比例的系数随机 。通过第二次的结果和第一次的结果选择更合适的权重系数 。最后经过不断的“尝试“得到最优解 。
以上过程即是bp负反馈神经网络的算法思想 。
其他观点:
【物理或数学意义 人工神经网络的本质是什么?】数学的角度看 。网络模型本质上是函数的表示模型 。学习的过程就是通过数据匹配实现函数建模的过程 。实现数据的逼近或拟合 。网络模型的结构和规模决定模型的表示能力 。表示能力越强 。建模需要的数据规模也越大 。或者学习利用数据能力越强 。同时学习需要的计算资源也会越多 。显然 。深度学习实现的网络模型就是可以利用大数据实现丰富表示能力的函数建模 。