深度学习是什么？( 三 )

文章插图
。满足：

文章插图
注意上式右边对系数采用了L1范式/正则化/约束以满足稀疏性。上式实际上是对Lasso（The Least Absolute Shrinkage and Selectionator operator）估计的求解。之所以希望“稀疏性”是科学依据的。因为绝大多数的感官数据。比如自然图像。都可以被表示成“少量”基本元素的叠加。比如基本线/面的叠加。稀疏编码算法是一种无监督学习方法。它用来寻找一组“超完备”基向量（基向量的个数比输入向量的维数要大）以更高效地表示样本数据。以找出隐含在输入数据内部的结构与模式。
答案是能！深度学习框架将特征和分类器结合到一个框架中。自动地从海量大数据中去学习特征。在使用中减少了手工设计特征的巨大工作量。看它的一个别名：无监督特征学习（Unsupervised Feature Learning）。就可以顾名思义了。无监督（Unsupervised）学习的意思就是不需要通过人工方式进行样本类别的标注来完成学习。因此。深度学习是一种可以自动地学习特征的方法。
提示：准确地说。深度学习首先利用无监督学习对每一层进行逐层预训练（Layerwise Pre-Training）去学习特征；每次单独训练一层。并将训练结果作为更高一层的输入；然后到最上层改用监督学习从上到下进行微调（Fine-Tune）去学习模型。
深度学习通过学习一种深层非线性网络结构。只需简单的网络结构即可实现复杂函数的逼近。并展现了强大的从大量无标注样本集中学习数据集本质特征的能力。深度学习能够获得可更好地表示数据的特征。同时由于模型的层次深（通常有5层、6层。甚至10多层的隐层节点。“深”的好处是可以控制隐层节点的数目为输入节点数目的多项式倍而非多达指数倍）、表达能力强。因此有能力表示大规模数据。对于图像、语音这种特征不明显（需要手工设计且很多没有直观的物理含义）的问题。深度模型能够在大规模训练数据上取得更好的效果。尤其是在语音识别方面。深度学习使得错误率下降了大约30% 。取得了显著的进步。相比于传统的神经网络。深度神经网络作出了重大的改进。在训练上的难度（如梯度弥散问题）可以通过“逐层预训练”来有效降低。注意。深度学习不是万金油。像很多其他方法一样。它需要结合特定领域的先验知识。需要和其他模型结合才能得到最好的结果。当然。还少不了需要针对自己的项目去仔细地调参数。这也往往令人诟病。此外。类似于神经网络。深度学习的另一局限性是可解释性不强。像个“黑箱子”一样不知为什么能取得好的效果。以及不知如何有针对性地去具体改进。而这有可能成为产品升级过程中的阻碍。
深度学习通过很多数学和工程技巧增加（堆栈叠加：Stack）隐层的层数。如果隐层足够多（也就是深）。选择适当的连接函数和架构。就能获得很强的表达能力。深度学习的一个主要优势在于可以利用海量训练数据（即大数据）。但是常用的模型训练算法反向传播（Back Propagation）仍然对计算量有很高的要求。而近年来。得益于计算机速度的提升、基于MapReduce的大规模集群技术的兴起、GPU的应用以及众多优化算法的出现。耗时数月的训练过程可缩短为数天甚至数小时。深度学习才在实践中有了用武之地。
值得一提的是。深度学习的诞生并非一帆风顺。虽然Yahn Lecun在1993年提出的卷积神经网络（Convolutional Neural Network：CNN）是第一个真正成功训练多层网络结构的学习算法。但应用效果一直欠佳?直到2006年。Geoffrey Hinton基于深度置信网（Deep Belief Net：DBN）——其由一系列受限波尔兹曼机（Restricted Boltzmann Machine：RBM）组成。提出非监督贪心逐层训练（Layerwise Pre-Training）算法。应用效果才取得突破性进展。其与之后Ruslan Salakhutdinov提出的深度波尔兹曼机（Deep Boltzmann Machine：DBM）重新点燃了人工智能领域对于神经网络（Neural Network）和波尔兹曼机（Boltzmann Machine）的热情。才由此掀起了深度学习的浪潮?从目前的最新研究进展来看。只要数据足够大、隐层足够深。即便不加“Pre-Training”预处理。深度学习也可以取得很好的结果。反映了大数据和深度学习相辅相成的内在联系。此外。虽说非监督（如DBM方法）是深度学习的一个优势。深度学习当然也可用于带监督的情况（也即给予了用户手动标注的机会）。实际上带监督的CNN方法目前就应用得越来越多。乃至正在超越DBM 。