稀疏编码（头发稀疏如何改善）

人工操作系统会使用世界知识图谱(从网络中提取内容并排序)。

知识地图包含稀疏表示和稀疏字典。稀疏将使用范式。

对稀疏表示和字典学习的简单理解

特征分类

稀疏表示

词典学习

特征分类

相关特性:当前有用的属性。

冗余特征:包含的信息有时可以从其他特征中推断出来。如果一个冗余特征恰好对应学习任务所需的“中间概念”，有时可以降低学习任务的难度。

稀疏表示

稀疏性:数据集D对应的矩阵中有很多零元素，它们并不以整列或整行的形式存在。

稀疏表示:原始信号的大部分或全部用基本信号的几个线性组合来表示。求一个系数矩阵A(KN)和一个字典矩阵B(MK)，使B*A尽可能还原X，A尽可能稀疏。a是x的稀疏表示。

优势

本质上，它是一个庞大数据集的降维表示。稀疏表示的本质:用尽可能少的资源表达尽可能多的知识。

自然信号正则化子，我们在求解逆问题的时候，比如我们要把它们从所有的损伤或者噪声中提取出来，在没有约束的情况下会有很多满足条件的解，你无法判断某个解比其他的更合适。

稀疏表示被广泛用作自然信号的正则化:认为这些信号在某个域或一组基(或字典)下都有稀疏表示。

那些不具备这种特性的被认为是噪音，失真，不可取的解决方案…等等，可以排除。来自https://www.zhihu.com/question/26602796/answer/33431062,知乎

词典学习

为具有常见密集表达式的样本找到合适的字典，将样本转换成合适的稀疏表达式，这样可以简化学习任务，降低模型的复杂度。通常被称为“(字典学习)，也称为”(稀疏编码)。字典学习最简单的形式是:

其中B(d*k)是字典矩阵，k是字典的词汇，通常由用户指定，αi是样本xi的稀疏表示。公式中的第一项是αi能很好地重构xi，第二项是αi尽可能稀疏。其中样本是D维的，稀疏表示是K维的。之所以使用L1范式，是因为通过正则化L1范式更容易得到稀疏解。

————————————————

什么是规范？并简要介绍了L1和L2规范。

L0、L1和L2规范的定义是:

(1)L0范数是指向量中非零元素的个数。它可以改善模型参数的稀疏性，但很难优化L0范数。

(2)L1范数是向量中每个元素的绝对值之和。它的作用也是改善模型参数的稀疏性。效果不如L0范数，但更容易求解，更常用。

(3)L2范数是向量的元素的平方和，然后求平方根。它的作用是降低模型所有参数的大小，可以防止模型过拟合，也是常用的。

什么是规范？

范数是一个带有“距离”概念的函数。我们知道距离的定义是一个广义的概念，只要满足非负、自反和三角不等式，就可以称为距离。范数是距离的一个强化概念，它是由数乘大于距离的算法定义的。有时候为了更容易理解，我们可以把norm想象成距离。

数学上，范数包括向量范数和矩阵范数。向量范数表示向量空之间向量的大小，矩阵范数表示矩阵引起的变化的大小。一个不严谨的解释是，对应于向量范数，vector 空中的所有向量都有大小。如何衡量这个尺寸，是用规范来衡量的。可以用不同的规范来衡量这个大小，就像米和尺可以用来衡量距离一样。关于矩阵范数，学过线性代数的我们知道，通过运算AX=B，可以将向量X变为B，用矩阵范数来度量这种变化。

下面简单介绍一下以下向量范数的定义和含义。

2.L0范数当P=0时，为L0范数。从上面可以看出，L0范数并不是真正的范数。它主要用于度量向量中非零元素的个数。可以用上述L-P定义得到的L-0的定义是:

这里有点问题。我们知道非零元素的零次方是1，但是零的零次方是什么鬼？L0的含义很难解释，所以一般情况下，大家都用:

指示向量x中非零元素的数量。对于L0范数，其优化问题是:

在实际应用中，由于L0范数本身不容易有一个好的数学表达式，很难给出上述问题的形式化表达，因此被认为是一个NP-hard问题。因此，在实际情况下，L0的优化问题将被放宽到L1或L2下的优化。

3.L1规范L1规范是我们经常看到的规范。其定义如下:

表示向量x中非零元素的绝对值之和，L1范数有很多名字，比如曼哈顿距离，最小绝对误差等。L1范数可以用来度量两个向量之间的差，如绝对差之和:

对于L1范数，其优化问题如下:

由于L1范数的自然性质，L1优化的解是稀疏解，所以L1范数也被称为稀疏规则算子。通过L1，可以稀疏要素，并且可以移除一些没有信息的要素。比如对用户的电影爱好进行分类时，用户有100个特征，可能只有十几个特征对分类有用。大部分特征比如身高体重可能没用，可以用L1范数过滤掉。

4.L2规范L2规范是我们最常见的规范。我们使用最多的欧几里德距离是一种L2范数。其定义如下:

表示矢量元素的平方和以及重新平方。像L1范数一样，L2也可以度量两个向量之间的差，比如平方差之和:

对于L2范数，其优化问题如下:

L2范数通常作为优化目标函数的正则项，可以避免模型过于复杂而不符合训练集，从而提高模型的泛化能力。

5.L∞范数当p=∞时，是L∞范数，主要用来度量向量元素的最大值。与L0一样，它通常表示为

以上内容转载于SethChai的博客。再次感谢分享。请附上原文链接:https://blog.csdn.net/a493823882/article/details/80569888.

在使用机器学习方法解决实际问题时，我们通常使用L1或L2范数进行正则化，以限制权重，降低过拟合的风险。尤其是当梯度下降用于优化目标函数时，

L1和L2的区别

L1范数(L1范数)是一个向量中每个元素的绝对值之和，也被称为“套索正则化”。例如，如果向量A=[1，-1，3]，那么A的L1范数是|1|+|-1|+|3|。

简单总结一下:L1范数:X向量各元素的绝对值之和。L2范数:X向量各元素平方和的1/2次方，L2范数也叫欧几里德范数或弗罗贝纽斯范数Lp范数:X向量各元素绝对值之和的1/p次方。

L1正则化产生稀疏权重，而L2正则化产生平滑权重。为什么会这样呢？在支持向量机的学习过程中，L1范数实际上是一个求解代价函数的优化过程。因此，L1范数正则化在代价函数中加入了L1范数，使得学习结果稀疏，从而有利于特征提取。L1范数可以使权值稀疏，便于特征提取。L2范数可以防止过拟合，提高模型的泛化能力。L1和L2典型先验分别服从什么分布？L1和L2典型先验分别服从什么分布？L1是拉普拉斯分布，L2是高斯分布。