以下分别列举常用的向量范数和矩阵范数的定义。
简单说：0范数表示向量中非零元素的个数（即为其稀疏度）。1范数表示为，绝对值之和。而2范数则指模。
范数对于数学的意义？
总的来说，范数的本质是距离，存在的意义是为了实现比较。比如，在一维实数集合中，我们随便取两个点4和9，我们知道9比4大，但是到了二维实数空间中，取两个点（1，1）和（0，3），这个时候我们就没办法比较它们之间的大小，因为它们不是可以比较的实数，于是我们引入范数这个概念，把我们的（1，1）和（0，3）通过范数分别映射到实数 和 3 ，这样我们就比较这两个点了。所以你可以看到，范数它其实是一个函数，它把不能比较的向量转换成可以比较的实数。
在上面的例子里，我们用的范数是平方求和然后再开方，范数还有很多其他的类型，这个就要看具体的定义了，理论上我们也可以把范数定义为只比较x轴上数字的绝对值。
PS：这里说的是向量范数。)
向量范数
-
1-范数：即向量元素绝对值之和， \(\|x\|_{1}=\sum_{i=1}^{N}\left|x_{i}\right|\)
-
2-范数：Euclid范数（欧几里得范数，常用计算向量长度），即向量元素绝对值的平方和再开方。
\[\|\mathbf{x}\|_{2}=\sqrt{\sum_{i=1}^{N} x_{i}^{2}}\] -
$\infty$-范数 : 即所有向量元素绝对值中的最大值
\[\|\mathbf{x}\|_{\infty}=\max _{i}\left|x_{i}\right|\] -
$-\infty$-范数 : 即所有向量元素绝对值中的最小值 。
\[\|\mathbf{x}\|_{-\infty}=\min _{i}\left|x_{i}\right|\] -
p-范数：即向量元素绝对值的p次方和的1/p次幂
\[\|\mathbf{x}\|_{p}=\left(\sum_{i=1}^{N}\left|x_{i}\right|^{p}\right)^{\frac{1}{p}}\]
矩阵范数
-
1-范数： 列和范数，即所有矩阵列向量绝对值之和的最大值 。 \(\|A\|_{1}=\max _{j} \sum_{i=1}^{m}\left|a_{i, j}\right|\)
-
2-范数：谱范数，即 $A^TA$ 矩阵的最大特征值的开平方。
\(\|A\|_{2}=\sqrt{\lambda_{1}}\) $\lambda$ 为 $A^{T} A$ 的最大特征值。
- $\infty$ - 范数 : 行和范数，即所有矩阵行向量绝对值之和的最大值 。 \(\|A\|_{\infty}=\max _{i} \sum_{j=1}^{N}\left|a_{i, j}\right|\)
- F-范数：Frobenius范数，即矩阵元素绝对值的平方和再开平方 。
- 核范数：$ \lambda_{i}$ 是A的奇异值 。即奇异值之和。
$L_p$ 范数是常用的正则化项，其中 $L_2$ 范数$||w||_2$倾向于w 的分量取值尽量均衡，即非零分量个数尽量稠密，而 $L_0$ 范数与 $L_1$ 范数则是倾向于w的分量尽量稀疏，即非零分量个数尽量少 。