使用 gitbook + GitHub 发布自己的笔记；
在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。
感知机可以说是最古老的分类方法之一了，在1957年就已经提出。今天看来它的分类模型在大多数时候泛化能力不强，但是它的原理却值得好好研究。因为研究透了感知机模型，学习支持向量机的话会降低不少难度。同时如果研究透了感知机模型，再学习神经网络，深度学习，也是一个很好的起点。
以下分别列举常用的向量范数和矩阵范数的定义。
简单说：0范数表示向量中非零元素的个数（即为其稀疏度）。1范数表示为，绝对值之和。而2范数则指模。
奇异值分解(Singular Value Decomposition，以下简称SVD)是在机器学习领域广泛应用的算法。
主成分分析（Principal components analysis，以下简称PCA）是最重要的降维方法之一。在数据压缩消除冗余和数据噪音消除等领域都有广泛的应用。
在 PCA 中用到协方差阵的计算以及特征值和特征向量的计算。
numpy.cov() 函数用来计算协方差
a, b = np.linalg.eig(x) 函数可以用来计算矩阵的特征值与特征向量
numpy.linalg.inv() 函数用来计算可逆矩阵的逆矩阵。
贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。