矩阵向量求导链式法则，使用该法则很多时候可以帮我们快速求出导数结果。
使用微分法来求解标量对向量的求导，以及标量对矩阵的求导。
标量对向量求导，标量对矩阵求导, 以及向量对向量求导这三种场景的基本求解思路。
标量对向量或矩阵求导这两种情况，以分母布局为默认布局。向量对向量求导，以分子布局为默认布局。
机器学习中，矩阵向量求导的方法 。
在SVM的前三篇里，我们优化的目标函数最终都是一个关于 $α$ 向量的函数。而怎么极小化这个函数，求出对应的 $α$ 向量，进而求出分离超平面我们没有讲。本篇就对优化这个关于$α$ 向量的函数的SMO算法做一个总结。
线性可分SVM的硬间隔最大化和软间隔最大化的算法，它们对线性可分的数据有很好的处理，但是对完全线性不可分的数据没有办法。本文我们就来探讨SVM如何处理线性不可分的数据，重点讲述核函数在SVM中处理线性不可分数据的作用。
在支持向量机原理(一) 线性支持向量机中，我们对线性可分SVM的模型和损失函数优化做了总结。有时候不能线性可分的原因是线性数据集里面多了少量的异常点，由于这些异常点导致了数据集不能线性可分，本篇就对线性支持向量机如何处理这些异常点的原理方法做一个总结。
SVM 是一个二元分类算法，线性分类和非线性分类都支持。经过演进，现在也可以支持多元分类，同时经过扩展，也能应用于回归问题。
在求解优化问题或者多元不等式时，我们经常需要在某些约束条件（constraints）下求极值，而这些约束条件经常会使解答变得十分复杂，拉格朗日乘数法（Method of Lagrange Multipliers）能巧妙的解决这一问题 。
逻辑回归是一个分类算法，它可以处理二元分类以及多元分类。虽然它名字里面有“回归”两个字，却不是一个回归算法。那为什么有“回归”这个误导性的词呢 ？个人认为，虽然逻辑回归是分类模型，但是它的原理里面却残留着回归模型的影子。