21天打卡行动 10/21
<<人工智能基础课12>>支持向量机
回答老师问题:支持向量机主要用于解决分类任务，那么它能否推而广之，用于解决回归任务呢？在回归任务中，支持向量又应该如何表示呢？
经查资料分享:支持向量回归叫SVR,obj=C(i=1∑l(ξ+ξ∗)+2C1ωTω）,支持向量机回归模型基于不同的损失函数产生了很多变种,个理解,SVR模型中要加损失厌恶的,找到一个分离超平面(超曲面)，使得期望风险最小。
今日所学:
1,支持向量机的由来:1963 年，在前苏联莫斯科控制科学学院攻读统计学博士学位的弗拉基米尔·瓦普尼克和他的同事阿列克谢·切尔沃宁基斯共同提出了支持向量机算法;
2,支持向量机是一种二分类算法，通过在高维空间中构造超平面实现对样本的分类;
3,线性可分支持向量机就是在给定训练数据集的条件下，根据间隔最大化学习最优的划分超平面的过程
4,测试距离是个归一化的距离，因而被称为几何间隔,这个距离是非归一化的距离，被称为函数间隔
5,函数间隔和几何间隔的区别就在于未归一化和归一化的区别。
6,线性可分支持向量机是使硬间隔最大化的算法;
7,线性支持向量机的通用性体现在将原始的硬间隔最大化策略转变为软间隔最大化;
8,误分类引入惩罚函数,
9,不论是线性可分支持向量机还是线性支持向量机，都只能处理线性问题，对于非线性问题则无能为力;
10,将原始低维空间上的非线性问题转化为新的高维空间上的线性问题，这就是核技巧的基本思想;
11,核函数有两个特点。第一，其计算过程是在低维空间上完成的，因而避免了高维空间（可能是无穷维空间）中复杂的计算；第二，对于给定的核函数，高维空间 \mathcal{H} 和映射函数 \phi 的取法并不唯一。一方面，高维空间的取法可以不同；另一方面，即使在同一个空间上，映射函数也可以有所区别;
12,核函数的使用涉及一些复杂的数学问题，其结论是一般的核函数都是正定核函数;
13,在支持向量机的应用中，核函数的选择是一个核心问题,核函数的包含:线性核,多项式核,高斯核,拉普拉斯核,Sigmoid 核,
14,核函数可以将线性支持向量机扩展为非线性支持向量机
15,持向量机的一个重要性质是当训练完成后，最终模型只与支持向量有关，这也是“支持向量机”这个名称的来源。正如发明者瓦普尼克所言：支持向量机这个名字强调了这类算法的关键是如何根据支持向量构建出解，算法的复杂度也主要取决于支持向量的数目;
名词:法向量,截距,低维欧几里得空间,高维希尔伯特空间\mathcal{H},SMO 算法
总结:这一张很抽象,抽象到一个不能用由生物分子合成的三维空间的人去想象那些在多维空间存在一个超平面把我们 要分类的的事物,分出因果后,再通过核函数压缩直至降维;
老师讲的重点:
1,线性可分支持向量机通过硬间隔最大化求出划分超平面，解决线性分类问题；
2,线性支持向量机通过软间隔最大化求出划分超平面，解决线性分类问题；
3,非线性支持向量机利用核函数实现从低维原始空间到高维特征空间的转换，在高维空间上解决非线性分类问题；
4,支持向量机的学习是个凸二次规划问题，可以用 SMO 算法快速求解。