18 | 从全局到局部：核技巧
该思维导图由 AI 生成，仅供参考
荧光笔
直线
曲线- 深入了解
- 翻译
- 解释
- 总结
支持向量机（SVM）是一种重要的机器学习方法，其核心概念包括对偶性、核函数和核技巧。对偶性通过拉格朗日乘子将原始优化问题转化为对偶问题，简化了计算。核函数的引入解决了高维空间中复杂运算的问题，使得SVM在处理非线性问题时更加高效。核函数不仅简化了内积运算，更重要的是重新定义了数据的表征框架，基于相似性度量在高维特征空间上找到线性决策边界。此外，核函数具有局部化的特点，是从全局模型到局部模型的过渡手段。文章还介绍了径向基核函数的应用和参数设置方法，以及核函数在支持向量机中的分类效果。总的来说，本文通过对SVM的对偶性和核函数的介绍，帮助读者更好地理解了SVM的技术特点和应用价值。
《机器学习 40 讲》，新⼈⾸单¥59
全部留言(10)
- 最新
- 精选
婉儿飞飞“支持向量机对原问题和对偶问题之间等价关系的利用就是它的对偶性（duality）。” 这句话似乎也有点问题。首先，对偶性是拉格朗日函数的性质，任何带约束的非线性规划问题都可以写出对偶函数。 其次，主问题和对偶问题等价，不是利用了对偶性，而是因为满足KKT条件时，强对偶成立成立，也就是主偶问题的解相等。 最后，从拉格朗日函数里并不能看出最优解只和支持向量相关，而是由于KKT条件里的“对偶互补性条件”可推出。也就是，第j个输入向量的拉格朗日因子a_j大于0小于惩罚因子C时，向量j落在wx+b=1的边界上，从这里才能看出来只和支持向量相关。作者回复: 感谢认真阅读。你说的没错，文中前面也提到了KKT。但是因为没有做详细的展开，所以这里一概地把它归结到对偶性上，便显得突兀。你的留言对这个问题做了更清楚的说明，希望其他同学也能看到。
2019-07-215
林彦支持向量机的推导公式我理解起来有些费劲。 (1) 第一组公式里s.t. yi(w⋅xi+b)≤1 是不是 s.t. yi(w⋅xi+b)≥1？这样在已知拉格朗日函数中alpha_i ≥ 0，后面的陈述“由于alpha_i 和 1−yi(w⋅xi+b)的符号相反，因此两者之积必然是小于0的“成立时需满足yi(w⋅xi+b)≥1。 (2) 我的理解：求解原问题（primal problem）相当于求解改写成所谓的广义拉格朗日函数（对偶函数？）的最大值（对于alpha）。因此“对于不是支持向量的数据点来说，等式右侧第二项中的1−yi(w⋅xi+b)是大于0的...”这句是不是可以写作“对于不是支持向量的数据点来说，等式右侧第二项中的1−yi(w⋅xi+b)是小于0的，因此在让L(w,b,α)最大化时，必须把这些点的贡献去除，去除的方式就是让系数alpha_i = 0”？ (3) “当参数w和b不满足原问题的约束时，总会找到能让目标函数取值为正无穷的alpha，这意味着最大值其实就是不存在。”里的参数w和b不满足原问题的约束等同于yi(w⋅xi+b)<1和1−yi(w⋅xi+b)>0？ (4) “原始的最小化问题就被等效为min<w,b>θp(w,b)，也就是广义拉格朗日函数的极小极大问题”这里为什么等效于对于w和b求广义拉格朗日函数L(w,b,α)的最小值我不是太理解。除了我们需要寻找一个由w和b定义的超平面，它们到分类点的最近距离等同于||w||值最小（满足原问题的s.t.条件时）感觉有些联系外。就不太理解一个原来的受不等式约束的最小值问题是如何变成一个受等式约束（除了拉格朗日乘子的非负约束外）的既求最大值也求最小值的问题的。 (5) 上一季中的课程还未全部阅读。请问老师提到的鞍点（saddle point）是在哪一部分出现的？现在没什么印象了。谢谢。作者回复: 感谢你的仔细指出： 1. 应该是大于号，支持向量机的定义说的就是这个事情，这是不该有的错误。 2. 根据1可以得到，等式右侧那一项应该是小于0的，这是因为拉格朗日的形式一般是让约束条件满足小于0。 3. 这里的约束就是文中第一个表达式的约束，只有服从这个约束，拉格朗日才有最小值。 4. 这个过程是由数学运算和KKT保证的。它的目的是为了简化运算。直接用二次规划求原问题很复杂，运算复杂度取决于样本数目。引入拉格朗日这一套之后，求w变成了求alpha，而alpha中的非零项又不多，这样就可以简化运算。对偶问题的作用在吴恩达cs229支持向量机note的第13页有说明，你可以看看。 5. 深度学习中的优化 这一篇。
2018-07-152- 林彦王老师，请问径向基函数中的gamma参数变大，即高斯核的宽度变窄适用于什么场景？ 调用scikit-learn的包时，一些默认参数无法分类的数据当把gamma值变大后，数据出现了较好分类的边界。什么情况下应该调整gamma参数？往什么方向调由什么因素决定？ 谢谢。
作者回复: 核的带宽越小意味着每个样本点影响的范围就越小，新样本就越发取决于离它最近的训练数据。当带宽趋近于0时，核函数就变成1近邻了。 调小带宽肯定有利于降低训练误差，但也会增加过拟合的风险。如何调整这个超参数恐怕也没有一定之规，只能通过交叉验证找到训练误差和泛化误差的折中的最优值。
2018-08-071 
刘強老师，现在人工智能依赖信息的表示方式吗？比如现在计算机处理的信息都是二进制表示的，如果换一种表示方式，人工只能还灵不灵？如果依赖的话，现在所遇到的各种难题会不会是二进制的局限性导致的？作者回复: 这个恐怕没什么关系，因为只要使用计算机就要用二进制。即使不是二进制也会是四进制六进制八进制这些离散的表示。
2018-07-1621
风的轨迹王老师这篇文章真好，我终于把与“核”相关的三个概念（核函数，核方法，核技巧）搞明白了。之前在别的教程里看到有"先引入相似度函数，在相似度函数的基础上再引入核函数的"这样的讲解方法。当时我就在想难道核方法和相似度上有某种联系？看了老师这篇文章才恍然大悟，原来核函数确实有局部化的特点。同时径向函数又把径向神经网络联系起来，透过知识点的相互联系我有感觉到这些相互联系的知识点背后可能存在一个更高层的思想把他们统一起来的感觉，我想我已经摸到了一些门路了吧作者回复: 感谢你的分享，能带给读者这样的启示是我最想看到的。
2018-12-10
terency李请问下老师，您文章里有句话是这么说的: 对于不是支持向量的数据点来说，等式右侧第二项中的 1−yi(w⋅xi+b)是大于 0 的 不是支持向量的数据点指的是误分类点吗？如果不是，那按照原始优化问题说的yi(w⋅xi+b)≧1的，这就和你前面说的矛盾了作者回复: 不是误分类点，而是与最优边界生成无关的数据点。边界只取决于距离最近的那几个异类点，离边界较远的都是非支持向量。
2018-11-28
zhoujie线性可分的支持向量机是一个标准的凸二次规划问题，求解起来轻松加随意，既然如此，那么对于线性可分的问题，为何要通过拉格朗日乘子引入它的对偶问题？作者回复: 对偶问题的作用在吴恩达cs229支持向量机note的第13页有说明，你可以看看。求解对偶问题相当于求解拉格朗日乘子alpha，而alpha只在支持向量上有非零取值。同时对偶问题中的内积运算可以用核技巧来处理，这些都可以简化运算。
2018-09-10
ifelse
学习打卡2023-06-03归属地：浙江1- 炁氣气気各向同性不应该是isotropy吗？2022-06-18
- 林彦https://blog.csdn.net/deepinC/article/details/79341632和https://www.cnblogs.com/90zeng/p/Lagrange_duality.html对于理解拉格朗日函数会有一些帮助。2018-07-15