极客时间
21天打卡行动 8/21
<<人工智能基础课10>>逻辑回归
回答老师问题:
前文对逻辑回归的分析都是在概率理论的基础上完成的。但在二分类任务中，逻辑回归的作用可以视为是在平面直角坐标系上划定一条数据分类的判定边界。那么逻辑回归的作用能不能从几何角度理解，并推广到高维空间呢？
这个问题有点深奥,根据我自身的学习知识,在逻辑回归算法中,如果用几何去表达,显然平面几何是做不到的,以前我老师讲过一个升维的算法,在平面几何不能表达的回归图形中,假设这个图形不是二维的,是多维度的,在多维度的空间中,是能计算和描绘的;
今日所学:Logistic回归(逻辑回归),这个算法本身是解决分类问题的,逻辑回归中，实现这一映射是对数几率函数，也叫 Sigmoid 函数;(Sigmoid函数搜索较大的值,所有值将介于0和1之间),而寻找以上函数的最大值就是以对数似然函数为目标函数的最优化问题，通常通过“梯度下降法”或拟“牛顿法”求解,另外对数似然函数的最大化可以等效为待求模型与最大熵模型之间 KL 散度的最小化。这意味着最优的估计对参数做出的额外假设是最少的，这无疑与最大熵原理不谋而合。
逻辑回归与朴素贝叶斯区别:
1,逻辑回归与线性回归的关系称得上系出同门，与朴素贝叶斯分类的关系则是殊途同归。两者虽然都可以利用条件概率 P(Y|X) 完成分类任务，实现的路径却截然不同。
2,朴素贝叶斯分类器是生成模型的代表，其思想是先由训练数据集估计出输入和输出的联合概率分布，再根据联合概率分布来生成符合条件的输出，P(Y|X) 以后验概率的形式出现。
3,两者的区别在于当朴素贝叶斯分类的模型假设不成立时，逻辑回归和朴素贝叶斯方法通常会学习到不同的结果
4,两者的区别还在于收敛速度的不同;
5,朴素贝叶斯基于少量数据集更有优势
逻辑回归的改进:一种改进方式是通过多次二分类实现多个类别的标记;另一种多分类的方式通过直接修改逻辑回归输出的似然概率，使之适应多分类问题，得到的模型就是 Softmax 回归,Softmax 回归模型的训练与逻辑回归模型类似，都可以转化为通过梯度下降法或者拟牛顿法解决最优化问题。
说明:虽然都能实现多分类的任务，但两种方式的适用范围略有区别。当分类问题的所有类别之间明显互斥，即输出结果只能属于一个类别时，Softmax 分类器是更加高效的选择；当所有类别之间不存在互斥关系，可能有交叉的情况出现时，多个二分类逻辑回归模型就能够得到多个类别的标记。
总结:a,逻辑回归模型是对线性回归的改进，用于解决分类问题；b,逻辑回归输出的是实例属于每个类别的似然概率，似然概率最大的类别就是分类结果；c,在一定条件下，逻辑回归模型与朴素贝叶斯分类器是等价的；d,多分类问题时可以通过多次使用二分类逻辑回归或者使用 Softmax 回归解决。