10 机器学习 | 衍化至繁：逻辑回归

作者回复: 似然概率是由假设正推结果，后验概率是由结果倒推假设。 假如一种产品由不同的工厂ABC生产，每个工厂都有自己的次品率，那么A厂生产的产品占产品总数的比例就是先验概率，A厂自己的次品率就是似然概率。 在一堆产品中抽出一件，检验发现是次品，那这件次品可能来源于ABC中任意的一个厂。已知产品是次品，推断这件次品来自A厂的概率，这就是后验概率。

作者回复: 抛开问题不说，做多分类两种思路：一是所有类别两两配对，就是1v2, 1v3,...,1vN,2v3,2v4,...2vN,3v4,...依此类推；二是每个类别和其他所有类别配对，就是1v其他，2v其他，…Nv其他。第一种模型多，每个模型需要的数据少，第二种相反。 具体到你的问题，我觉得类别太多了，尤其是数据有限时，给500个数据分400个类是没有价值的。所以我认为应该先对类别做优化，当然，能不能行的通还要看实际情况。

作者回复: 在这里没法打出公式，你可以参考维基百科上逻辑回归的页面，或是推荐书目中周老师和李老师教材的相关章节。

作者回复: 逻辑是logistic的音译，logistic函数就是文章里的sigmoid函数，也就是S曲线。

作者回复: 感谢你的火眼金睛，这两个问题都是符号没有统一造成的。 第一个，没有常项b是因为把它看成w的一个分量w_0，并让它和另一个常数x_0=1相乘，但是推导时候这样写又不方便，所以就把b拿出来了； 第二个是个习惯问题，这要归咎于平时书写并不规范，不写底数的log就默认是ln运算。在文章中，所有的运算全是自然对数运算。

作者回复: 这是取决于具体问题的，建议你也把类别数量作为一个变量试一试，看看类别多少时效果比较好。

作者回复: 我认为结合起来才有效果，想办法理解例子是如何应用概念的。

作者回复: 不要被名字欺骗，逻辑回归的输出是离散值哟，离散变量用最小二乘就没意义了。