程序员的数学基础课
黄申
LinkedIn资深数据科学家
立即订阅
23478 人已学习
课程目录
已完结 57 讲
0/4登录后，你可以任选4讲全文学习。
开篇词 (1讲)
开篇词 | 作为程序员，为什么你应该学好数学？
免费
导读 (1讲)
导读：程序员应该怎么学数学？
基础思想篇 (18讲)
01 | 二进制：不了解计算机的源头，你学什么编程
02 | 余数：原来取余操作本身就是个哈希函数
03 | 迭代法：不用编程语言的自带函数，你会如何计算平方根？
04 | 数学归纳法：如何用数学归纳提升代码的运行效率？
05 | 递归（上）：泛化数学归纳，如何将复杂问题简单化？
06 | 递归（下）：分而治之，从归并排序到MapReduce
07 | 排列：如何让计算机学会“田忌赛马”？
08 | 组合：如何让计算机安排世界杯的赛程？
09 | 动态规划（上）：如何实现基于编辑距离的查询推荐？
10 | 动态规划（下）：如何求得状态转移方程并进行编程实现？
11 | 树的深度优先搜索（上）：如何才能高效率地查字典？
12 | 树的深度优先搜索（下）：如何才能高效率地查字典？
13 | 树的广度优先搜索（上）：人际关系的六度理论是真的吗？
14 | 树的广度优先搜索（下）：为什么双向广度优先搜索的效率更高？
15 | 从树到图：如何让计算机学会看地图？
16 | 时间和空间复杂度（上）：优化性能是否只是“纸上谈兵”？
17 | 时间和空间复杂度（下）：如何使用六个法则进行复杂度分析？
18 | 总结课：数据结构、编程语句和基础算法体现了哪些数学思想？
概率统计篇 (14讲)
19 | 概率和统计：编程为什么需要概率和统计？
20 | 概率基础（上）：一篇文章帮你理解随机变量、概率分布和期望值
21 | 概率基础（下）：联合概率、条件概率和贝叶斯法则，这些概率公式究竟能做什么？
22 | 朴素贝叶斯：如何让计算机学会自动分类？
23 | 文本分类：如何区分特定类型的新闻？
24 | 语言模型：如何使用链式法则和马尔科夫假设简化概率模型？
25 | 马尔科夫模型：从PageRank到语音识别，背后是什么模型在支撑？
26 | 信息熵：如何通过几个问题，测出你对应的武侠人物？
27 | 决策树：信息增益、增益比率和基尼指数的运用
28 | 熵、信息增益和卡方：如何寻找关键特征？
29 | 归一化和标准化：各种特征如何综合才是最合理的？
30 | 统计意义（上）：如何通过显著性检验，判断你的A/B测试结果是不是巧合？
31 | 统计意义（下）：如何通过显著性检验，判断你的A/B测试结果是不是巧合？
32 | 概率统计篇答疑和总结：为什么会有欠拟合和过拟合？
线性代数篇 (13讲)
33 | 线性代数：线性代数到底都讲了些什么？
34 | 向量空间模型：如何让计算机理解现实事物之间的关系？
35 | 文本检索：如何让计算机处理自然语言？
36 | 文本聚类：如何过滤冗余的新闻？
37 | 矩阵（上）：如何使用矩阵操作进行PageRank计算？
38 | 矩阵（下）：如何使用矩阵操作进行协同过滤推荐？
39 | 线性回归（上）：如何使用高斯消元求解线性方程组？
40 | 线性回归（中）：如何使用最小二乘法进行直线拟合？
41 | 线性回归（下）：如何使用最小二乘法进行效果验证？
42 | PCA主成分分析（上）：如何利用协方差矩阵来降维？
43 | PCA主成分分析（下）：为什么要计算协方差矩阵的特征值和特征向量？
44 | 奇异值分解：如何挖掘潜在的语义关系？
45 | 线性代数篇答疑和总结：矩阵乘法的几何意义是什么？
综合应用篇 (6讲)
46 | 缓存系统：如何通过哈希表和队列实现高效访问？
47 | 搜索引擎（上）：如何通过倒排索引和向量空间模型，打造一个简单的搜索引擎？
48 | 搜索引擎（下）：如何通过查询的分类，让电商平台的搜索结果更相关？
49 | 推荐系统（上）：如何实现基于相似度的协同过滤？
50 | 推荐系统（下）：如何通过SVD分析用户和物品的矩阵？
51 | 综合应用篇答疑和总结：如何进行个性化用户画像的设计？
加餐 (3讲)
数学专栏课外加餐（一） | 我们为什么需要反码和补码？
数学专栏课外加餐（二） | 位操作的三个应用实例
数学专栏课外加餐（三）：程序员需要读哪些数学书？
结束语 (1讲)
结束语 | 从数学到编程，本身就是一个很长的链条
程序员的数学基础课
登录|注册
23 | 文本分类：如何区分特定类型的新闻？
黄申 2019-02-06
你好，我是黄申。
你平时应该见过手机 App 推送的新闻吧？你有没有觉得这些 App 的推荐算法很神奇？它们竟然可以根据你的喜好来推荐新闻。想要实现这些推荐算法，有一个非常重要的步骤就是给新闻分类。可是，新闻头条这种综合性的平台，需要处理的新闻都是海量的，我们不可能完全靠人工手动处理这些事情。这个时候，我们就要用到计算机技术，来对文本进行自动分类。
上一节，我给你介绍了如何利用朴素贝叶斯方法，教会计算机进行最基本的水果分类。基于水果分类，今天我们继续深入分类这个话题，告诉你如何利用自然语言处理和朴素贝叶斯方法，对新闻这种长篇文本进行分类。
文本分类系统的基本框架
想要实现一个完整的文本分类系统，我们通常需要进行这些步骤：
1. 采集训练样本
对于每个数据对象，我们必须告诉计算机，它属于哪个分类。上一节的水果案例里，我们给每个水果打上“苹果”“甜橙”和“西瓜”的标签，这就是采集训练样本。
同样，我们可以给每一篇新闻打上标签，也就是说，我们首先要分辨某条新闻是什么类型的，比如是政治的、军事的、财经的、体育的，还是娱乐的等等。这一点非常关键，因为分类标签就相当于计算机所要学习的标准答案，其质量高低直接决定了计算机的分类效果。此外，我们也可以在一开始就预留一些训练样本，专门用于测试分类的效果。
取消
完成
0/1000字
划线
笔记
复制
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
该试读文章来自付费专栏《程序员的数学基础课》，如需阅读全部文章，
请订阅文章所属专栏。
请订阅文章所属专栏。
立即订阅
登录 后留言
精选留言(14)
冰冷的梦老师，我觉得这个p(c|fi,fj) = p(c|fi) * p(c|fj)怪怪的，这个是怎么推导的啊？作者回复: 这里是假设f1和f2相互独立，所以有p(c|f1,f2)=p(c,f1,f2)/(p(f1,f2))=(p(c,f1)p(c,f2))/(p(f1)p(f2))=p(c|f1)p(c|f2)
2019-03-07 9- 冰冷的梦老师，上一个问题是基于这个“这里是假设f1和f2相互独立，所以有p(c|f1,f2)=p(c,f1,f2)/(p(f1,f2))=(p(c,f1)p(c,f2))/(p(f1)p(f2))=p(c|f1)p(c|f2)”，中间的等式：p(c,f1,f2)/(p(f1,f2))=(p(c,f1)p(c,f2))/(p(f1)p(f2))这个等式成立的话我理解的是p(c,f1,f2) = p(c,f1)*p(c,f2)应该是成立的，这个是怎么推导的？
作者回复: 你可以这么理解，如果f1和f2独立，那么f1不会影响f2的概率分布，包括联合概率p(c,f)和条件概率p(c|f)
2019-03-12 2 
qinggeouyeP(政治|美国电影)
= P(政治|美国) · P(政治|电影)
= [ P(美国|政治) · P(政治) / P(美国) ] · [ P(电影|政治) · P(政治) / P(电影) ]
= [ 0.0028% · 20% / 0.0028% ] · [ ... · 20% / 0.0032% ]
“美国电影”属于其它文本分类同理。作者回复: 是的👌
2019-03-04 2
gaoch有没有代码实现方法可以参考的？作者回复: 一般Python或者Spark的机器学习包都有这类的实现，你可以参考。你也可以按照本文的思路实现一个基本版本
2019-10-28 1- 阿敏叔叔老师，请问如果采用神经网络的方法来实现NLP的话，先使用词嵌入Word2Vec将文本转换为词向量，再将向量送入神经网络如RNN或LSTM，输出端即可得到文本的分类和提取的关键属性，进而用于后续的问题匹配或语义搜索了，不理解是否到位？
作者回复: 大意是对的，WordVec主要是发掘词之间的语义关系，这个我找机会补上
2019-09-24 1 
zhaimy第一张表的先验概率应该是词频/总词频，而不是数量相除吧？比如政治，应该是726898/2837891，而非20%作者回复: 第一张表是指分类出现的概率，因此是以文章为单位来计算的。
2019-02-15 1
老师，可能我太菜，不会算。也许不是直接带公式吧。比如P(美国|军事），根据条件概率公式=P(美国*军事)/P(军事)。我不知道美国和军事是否应该看做独立。我就算了第一个P(政治|美国电影)，那个P(电影|政治)我取了第三个表中出现政治所有概率求和取平均值。算的0.07125%作者回复: 嗯，以此类推到其他类就可以了
2019-02-06 1
南边文章分类的例子，有两个独立性假设，一个是朴素贝叶斯算法，针对文章分类概率和单词词频概率两个维度的独立性假设，另一个是在自然语言处理阶段，对每个单词的独立性假设，这两种假设都简化了算法的复杂性，虽然如果单词量很多的话，计算量也不小，但是相对有联动的概率影响情况，已经好很多了作者回复: 没错
2019-11-28
Ray请教一下，中文 NLP 除了 jieba 之外还有其他好的分词工具推荐吗？作者回复: 有好几款，包括中科院出的，上网可以查到一些。不过没有一款最好的，各有优劣
2019-11-19
💢 星星💢老师可以举个例子说明一下小数的log变换么。我在上一篇文章也看到老师说了这句话。但是我不得要领。也希望知道的同学帮我解答一下。作者回复: 你好，具体是小数变化的哪里不懂？
2019-11-06 2
RonnyzP(政治|美国电影)=P(政治|美国，电影)=P(政治|美国)*P(政治|电影)
=[P(美国|政治)*P(政治)/P(美国)]*[P(电影|政治)*P(政治)/P(电影)]2019-10-09- Paul Shan文章的分类是基于文中的单词信息，可以看作是单词对分类的投票，某一分类的单词越多，属于这个分类的可能性越大。为了达成这个目标，先得把文章分词统计，这是分离出单词并分类单词的过程，这一步统计出来各类文章出现的概率和每类文章的各种单词出现的概率，有了这两类数据，就可以计算出单词和分类的联合概率，有了联合概率就可以求出每个单词为条件，判断文章类别的概率。假定单词是独立的，每个单词就为类别投票，得票多的类别胜出。这里的得票是独立的条件概率，不是求和运算而是乘积，可以用对数的方法处理，这样即避免了概率过小的问题，也把乘法简化为加法，同时还保证了相对大小不变。2019-09-03
Jeson很好，看其他材料都没提分类结果是个相对值，这里还提了原因，最后还要进行一个归一化处理吧作者回复: 是的，为了可比较，通常还可以进行归一化
2019-04-11- 冰冷的梦p(c,f1,f2) = p(c,f1)*p(c,f2)这两个相等是怎么推出来的？
作者回复: 我想你说的是p(c|f1,f2) = p(c|f1)*p(c|f2) ？
2019-03-08
收起评论