程序员的数学基础课
黄申
LinkedIn资深数据科学家
立即订阅
23478 人已学习
课程目录
已完结 57 讲
0/4登录后,你可以任选4讲全文学习。
开篇词 (1讲)
开篇词 | 作为程序员,为什么你应该学好数学?
免费
导读 (1讲)
导读:程序员应该怎么学数学?
基础思想篇 (18讲)
01 | 二进制:不了解计算机的源头,你学什么编程
02 | 余数:原来取余操作本身就是个哈希函数
03 | 迭代法:不用编程语言的自带函数,你会如何计算平方根?
04 | 数学归纳法:如何用数学归纳提升代码的运行效率?
05 | 递归(上):泛化数学归纳,如何将复杂问题简单化?
06 | 递归(下):分而治之,从归并排序到MapReduce
07 | 排列:如何让计算机学会“田忌赛马”?
08 | 组合:如何让计算机安排世界杯的赛程?
09 | 动态规划(上):如何实现基于编辑距离的查询推荐?
10 | 动态规划(下):如何求得状态转移方程并进行编程实现?
11 | 树的深度优先搜索(上):如何才能高效率地查字典?
12 | 树的深度优先搜索(下):如何才能高效率地查字典?
13 | 树的广度优先搜索(上):人际关系的六度理论是真的吗?
14 | 树的广度优先搜索(下):为什么双向广度优先搜索的效率更高?
15 | 从树到图:如何让计算机学会看地图?
16 | 时间和空间复杂度(上):优化性能是否只是“纸上谈兵”?
17 | 时间和空间复杂度(下):如何使用六个法则进行复杂度分析?
18 | 总结课:数据结构、编程语句和基础算法体现了哪些数学思想?
概率统计篇 (14讲)
19 | 概率和统计:编程为什么需要概率和统计?
20 | 概率基础(上):一篇文章帮你理解随机变量、概率分布和期望值
21 | 概率基础(下):联合概率、条件概率和贝叶斯法则,这些概率公式究竟能做什么?
22 | 朴素贝叶斯:如何让计算机学会自动分类?
23 | 文本分类:如何区分特定类型的新闻?
24 | 语言模型:如何使用链式法则和马尔科夫假设简化概率模型?
25 | 马尔科夫模型:从PageRank到语音识别,背后是什么模型在支撑?
26 | 信息熵:如何通过几个问题,测出你对应的武侠人物?
27 | 决策树:信息增益、增益比率和基尼指数的运用
28 | 熵、信息增益和卡方:如何寻找关键特征?
29 | 归一化和标准化:各种特征如何综合才是最合理的?
30 | 统计意义(上):如何通过显著性检验,判断你的A/B测试结果是不是巧合?
31 | 统计意义(下):如何通过显著性检验,判断你的A/B测试结果是不是巧合?
32 | 概率统计篇答疑和总结:为什么会有欠拟合和过拟合?
线性代数篇 (13讲)
33 | 线性代数:线性代数到底都讲了些什么?
34 | 向量空间模型:如何让计算机理解现实事物之间的关系?
35 | 文本检索:如何让计算机处理自然语言?
36 | 文本聚类:如何过滤冗余的新闻?
37 | 矩阵(上):如何使用矩阵操作进行PageRank计算?
38 | 矩阵(下):如何使用矩阵操作进行协同过滤推荐?
39 | 线性回归(上):如何使用高斯消元求解线性方程组?
40 | 线性回归(中):如何使用最小二乘法进行直线拟合?
41 | 线性回归(下):如何使用最小二乘法进行效果验证?
42 | PCA主成分分析(上):如何利用协方差矩阵来降维?
43 | PCA主成分分析(下):为什么要计算协方差矩阵的特征值和特征向量?
44 | 奇异值分解:如何挖掘潜在的语义关系?
45 | 线性代数篇答疑和总结:矩阵乘法的几何意义是什么?
综合应用篇 (6讲)
46 | 缓存系统:如何通过哈希表和队列实现高效访问?
47 | 搜索引擎(上):如何通过倒排索引和向量空间模型,打造一个简单的搜索引擎?
48 | 搜索引擎(下):如何通过查询的分类,让电商平台的搜索结果更相关?
49 | 推荐系统(上):如何实现基于相似度的协同过滤?
50 | 推荐系统(下):如何通过SVD分析用户和物品的矩阵?
51 | 综合应用篇答疑和总结:如何进行个性化用户画像的设计?
加餐 (3讲)
数学专栏课外加餐(一) | 我们为什么需要反码和补码?
数学专栏课外加餐(二) | 位操作的三个应用实例
数学专栏课外加餐(三):程序员需要读哪些数学书?
结束语 (1讲)
结束语 | 从数学到编程,本身就是一个很长的链条
程序员的数学基础课
登录|注册

26 | 信息熵:如何通过几个问题,测出你对应的武侠人物?

黄申 2019-02-13
你好,我是黄申。
之前和你聊了概率在朴素贝叶斯分类算法中的应用。其实,概率在很多像信息论这样的应用数学领域都有广泛的应用。信息论最初就是运用概率和统计的方法,来研究信息传递的。最近几十年,人们逐步开始使用信息论的概念和思想,来描述机器学习领域中的概率分布,并衡量概率分布之间的相似性。随之而来的是,人们发明了不少相关的机器学习算法。所以接下来的几节,我来介绍一些基于信息论知识的内容。
信息论的概念比较枯燥,为了让你更轻松地学习,让我从一个生动的案例开始。最近我在朋友圈看到一个小游戏,叫“测一测你是金庸笔下的哪个人物?”。玩这个游戏的步骤是,先做几道题,然后根据你的答案,生成对应的结果。下面是我几位朋友答题之后得到的结果。
这种测试挺好玩的,而且好像有很多类似的,比如测星座啊、测运势啊等等。那你知道这种心理或者性格测试的题目是怎么设计的吗?
通常,这种心理测试会有一个题库,包含了许多小题目,也就是从不同的方面,来测试人的性格。不过,针对特定的测试目标,我们可能没必要让被测者回答所有的问题。那么,问卷设计者应该如何选择合适的题目,才能在读者回答尽量少的问题的同时,相对准确地测出自己是什么“性格”呢?这里,我们就需要引入基于概率分布的信息熵的概念,来解决这个问题。
取消
完成
0/1000字
划线
笔记
复制
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
该试读文章来自付费专栏《程序员的数学基础课》,如需阅读全部文章,
请订阅文章所属专栏。
立即订阅
登录 后留言

精选留言(17)

  • qinggeouye
    1、事件发生的概率 P(x) 越小,包含的信息量 H(x) 越大;
    2、两个不相关的事件 x 、y,同时发生的信息量 H(x,y) 等于这两个事件分别发生时的信息量 H(x) 、H(y) 之和;
    3、信息熵 Entropy(x) 是信息量 H(x) 的加权平均,即信息量的期望;
    4、信息增益等于集合元素划分前的信息熵减去划分后的信息熵;划分后的信息熵等于各个分组的信息熵的加权平均;

    思考题:64*(-1)*(1/64)*log(1/64) = 6 , (对数底数取 2)。

    作者回复: 理解正确

    2019-03-06
    13
  • 蒋宏伟
    信息熵是衡量信息简单、纯净或复杂、混乱的标尺。人类必须将事务抽象为信息才能进行理解。事物的信息熵越小越容易理解,越大越难理解。
    写好代码的本质,就是降低程序信息熵
    。作用域、模块、组件、微服务、文档、注释是在不同的纬度,降低信息熵的工具。

    作者回复: 这是个很新颖的角度来理解信息熵

    2019-02-20
    5
  • 刘杰
    这个是我读过最好的信息论概念的解释!

    作者回复: 感谢支持,后面我会继续努力深入浅出

    2019-02-20
    4
  • 拉欧
    2的6次方是64,所以是6

    作者回复: 正确

    2019-02-13
    4
  • 大秦岭
    经过各学者多年的探究和各种语言的统计,得出一个结果,汉语是世界上信息熵最大的语言。那么这个信息熵是 什么?信息熵指的就是可能发生的所有事情中包含的信息期望值,比如鸟不能生活在水中,违背自然常理,那么信息熵为0.

    作者回复: 这可能也是为什么汉语这么难学的原因吧😆

    2019-06-19
    1
  • so敏仪
    设某集合含n个互不相同的元素,则Entropy(P)=-n * 1/n * log(1/n,2)=log(n,2)
    2019-11-16
  • Ronnyz
    64*-1*(1/64)*log(1/64,2)=6
    由于是64等分,相当于2^6=64

    作者回复: 是的

    2019-10-11
  • Paul Shan
    熵是事件概率负对数的加权和。如果把负对数看作搜索一个元素的难度,也就是二分查找树对应叶子节点的高度,熵就是这些叶子节点高度的加权和。

    熵可以看作负信息,熵的减少就是信息的增加。信息增益就是熵减少的一种。

    信息增益就是对集合进行划分,计算划分后子集的熵,然后再对子集的熵做加权平均,这个时候的熵会小于原来集合,减少的熵就是对应的信息增益。
    2019-09-09
  • Paul Shan
    思考题
    64个等概率出现的事件集合的熵是6,如果把0到63,这六十四个数看作6位二进制能表示的状态个数,熵就是最大数为64-1的二进制位数。
    2019-09-09
  • Paul Shan
    老师,我推导了一下独立事件熵的公式和文中不一样,不知道哪一步有问题?多谢!
    H(x,y) = -P(x,y)lgP(x,y) = -P(x)P(y)lg(P(x)P(y)) =H(x)P(y) + H(y)P(x)

    作者回复: 这篇讲座暂时还没有设计独立事件的熵计算

    2019-09-09
  • 张九州
    总信息量减少 为什么叫做增益呢?不太理解

    作者回复: 虽然信息量减少了,但是对分类这个应用而言,增加了分组内的纯净度,算是“增益”(英文Gain,也可以理解为获益)了

    2019-09-07
  • 事情发生的概率越大,产生的信息量越小;事情发生的概率越小,产生的信息量越大。
    这个应该怎么理解呢

    作者回复: 举个形象的例子,比如说最近本地区天天下雨,如果明天仍然有很高的概率会下雨,我告诉你“明天下雨”,你就觉得这个信息量不大,因为即使我不说,你也知道明天会下雨,也会带雨伞出门。如果本地区几十年以来从未下过雪,我告诉你“明天要下雪”,那么这个对你来说,这是个极低概率的事件,你没有想到它会发生,这句话包含了很大的信息量,它可能会改变你明天出门的行为,比如买一双防滑靴以备出门之用。

    2019-08-17
    1
  • 予悠悠
    -1 * 64 * (1/64) * log(64, 2) = 6
    2019-05-25
  • zhengnachuan
    如果只是为了增加增益,其实可以细分到最小,但是实际上应该是要考虑其他维度的吧,例如分组的次数,即在固定次数下的最大增益。
    另外,有点疑惑,假设为了获得最大增益,n个元素分为n组,是不是表示就需要有n个条件能一次进行区分。以开始的人物区分为例,这个条件应该怎么给呢,是不是要重新设计独有的特征。

    作者回复: 如果决策树是用于分类的,没有必要细分到每一个样本,我们只需要确保划分后,每一组里所有的样本都属于同一个分类,那么就很完美了。如果细分到每个样本,就是过拟合了。

    2019-03-23
  • mickey
    信息熵的公式是H(x)=−log(P(x),2)
    文中熵为 -100%*log(100%, 2) = 0
    请问第一个 100% 怎么来的?少了一个 P(x)吧。

    作者回复: H(x)=−log(P(x),2),这里是指单个变量取值时候获得的信息量

    2019-02-21
  • acheng
    信息熵的另一个别名:信息的不确定性。
    2019-02-21
  • 蒋宏伟
    信息熵是衡量信息简单或复杂的标尺。你要想理解什么东西,必须先将其抽象为信息。事物的信息熵越小你越容易理解,越大越难理解。
    写好代码的本质,就是降低程序的信息熵。作用域、模块、组件、微服务、注释、文档是在不同纬度降低信息熵的工具。
    2019-02-20
收起评论
17
返回
顶部