程序员的数学基础课
黄申
LinkedIn资深数据科学家
立即订阅
23478 人已学习
课程目录
已完结 57 讲
0/4登录后，你可以任选4讲全文学习。
开篇词 (1讲)
开篇词 | 作为程序员，为什么你应该学好数学？
免费
导读 (1讲)
导读：程序员应该怎么学数学？
基础思想篇 (18讲)
01 | 二进制：不了解计算机的源头，你学什么编程
02 | 余数：原来取余操作本身就是个哈希函数
03 | 迭代法：不用编程语言的自带函数，你会如何计算平方根？
04 | 数学归纳法：如何用数学归纳提升代码的运行效率？
05 | 递归（上）：泛化数学归纳，如何将复杂问题简单化？
06 | 递归（下）：分而治之，从归并排序到MapReduce
07 | 排列：如何让计算机学会“田忌赛马”？
08 | 组合：如何让计算机安排世界杯的赛程？
09 | 动态规划（上）：如何实现基于编辑距离的查询推荐？
10 | 动态规划（下）：如何求得状态转移方程并进行编程实现？
11 | 树的深度优先搜索（上）：如何才能高效率地查字典？
12 | 树的深度优先搜索（下）：如何才能高效率地查字典？
13 | 树的广度优先搜索（上）：人际关系的六度理论是真的吗？
14 | 树的广度优先搜索（下）：为什么双向广度优先搜索的效率更高？
15 | 从树到图：如何让计算机学会看地图？
16 | 时间和空间复杂度（上）：优化性能是否只是“纸上谈兵”？
17 | 时间和空间复杂度（下）：如何使用六个法则进行复杂度分析？
18 | 总结课：数据结构、编程语句和基础算法体现了哪些数学思想？
概率统计篇 (14讲)
19 | 概率和统计：编程为什么需要概率和统计？
20 | 概率基础（上）：一篇文章帮你理解随机变量、概率分布和期望值
21 | 概率基础（下）：联合概率、条件概率和贝叶斯法则，这些概率公式究竟能做什么？
22 | 朴素贝叶斯：如何让计算机学会自动分类？
23 | 文本分类：如何区分特定类型的新闻？
24 | 语言模型：如何使用链式法则和马尔科夫假设简化概率模型？
25 | 马尔科夫模型：从PageRank到语音识别，背后是什么模型在支撑？
26 | 信息熵：如何通过几个问题，测出你对应的武侠人物？
27 | 决策树：信息增益、增益比率和基尼指数的运用
28 | 熵、信息增益和卡方：如何寻找关键特征？
29 | 归一化和标准化：各种特征如何综合才是最合理的？
30 | 统计意义（上）：如何通过显著性检验，判断你的A/B测试结果是不是巧合？
31 | 统计意义（下）：如何通过显著性检验，判断你的A/B测试结果是不是巧合？
32 | 概率统计篇答疑和总结：为什么会有欠拟合和过拟合？
线性代数篇 (13讲)
33 | 线性代数：线性代数到底都讲了些什么？
34 | 向量空间模型：如何让计算机理解现实事物之间的关系？
35 | 文本检索：如何让计算机处理自然语言？
36 | 文本聚类：如何过滤冗余的新闻？
37 | 矩阵（上）：如何使用矩阵操作进行PageRank计算？
38 | 矩阵（下）：如何使用矩阵操作进行协同过滤推荐？
39 | 线性回归（上）：如何使用高斯消元求解线性方程组？
40 | 线性回归（中）：如何使用最小二乘法进行直线拟合？
41 | 线性回归（下）：如何使用最小二乘法进行效果验证？
42 | PCA主成分分析（上）：如何利用协方差矩阵来降维？
43 | PCA主成分分析（下）：为什么要计算协方差矩阵的特征值和特征向量？
44 | 奇异值分解：如何挖掘潜在的语义关系？
45 | 线性代数篇答疑和总结：矩阵乘法的几何意义是什么？
综合应用篇 (6讲)
46 | 缓存系统：如何通过哈希表和队列实现高效访问？
47 | 搜索引擎（上）：如何通过倒排索引和向量空间模型，打造一个简单的搜索引擎？
48 | 搜索引擎（下）：如何通过查询的分类，让电商平台的搜索结果更相关？
49 | 推荐系统（上）：如何实现基于相似度的协同过滤？
50 | 推荐系统（下）：如何通过SVD分析用户和物品的矩阵？
51 | 综合应用篇答疑和总结：如何进行个性化用户画像的设计？
加餐 (3讲)
数学专栏课外加餐（一） | 我们为什么需要反码和补码？
数学专栏课外加餐（二） | 位操作的三个应用实例
数学专栏课外加餐（三）：程序员需要读哪些数学书？
结束语 (1讲)
结束语 | 从数学到编程，本身就是一个很长的链条
程序员的数学基础课
登录|注册
29 | 归一化和标准化：各种特征如何综合才是最合理的？
黄申 2019-02-20
你好，我是黄申，今天我来说说特征值的变换。
上一节我讲了如何在众多的特征中，选取更有价值的特征，以提升模型的效率。特征选择是特征工程中的重要步骤，但不是全部。今天，我来说说特征工程中的另一块内容，数值变换。也就是说，我们可以使用统计中的数据分布，对连续型的数值特征进行转换，让多个特征的结合更有效。具体怎么理解呢？我下面就来详细讲一讲。
为什么需要特征变换？
我们在很多机器学习算法中都会使用特征变换。我使用其中一种算法线性回归作为例子，来解释为什么要进行数值型特征的变换。
我们之前介绍的监督式学习会根据某个样本的一系列特征，最后判定它应该属于哪个分类，并给出一个离散的分类标签。除此之外，还有一类监督式学习算法，会根据一系列的特征输入，给出连续的预测值。
举个例子，房地产市场可以根据销售的历史数据，预估待售楼盘在未来的销售情况。如果只是预估卖得“好”还是“不好”，那么这个粒度明显就太粗了。如果我们能做到预估这些房屋的售价，那么这个事情就变得有价值了。想要达成这个预测目的的过程，就需要最基本的因变量连续回归分析。
因变量连续回归的训练和预测，和分类的相应流程大体类似，不过具体采用的技术有一些不同。它采用的是研究一个或多个随机变量 ，，…， 与另一些变量 ，，…， 之间关系的统计方法，又称多重回归分析。
取消
完成
0/1000字
划线
笔记
复制
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
该试读文章来自付费专栏《程序员的数学基础课》，如需阅读全部文章，
请订阅文章所属专栏。
请订阅文章所属专栏。
立即订阅
登录 后留言
精选留言(6)
qinggeouye思考题：
"""
测试数据集 test.csv
测试数据的目标值 submission_example.csv
"""
df_test = pd.read_csv("/Users/qinggeouye/Desktop/GeekTime/MathematicProgrammer/29_featureTrans/test.csv")
expected_test = pd.read_csv("/Users/qinggeouye/Desktop/GeekTime/MathematicProgrammer/29_featureTrans"
"/submission_example.csv")['medv']
# 归一化 预测结果
minMaxScaler_test = MinMaxScaler()
df_test_normalized = minMaxScaler_test.fit_transform(df_test.astype(dtype=float))
df_test_features_normalized = df_test_normalized[:, :]
predicted_normalized = regression_normalized.predict(df_test_features_normalized)
print("归一化预测结果与实际值的均方根误差：%s" % np.sqrt(np.mean((predicted_normalized - expected_test) ** 2)))
# 标准化 预测结果
standardScaler_test = StandardScaler()
standardScaler_test.fit(df_test.astype(dtype=float))
df_test_standardized = standardScaler_test.transform(df_test.astype(dtype=float))
df_test_features_standardized = df_test_standardized[:, :]
predicted_standardized = regression_standardized.predict(df_test_features_standardized)
print("标准化预测结果与实际值的均方根误差：%s" % np.sqrt(np.mean((predicted_standardized - expected_test) ** 2)))
# 预测结果，两种特征转换预测结果相差无几，但与实际值相差较大
归一化预测结果与实际值的均方根误差：22.40003520184502
标准化预测结果与实际值的均方根误差：22.785218713879576作者回复: 确实，线性拟合程度不太好
2019-03-10 2
拉欧标准化和归一化未必能提高模型的准确度，但是会提高可解释性，是不是这个意思？作者回复: 是的。因为有些机器学习算法内部会根据输入数据自动调整值，所以对于算法效果而言，标准化和归一化不一定是必须的。
2019-02-20 1- Paul Shan归一化是按比例变化到［0,1］的区间里。
标准化是假设分布为正态分布，将数据变换为均值为0,方差为1的正态分布。
将所有数据按照统一尺度处理，有利于比较模型中的权重大小。2019-09-13 
阿信特征值处理，能加快收敛速度、降噪、标准化输出，这种好理解。但为什么会影响分析结果作者回复: 这要看具体的处理方式和模型，从处理方式的角度来看，有的时候特征工程可能会去掉一些不重要的特征，就会提升或者降低准确度。从模型的角度而言，有些比如线性回归模型需要量化地解释每个特征的重要程度，那么需要把不同特征统一化
2019-07-05
大熊以前用归一的时候都没考虑噪音的影响，今天get到了，nice作者回复: 很高兴对你有帮助
2019-05-23
Joe之前做机器学习算法的时候，采用特征缩放处理特征，能有效提高学习收敛效果。公式：x’=(x-x_mean)/(xmax-xmin)。不是单纯的归一，也保留了不同类别x之间的权重。作者回复: 也是一种可尝试的方法👍
2019-02-27
收起评论