极客时间
21天打卡行动 39/21
<<机器学习40讲/01>>频率视角下的机器学习
今日所学:
1,“概率”（probability）这个基本概念存在着两种解读方式，它们分别对应着概率的频率学派（Frequentist）和贝叶斯学派（Bayesian）;
2,机器学习（machine learning）是一门研究通过计算的手段利用经验来改善系统自身性能的学科;
3,频率学派口中的概率表示的是事件发生频率的极限值，它只有在无限次的独立重复试验之下才有绝对的精确意义;
4,概率是一个确定的值，并不会受单次观察结果的影响。
5,频率统计理论的核心在于认定待估计的参数是固定不变的常量，讨论参数的概率分布是没有意义的；而用来估计参数的数据是随机的变量，每个数据都是参数支配下一次独立重复试验的结果;
6,解释：一方面，根据这些不精确的数据就可以对未知参数的精确取值做出有效的推断；另一方面，数据中包含的只是关于参数不完全的信息，所以从样本估计整体就必然会产生误差。
7,统计学的核⼼任务之一是根据从总体中抽取出的样本，也就是数据来估计未知的总体参数。参数的最优估计可以通过样本数据的分布，也就是采样分布;
8,频率统计最常使用的最优化方法，就是最大似然估计（maximum likelihood estimation）。
9,如何来度量作为随机变量的估计值和作为客观常量的真实值之间的偏差呢？置信区间（confidence interval）就是频率学派给出的答案。
10,置信区间的意义在于划定了真值的取值范围，真实的参数会以一定的概率 α 落入根据样本计算出的置信区间之内;
11,频率主义解决统计问题的基本思路如下：参数是确定的，数据是随机的，利用随机的数据推断确定的参数，得到的结果也是随机的;
12,将频率主义“参数确定，数据随机”的思路应用在机器学习当中，得到的就是统计机器学习;
13,和参数相关的信息全部来源于数据，输出的则是未知参数唯一的估计结果，这是统计机器学习的核心特征。
14,经验风险（empirical risk），用训练数据的经验分布替换掉原始表达式中数据的真实分布;
重点:
1,频率学派认为概率是随机事件发生频率的极限值；
2, 频率学派执行参数估计时，视参数为确定取值，视数据为随机变量；
3,频率学派主要使用最大似然估计法，让数据在给定参数下的似然概率最大化；
4,频率学派对应机器学习中的统计学习，以经验风险最小化作为模型选择的准则。

上代码：python3 安装sympy包，pip install sympy
from sympy import *
# 定义符号p
p = Symbol('p')
L = p**5 * (1-p)**3
# 求导
d_L = diff(L, p)
# 解方程
res = solve(d_L, p)
# res = [0, 5/8, 1]