从 0 开始学大数据
李智慧
同程艺龙交通首席架构师,前 Intel 大数据架构师,《大型网站技术架构》作者
71151 人已学习
新⼈⾸单¥68
登录后,你可以任选4讲全文学习
课程目录
已完结/共 47 讲
智慧写给你的寄语 (1讲)
从 0 开始学大数据
15
15
1.0x
00:00/00:00
登录|注册

40 | 机器学习的数学原理是什么?

结构风险
经验风险
损失函数
寻找最优函数的过程
模型的参数空间
模型的假设空间
样本数量和质量对机器学习的影响
样本表示
算法
模型
样本
大数据、机器学习、人工智能的关系
作者对机器学习的理解
作者的领悟
作者的大学经历
机器学习的数学原理小结
机器学习系统的构建要素
人工智能与大数据的关系
人工智能与机器学习的关系
思考题
作者的故事
机器学习的数学原理是什么?

该思维导图由 AI 生成,仅供参考

最近几年,人工智能(AI)的风头俨然已经盖过大数据,成为各大互联网公司争相追捧的新“风口”。但当我们谈论人工智能时我们到底在谈什么?人工智能跟机器学习有什么关系?跟大数据又有什么关系?“高大上”的机器学习背后的数学原理是什么?
所谓的人工智能,在技术层面很多时候就是指机器学习,通过选择特定的算法对样本数据进行计算,获得一个计算模型,并利用这个模型,对以前未曾见过的数据进行预测。如果这个预测在一定程度上和事实相符,我们就认为机器像人一样具有某种智能,即人工智能。
这个过程和人类的学习成长非常类似,也是经历一些事情(获得样本数据),进行分析总结(寻找算法),产生经验(产生模型),然后利用经验(模型)指导自己的日常行为。
机器学习的完整过程也是如此,利用样本数据经过算法训练得到模型,这个模型会和预测系统部署在一起,当外部需要预测的数据到达预测系统的时候,预测系统调用模型,就可以立即计算出预测结果。
因此,构建一个机器学习系统,需要有三个关键要素:样本、模型、算法。

样本

样本就是通常我们常说的“训练数据”,包括输入和结果两部分。比如我们要做一个自动化新闻分类的机器学习系统,对于采集的每一篇新闻,能够自动发送到对应新闻分类频道里面,比如体育、军事、财经等。这时候我们就需要批量的新闻和其对应的分类类别作为训练数据。通常随机选取一批现成的新闻素材就可以,但是分类需要人手工进行标注,也就是需要有人阅读每篇新闻,根据其内容打上对应的分类标签。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 中文繁体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
    • 阿拉伯语
  • 解释
  • 总结

机器学习的数学原理是通过样本、模型和算法来寻找最优函数表达式,以实现结构风险最小化。本文详细解释了这些关键要素的数学表示和作用,以及如何评估模型的损失函数和防止过拟合。文章还分享了作者的故事,强调了对数学原理的理解对于机器学习的重要性。作者以自己的经历为例,说明了对于技术知识的深入理解的重要性。此外,文章还提出了思考题,探讨了大数据、机器学习和人工智能之间的关系。通过本文,读者可以快速了解机器学习的数学原理及其在实际应用中的重要性,以及对于技术知识的深入理解的重要性。

仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《从 0 开始学大数据》
新⼈⾸单¥68
立即购买
登录 后留言

全部留言(15)

  • 最新
  • 精选
  • 纯洁的憎恶
    大数据是高效处理海里数据的解决方案。机器学习是基于统计学等数学原理,通过机器计算逻辑,实现识别、分类、预测等目的的算法。人工智能是通过大数据技术,在工程上把机器学习算法变成现实,进而让机器具备类似人类智慧,某些方面甚至远高于人类智慧的复杂认知能力。

    作者回复: 👍

    2019-01-29
    49
  • Hyun
    那两页书,在《雪山飞狐》的剧情中也出现过。读了四页《胡家刀法》的游医,转身成了独霸一方的江洋大盗。遇到对的老师,对的读物,绝对可以少走很多弯路。

    作者回复: 👍

    2019-01-29
    22
  • 张闯
    之前读了几课就落下了。 昨天早上到现在,除了吃饭睡觉,从第一课开始一口气读完。对大数据技术甚至人工智能技术的全貌和原理有了清晰的理解。 谢谢智慧哥。

    作者回复: 👍

    2019-04-05
    8
  • Twogou27
    老师想问一下模型类型是手动确定的还是可以机器自动识别确定?在数据维度多的时候感觉很难确定是线性,还是指数,或者曲线?

    作者回复: 选择模型算法就是算法工程师的工作,一般有行业经验参考,没有就要自己思考、尝试了。

    2019-01-29
    3
  • Jack
    对算法的概念有些模糊 1. 模型是通过算法从样板数据得到的 2. 算法又从模型空间里面找到最优模型 请问这两类算法有区别吗?
    2019-02-26
    4
  • hallo128
    大数据:针对大规模数据的存储和计算,强调框架搭建和编程实现。偏向计算机实现。 机器学习:以底层算法的深入理解,能按问题选择合适的算法并作出一定的改进。偏向理论研究优化。 人工智能:结合机器学习算法,面向现在的大数据环境,实现智能交互。包含前两者,但还涉及其他更多的内容。就现在来说,离真正的人工智能还是比较远,现在的各种算法实现还不足以攀登真正的人工智能。
    2019-01-29
    4
  • 阅过留痕 其他都没记住,就记得钱学森和温少了,哈哈,在家重新看了一遍倚天屠龙记,张无忌练乾坤大挪移七层只在片刻,杨逍到第二层确花了数十年,有点扯不过好老师好书确实能让人脱胎换骨,而且速度很快。 钱学森是个传奇人物国家的脊梁,我也要看看他的书😊
    2020-02-11
    3
  • RussellSN
    看到作者大学经历那一节,顺便说一下。大学教科书的内容偏严谨。这种严谨需要老师来给学生带来场景和直观感,如果照本宣科,就是作者的经历,只有少数联想丰富的同学能找到自己的直观感。
    2019-07-03
    1
  • 小谢同学
    看到这个专栏从大数据概念讲到了AI,我虽不是从事研发岗位,但从项目交付及实际应用的角度来看,大部分AI项目主要是利用到了分布式存储环境以及任务调度框架这两个核心模块,具体说就比如hdfs存储各种数据集合,yarn来做训练或预测任务的调度执行,也有直接用k8s来对接的,请老师指正
    2019-03-05
    1
  • piboye
    老师干脆推荐些好书呗😂
    2022-01-14
收起评论
显示
设置
留言
15
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部