从 0 开始学大数据
李智慧
同程艺龙交通首席架构师,前 Intel 大数据架构师,《大型网站技术架构》作者
71151 人已学习
新⼈⾸单¥68
登录后,你可以任选4讲全文学习
课程目录
已完结/共 47 讲
智慧写给你的寄语 (1讲)
从 0 开始学大数据
15
15
1.0x
00:00/00:00
登录|注册

预习 02 | 大数据应用发展史:从搜索引擎到人工智能

语音聊天机器人
AlphaGo
六度分隔理论
Hive
Hadoop
MapReduce大数据计算框架
GFS(Google文件系统)
人工智能AI
机器学习
社交软件
用户画像
关联推荐
关联分析
Facebook
Yahoo
Google
思考题
机器学习时代
数据挖掘时代
数据仓库时代
搜索引擎时代
大数据应用

该思维导图由 AI 生成,仅供参考

上一期我们聊了大数据技术的发展历程,事实上,我们对大数据技术的使用同样也经历了一个发展过程。从最开始的 Google 在搜索引擎中开始使用大数据技术,到现在无处不在的各种人工智能应用,伴随着大数据技术的发展,大数据应用也从曲高和寡走到了今天的遍地开花。
Google 从最开始发表大数据划时代论文的时候,也许自己也没有想到,自己开启了一个大数据的新时代。今天大数据和人工智能的种种成就,离不开全球数百万大数据从业者的努力,这其中也包括你和我。历史也许由天才开启,但终究还是由人民创造,作为大数据时代的参与者,我们正在创造历史。

大数据应用的搜索引擎时代

作为全球最大的搜索引擎公司,Google 也是我们公认的大数据鼻祖,它存储着全世界几乎所有可访问的网页,数目可能超过万亿规模,全部存储起来大约需要数万块磁盘。为了将这些文件存储起来,Google 开发了 GFS(Google 文件系统),将数千台服务器上的数万块磁盘统一管理起来,然后当作一个文件系统,统一存储所有这些网页文件
你可能会觉得,如果只是简单地将所有网页存储起来,好像也没什么太了不起的。没错,但是 Google 得到这些网页文件是要构建搜索引擎,需要对所有文件中的单词进行词频统计,然后根据 PageRank 算法计算网页排名。这中间,Google 需要对这数万块磁盘上的文件进行计算处理,这听上去就很了不起了吧。当然,也正是基于这些需求,Google 又开发了 MapReduce 大数据计算框架。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 中文繁体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
    • 阿拉伯语
  • 解释
  • 总结

大数据技术的发展历程展现了其在不同时代的应用和影响。从搜索引擎到人工智能,大数据技术的进步推动了企业数据分析的深入,并为人工智能的发展奠定了基础。随着大数据进入更多企业,数据挖掘时代的到来,大数据不仅可以进行统计分析,还可以发掘数据的更多价值,如商品关联分析、用户画像和人际关系挖掘。这些技术的发展和应用,不仅推动了企业数据分析的深入,也为人工智能的发展奠定了基础。大数据技术的不断进步,将继续影响着我们的生活和工作。 文章介绍了大数据应用的机器学习时代,强调了数据中蕴藏的规律,并探讨了机器学习在不同领域的应用。通过统计历史数据的规律进行机器学习,可以实现诸如无人驾驶、量化交易系统等应用。文章指出,大数据应用就是从数据中发掘有商业价值的真金白银,而大数据技术目前正在解决如何从庞大的数据中发掘出所需知识价值的问题。 总的来说,大数据技术的发展为我们展现了大数据技术的发展历程和应用前景,以及大数据在不同领域的应用。同时,文章也引发了对于机器学习在不同领域的思考和讨论。

仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《从 0 开始学大数据》
新⼈⾸单¥68
立即购买
登录 后留言

全部留言(109)

  • 最新
  • 精选
  • 小千
    置顶
    啤酒与尿布这个经典案例广为流传,但是我专门咨询了沃尔玛超市的人员,他表示这个案例是虚构的,是当年ibm为了卖天价解决方案而编出来的。 实际上,我专门去考察了不下100个超市,没有一家把啤酒喝尿布放在一起。数据挖掘如何在传统企业落地,是非常艰难复杂的过程。

    作者回复: 刚刚在京东沃尔玛旗舰店搜啤酒,哈尔滨啤酒详情页下方推荐六件商品,两件尿不湿。 传统零售商没有很好的货架策略摆放关联商品,这可能也是传统零售商没落的一个原因。

    2018-11-02
    13
    84
  • Shy🍓
    统计大家p图的参数进行智能美颜

    作者回复: 赞

    2018-11-01
    102
  • 想飞就飞
    未来的软件开发不再是需求-分析-设计-实现的确定性过程,而是定义问题和目标,收集数据,提供数据,再由神经网络不断探索最优解的非确定性过程。

    作者回复: 赞

    2018-11-15
    53
  • 虎虎❤️
    人工智能超过人类智能不要太简单。。。人类受人工智能/算法支配的例子也比比皆是。比如曾经有新闻表示,有人跟随地图智能导航,把车开进海里的。随着智能的发展,你我可能会因为习惯或者依赖智能的服务,而丧失了某些能力。比如自动驾驶出现可能会导致没人会开车了。这等于把命交给了智能,毕竟算法会替你决定撞别人(一群幼童)还是牺牲自己。对于人工智能是否会统治人类,以现在对人工智能的理解,应该还没有这个可能。但是,在商业驱动而非理性驱动的模式下,给人类能带来怎样的影响并不明晰。如果数据和算法最终只掌握在某些少数精英的手中,仅服从于他们的意志。那么我们可能会被少数人,以人工智能进行统治和支配。 哈哈,这些讨论不是课程的重点,但是也挺有意思的。

    作者回复: 有道理,非机械方式运作的AI,不能机械地下结论。

    2018-11-01
    3
    49
  • 贾洵
    上一代互联网革命是电脑时代,是人找物,即搜索。下一代互联网革命是移动时代,是物找人,即推荐。必然离不开大数据与人工智能相结合。所以任何时候学习都不算晚

    作者回复: 确实如此

    2018-11-02
    21
  • 之前用过一款应用 微软识花,由微软亚洲研究院和中科院植物研究所合作开发,据说研究了植物所提供的几百万张花的照片,对机器识别模型进行训练,才达到拍张照就可以识别花,了解花的详细介绍。

    作者回复: 👍🏻

    2018-11-02
    2
    18
  • 小千
    传统零售,货架摆放不可能像互联网页面一样做到对每个消费者实时调整。只能把所有消费者看做是一个整体来处理。对于大多数人来说,把啤酒喝尿布放在一起并不能促进购买欲 还是举啤酒喝尿布的例子,我刚才在京东搜索啤酒,给我推荐是垃圾袋,和给你推荐的尿布不同。这就是互联网做产品展示优于传统零售的地方,传统零售不可能来一个人就把尿布换成垃圾袋的,哈哈。 互联网零售比传统零售领先整整一代,就像火枪领先冷兵器,虽然火枪刚诞生的时候有这样那样的问题,但是火枪终究是火枪。

    作者回复: 对

    2018-11-05
    7
  • 兔子不听话
    听一个清华教授的演讲其中对人工智能的寄语,挺好的,她说“人工智能对人类不是replace,而是be a partner”。 大数据,人工智能确实给我们现代生活带来了很多遍历,但很多地方也侵入生活太深,头条的智能推荐阅读,淘宝小红书的推荐购物,有些时候反而有点适得其反让我们陷入到人工智能给我们的范围和圈子中,限制了我们思维,它们拼命推荐给我们喜欢和想要看到的东西,可能我们的兴趣圈子越来越局限。

    作者回复: 是的,这也是各类推荐系统需要克服的缺点,也有各种尝试

    2018-11-05
    5
    7
  • yaw
    我觉得把正确的合理的算法理论用于便捷生活,即使人的主导地位下降了,但是社会还是在进步中。说到底人只是存在于地球上的一个物种,过分的追求人的主宰地位会导致技术、社会发展遇到瓶颈,世界还是需要一些开创先河的人物。

    作者回复: 境界太高👍🏻

    2018-11-02
    7
  • 会飞的鱼
    这样的技术也可以用在医疗领域上,通过对病人病例的统计,得到最理想的特征相关关系,从而得出最可能的病情

    作者回复: 是的

    2018-11-03
    2
    6
收起评论
显示
设置
留言
99+
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部