检索技术核心 20 讲
陈东
前数禾科技 CTO,前奇虎 360 商业化资深总监
21492 人已学习
新⼈⾸单¥59
登录后,你可以任选4讲全文学习
课程目录
已完结/共 29 讲
检索技术核心 20 讲
15
15
1.0x
00:00/07:55
登录|注册

结束语 | 成长和进化,技术如此,我们亦如此

讲述:陈东大小:7.24M时长:07:55
探索与进化是成长的终极密码
学习之路没有终点
不断从海量信息中汲取新知识
构建自己的知识体系
学习与成长如同爬台阶
AI时代的深度学习结合检索系统
移动互联网时代的地理位置服务
互联网时代的大数据处理与搜索引擎
IT技术的兴起与数据库系统
文字的出现与书的目录索引
时代的发展与个人认知的进化
构建自己的思维检索引擎
信息泛滥的时代
高效检索信息的重要性
信息的产生速度与互联网的普及
信息是构成世界的重要维度
学习之路的延续
个人认知的进化
检索技术的发展历程
信息时代的挑战与机遇
信息的重要性
结束语

该思维导图由 AI 生成,仅供参考

你好,我是陈东。今天,我们走到了这个专栏的最后一个篇章。
一起学习的五十多个日夜,我们从熟悉的数组和链表开始,学到了搜索引擎、广告引擎以及推荐引擎。这就像一场长途跋涉,一路上景色不停切换,不变的,是我们探索这个信息世界的好奇心。
在我看来,信息是构成世界的一个重要维度。实际上,人类文明的开始,就是以拥有了语言和文字为标志的。因为语言和文字的出现,才使得信息可以被记录和传播,文明得以传承和发展。
而随着 IT 技术的发展,信息的产生速度也越来越快。有报告说,现在 18 个月产生的信息比过去 5000 年产生的信息总量还大。并且,随着互联网的普及和发展,最近每年的信息增长率达到了 50% 以上。我们可以预见 5G 普及之后的未来,信息生产的速度只会越来越快。那么,这么多的信息都有用吗?我觉得不见得。当信息变得庞杂了以后,相应地,信息的含金量就变低了。只有高效地将信息进行检索和提炼,才能取出我们需要的信息,这样的信息才是最有价值的。
在专栏中,我们提到的许多系统都为了“如何高效检索信息”这个基础却又终极的问题,做了精心的设计,从而帮助我们高效地处理信息。系统如此,人亦是如此
在信息泛滥的时代,每个人都有大量的渠道可以接触到大量的信息。如果不进行筛选处理,你的 CPU 根本负荷不过来。比如说,如果你接触的信息都是各种八卦新闻、娱乐视频。那么,你能花在处理专业知识信息上的时间就会变少。甚至在遇到一些虚假信息的时候,如果你不加辨别就接收,这很可能会带来一些负面影响。
所以我们说这是一个最好的时代,这也是一个最坏的时代。好的地方在于,有了足够的信息供我们学习和娱乐;坏的地方在于,对于信息的选择和使用,会变成一个更困难的事情,利用不好,甚至会带来负面影响。因此,我们也要构建起自己思维的检索引擎,学会将有价值的信息提取出来,并加以处理和使用。这样,我们才会不断地前进
那无论是系统还是人,我们的前进都必须是跟随着时代的脚步。如果你研究过某一个技术的发展史,你就会对这一点有更深的体会了。其实,在专栏中就隐藏着一条检索技术发展进化的时间线。下面,我来带你回顾一下。
在人类发明了文字以后,书的目录索引和图书馆的图书分类管理,其实就是检索技术在印刷时代的体现。
随着 IT 技术的兴起,信息数字化的变革开始催生出了像数据库这样的系统和 B+ 树这些检索技术。
进入互联网时代后,我们开始处理大数据。无论是基于 LSM 树的存储系统,还是以搜索引擎为代表的检索技术,都是互联网时代的结晶。
到了移动互联网时代,各种基于地理位置的服务不断出现,让我们开始将物理世界和信息世界更紧密地连接在一起。
现在到了 AI 时代,图像识别、人脸识别和智能推荐的发展,又催生出了和深度学习结合的检索系统。
检索技术越发展,涉及的知识越新,你就会感觉越陌生。实际上这很正常,毕竟新生事物要变得普及需要经过时间的发酵。但我们必须保证,我们的认知是随着时代的前进一起进化的。因为一旦我们放弃去学习、去进化,那我们不可避免地就会错过很多机会,甚至会做错许多决策。
因此,面对新生的事物,我们在保持好奇心的同时,还要去升级自己思维的检索引擎,使得我们的认知能跟得上时代的发展。甚至,如果学习的过程能够快人一步,那我们就会享受到时代更多的红利。
好了,说了这么多自我进化的好处。那不断地升级自己的检索引擎,是不是一件很困难的事情呢?完全重构系统的确是一个代价很大的事情,但是在已有系统上进行迭代升级,相对来说会容易许多。
因为,许多所谓的新技术和新系统,都是在一些基础技术上进行组合和微创新得到的。比如,我在加餐 1 中提到的 Roaring Bitmap。它在 2016 年才被发明出来,但是它用到的技术,其实就是很成熟的检索系统中的位图法、哈希表法、跳表法以及倒排索引。还有我们说过的向量检索,其实向量这个数学工具也不是新东西了,只是在近期随着 AI 的发展,才被更广泛地应用起来。
既然新的技术和系统并不难学,那我们到底该怎么学呢?其实,学习和成长就像是爬台阶。高处的目标虽然看上去遥不可及,但只要我们一个台阶一个台阶地往上走,等我们站到了一个足够的高度上再前进就会容易很多。就像让你直接学习 AVL 树和红黑树会很难,但当你了解了二叉检索树的原理和问题以后,再去学习就会简单很多。因此,当你了解了检索中的各种问题和相应技术以后,再去搭建自己的检索系统,或者学习使用开源的检索工具,也就更容易上手。
也正是因为如此,许多高手在面对新事物的时候,能使用自己思维的检索引擎,快速找到核心点去学习和消化,从而可以更上一层楼。
总结来说,成长和进化从来不是一件容易的事情,但只要你能构建起自己认知的检索思维,不断地从海量的信息中快速汲取新的知识,并且从打好地基做起,构建起自己的知识体系。我相信,迈上一个更高的台阶,是一个完全可以预期的事情。
虽然检索技术专栏结束了,但是我希望这个专栏对你的帮助并没有就此停止。学习之路没有终点,保持探索和进化,才是我们成长的终极密码。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 中文繁体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
    • 阿拉伯语
  • 解释
  • 总结

文章总结:信息技术的发展如同人类的进化一般,本文以检索技术为例,探讨了信息时代的挑战和机遇。作者指出,信息的爆炸性增长使得高效检索和提炼信息变得至关重要,而这也是许多系统设计的初衷。在信息泛滥的时代,个人也需要构建自己的思维检索引擎,以便从海量信息中提取有价值的内容。文章还回顾了检索技术的发展历程,强调了随着时代的发展,认知也需要不断进化。作者鼓励读者不断升级自己的检索引擎,以适应时代的变化,并指出学习和成长就像爬台阶,需要从基础开始,逐步提升。最后,作者强调学习之路没有终点,保持探索和进化才是成长的终极密码。文章通过对检索技术的发展和个人认知进化的类比,为读者呈现了技术与个人成长的相似之处,鼓励读者不断学习和进化。

仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《检索技术核心 20 讲》
新⼈⾸单¥59
立即购买
登录 后留言

全部留言(18)

  • 最新
  • 精选
  • 牛牛
    首先感谢老师、我觉得这个专栏的质量非常高, 至少在我的心里、它与丁奇老师的MySQL、王争老师的数据结构、文浩老师的计算机原理一样深深影响了我, 用了四期`一周免费读`默默的跟完了课, 收益匪浅, 决定买下来思思品味, 值得反复阅读的一门课, 强烈推荐~~~~

    作者回复: 也非常感谢你的认可和鼓励!我相信专栏中多少会有不完善的地方,但整体来说,我也希望这个专栏能从一个不一样的角度,让我们能一起探索检索技术是什么和该怎么做。如果能给你带来更多的思考和收获,那么我也会觉得非常开心和鼓舞。

    2020-05-19
    2
    14
  • 一元(eudict)
    一路学完,真的非常棒,感谢老师细心指导。同时大量的例子、图解,真正做到了深入浅出。期待老师下一次的专栏

    作者回复: 也谢谢你的一路的陪伴和坚持。深入浅出其实也是我写专栏的时候给自己定的目标之一,你的这个评价让我备受鼓舞。如果文章中有不清楚的地方,也欢迎继续留言讨论

    2020-05-28
    4
  • paulhaoyi
    感谢老师精彩的课程,也期待后面更多更好的系列课程,结合AI,最新技术趋势。 哈哈,赶紧出新课吧,我迫不及待订阅了。😄

    作者回复: 哈哈,感谢你的支持。结合AI的检索引擎是一个蛮大和蛮新的话题,是最新的趋势。但这个领域也涉及了很多的知识基础,可能很多人不太好理解。我得想想要如何写才好。如果有新课了,我会第一时间发预告的。

    2020-05-20
    3
  • 感谢老师的付出,感谢老师认真回答了每一个评论。

    作者回复: 也谢谢你一直以来积极的提问。其实好的问题,不仅仅帮助自己更好地理解专栏内容,也帮助作者将专栏没讲清楚的内容进行补充说明。从这个角度讲,每个积极提问的人,都是专栏的共建者。谢谢你的支持!

    2020-05-18
    2
  • 青鸟飞鱼
    首先谢谢老师的付出,经过《数据结构与算法之美》《MySQL实战45讲》以及陈老师的专栏,我越来越喜欢数据库方面的开发,希望老师多出一些专栏,一定支持,期待。

    作者回复: 谢谢你的支持。现在我们对于数据库的使用也是混合的机制,从关系数据库,kv数据库到时序数据库都有(MySQL+TiDB+Redis+aerospike+opentsdb)。你会看到,数据库相关的技术也是一直在发展。

    2020-05-19
    1
  • 舍不得技术思维比口音还厉害的陈东老师!!!!!!!!!我想再听老师讲课肿么办!!!!!!!!!!!!!

    作者回复: 哈哈,不介意口音的话可以多听几遍~ 而且未来说不定我也可能在更多的场合和大家继续分享。

    2020-05-18
    1
  • 子一
    感谢老师的辛勤付出

    作者回复: 也谢谢你们的支持和鼓励,这也是我更新的动力。希望专栏内容对你有帮助。

    2020-05-18
    1
  • 那时刻
    感谢老师的分享,尤其是老师对于每篇文章的讨论问题和疑问都进行详细的回答,是我们对于问题有了清晰的认识。再次感谢。

    作者回复: 也感谢你积极地提出各种问题,帮助我将文章中没有讲到或没有讲清楚的知识点提出来,让我能进行补充说明。 专栏结束了,但是学习没有结束。有问题依然可以留言。我也会继续回答。

    2020-05-18
    1
  • 小广
    感谢老师的付出,内容非常精彩

    作者回复: 谢谢支持!

    2021-07-10
  • 一轩明月
    趁着周末刷完了课程,自己是做推荐算法的,老师的课程帮我从更大的检索视角,从基础数据结构的特性与检索问题起,从理论上的结构设计和算法优化,到工业中的数据量与延迟挑战,将基础与前沿的珠子在我脑中以从未有过的方式串联了起来,十分感谢! 对“召回+排序”的内涵与外延的理解感悟又深了一层,数据存储和广告引擎的检索实践很有启发。内容领域搜索引擎和推荐系统更是“同质同源”,凡是能搜出来的,都应该能被推荐,接下来我会在数据存储与检索上进一步自学精进,同时将手头工作分别从“搜索”,“推荐”正反两个方向上以检索的视角复盘一遍,在实践中验证所学。

    作者回复: “将基础与前沿的珠子以从未有过的方式串联起来了”。这是很高的评价,也很精准地说出了我写这个专栏的目标之一。 技术发展很快,但是只要从基础出发,就能更好地对知识点进行串联和学习,能找到许多技术和系统“同根同源”的地方,包括相互借鉴,跨界借鉴其实也是一种创新思维。希望以后在你能保持这样的高质量思考和实践,不断前进!

    2021-01-11
收起评论
显示
设置
留言
18
收藏
10
沉浸
阅读
分享
手机端
快捷键
回顶部