OpenResty 从入门到实战
温铭
OpenResty 软件基金会第一任主席,Apache APISIX 项目 VP
20903 人已学习
新⼈⾸单¥59
登录后,你可以任选4讲全文学习
课程目录
已完结/共 52 讲
结束语 (1讲)
OpenResty 从入门到实战
15
15
1.0x
00:00/00:00
登录|注册

13 | [视频]实战:基于FFI实现的lua-resty-lrucache

适合命中率低的情况
适合命中率高的情况
GitHub链接:https://github.com/iresty/geektime-slides
逐层深入
先了解主要的数据结构
介绍 travis 的使用
了解 lua-resty 库的必要内容
如何使用 FFI
使用 hash 表实现
使用 Lua table 实现缓存
在实际情况下,通常与 shared dict 配合使用
功能与 shared dict 类似,但可以存储不同类型的数据
可以在 worker 内缓存各种类型的数据
使用 LuaJIT FFI 实现的 LRU 缓存库
课件参考
阅读源码建议
学习内容
两种实现方案
lua-resty-lrucache
总结结果

该思维导图由 AI 生成,仅供参考

00:00 / 00:00
    1.0x
    • 2.0x
    • 1.5x
    • 1.25x
    • 1.0x
    • 0.75x
    • 0.5x
    网页全屏
    全屏
    00:00
    你好,我是温铭。
    今天的内容,我同样会以视频的形式来讲解。不过,在你进行视频学习之前,我想先问你这么几个问题:
    lua-resty-lrucache 内部最重要的数据结构是什么?
    lua-resty-lrucache 有两种 FFI 的实现,我们今天讲的这一种更适合什么场景?
    这几个问题,也是今天视频课要解决的核心内容,希望你可以先自己思考一下,并带着问题来学习今天的视频内容。
    同时,我会给出相应的文字介绍,方便你在听完视频内容后,及时总结与复习。下面是今天这节课的文字介绍部分。

    今日核心

    lua-resty-lrucache 是一个使用 LuaJIT FFI 实现的 LRU 缓存库,可以在 worker 内缓存各种类型的数据。功能与之类似的是 shared dict,但 shared dict 只能存储字符串类型的数据。在大多数实际情况下,这两种缓存是配合在一起使用的——lrucache 作为一级缓存,shared dict 作为二级缓存。
    lrucache 的实现,并没有涉及到 OpenResty 的 Lua API。所以,即使你以前没有用过 OpenResty,也可以通过这个项目来学习如何使用 LuaJIT 的 FFI。
    lrucache 仓库中包含了两种实现方案,一种是使用 Lua table 来实现缓存,另外一种则是使用 hash 表来实现。前者更适合命中率高的情况,后者适合命中率低的情况。两个方案没有哪个更好,要看你的线上环境更适合哪一个。
    确认放弃笔记?
    放弃后所记笔记将不保留。
    新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
    批量公开的笔记不会为你同步至部落
    公开
    同步至部落
    取消
    完成
    0/2000
    荧光笔
    直线
    曲线
    笔记
    复制
    AI
    • 深入了解
    • 翻译
      • 英语
      • 中文简体
      • 中文繁体
      • 法语
      • 德语
      • 日语
      • 韩语
      • 俄语
      • 西班牙语
      • 阿拉伯语
    • 解释
    • 总结

    今天的内容将以视频的形式呈现,但在观看视频之前,作者提出了几个问题,包括 lua-resty-lrucache 内部最重要的数据结构是什么以及适合什么场景的问题。文章介绍了 lua-resty-lrucache 是一个使用 LuaJIT FFI 实现的 LRU 缓存库,可以在 worker 内缓存各种类型的数据。它与 shared dict 类似,但 shared dict 只能存储字符串类型的数据。在实际情况下,这两种缓存通常配合使用,lrucache 作为一级缓存,shared dict 作为二级缓存。lrucache 的实现并没有涉及到 OpenResty 的 Lua API,因此即使之前没有使用过 OpenResty,也可以通过这个项目学习如何使用 LuaJIT 的 FFI。lrucache 仓库中包含了两种实现方案,一种是使用 Lua table 来实现缓存,另一种是使用 hash 表来实现。前者更适合命中率高的情况,后者适合命中率低的情况。通过这个项目,读者可以了解如何使用 FFI,并了解一个完整的 lua-resty 库应该包括哪些必要的内容。最后,作者强调了在面对一个陌生的开源项目时,文档和测试案例永远是最好的上手方式。同时,作者还提供了课件的GitHub链接,鼓励读者在留言区提问和分享学习心得。

    仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
    《OpenResty 从入门到实战》
    新⼈⾸单¥59
    立即购买
    登录 后留言

    全部留言(13)

    • 最新
    • 精选
    • yswang
      温大,我之前使用 openresty + ffmpeg 做了一个音频格式换行http服务,我使用先写一个 shell 转换脚本文件,例如:audio_converter.sh (sh文件中调用 ffmepg -i 转换命令),然后使用 lua 的 os.execute("/bin/sh audio_converter.sh a.mp3 b.ogg") 来调用 shell 脚本文件间接调用 ffmpeg 指令进行转换。 今天看到了 ffi ,ffi 可以调用 C 函数,请问,ffi 可以直接调用 ffmpeg 指令吗?如果可以的话,我就可以省去写一个 shell 文件来间接调用了。

      作者回复: 有一个 ffmpeg 的库:https://github.com/daurnimator/ffmpeg-lua-ffi,你可以试下是否满足需求

      2019-06-26
      2
      2
    • chrisforbt
      老师,我想问个问题。我计划将用户请求的参数+路径+方式做为key,把数据存在lru-cache、share dict以及redis中,mysql数据源更新了,我就得将缓存全删了。那我是应该把mysql的数据源和前面生成的key关联起来,一旦更新了数据源,就去找相关的key,将其删除吗?还有更佳的缓存更新方式吗,期待您的回复。

      作者回复: 你这种是主动更新,MySQL 数据变化后主动通知前面的缓存。主动更新的话,也不用主动去删除缓存,而是在 key 里面加入一个版本号,数据变化后版本号变了,那么在缓存中就查找不到数据,这时候就回源到 MySQL 了。 也可以被动更新,根据你的业务特性,给缓存设置一个过期时间,定期的去数据库查询。 第一种版本号的方法是比较合适的,当然实现起来比被动更新复杂一些。

      2019-07-15
      1
    • emen
      温铭老师您好,关于lrucache在使用过程中有个疑惑烦请老师看看。 openresty环境:1个master进程、X个worker进程 在init_worker阶段中注册了缓存信息如:cache.set("key1","val1") 在content阶段修改了缓存信息:cache.set("key1","val2") 此操作是否仅为更新了当前worker的缓存信息,而无法跨worker更新。 如需完成跨worker更新应如何处理呢?

      作者回复: 改用 shared dict,或者是使用 lua-resty-worker-event 这样的库

      2019-07-10
      1
    • 星亦辰
      请教老师一个问题。 我用c语言实现了跨平台的so类库。 用ffi.load 来加载。 那么,在openrestry 中会有几个 so 函数的实例呢? 按照操作系统的知识,共享库在系统中只有一个实例。 如果只有一个,那么我们在不同的worker 中调用so 里的函数中,对于一个so 内的资源是否存在冲突呢?

      作者回复: OpenResty 中的 worker 是互相独立的,如果你在 worker 中使用 ffi.load 来加载 so,那么有几个 worker 进程,就会有几个 so 实例。

      2019-07-04
      1
    • 冰沁宇诺
      老师,如果我想从数据库中初始化一些基本不变的数据到shared_dict中,应该怎么做,init_by_lua 阶段可以吗

      作者回复: 可以的,在这个阶段启动一个 timer 去读取数据库,然后放到 shared dict 中。但要注意,这个数据是可以丢失的,代码中要处理这种异常。

      2019-06-24
      1
    • 小飞哥 ‍超級會員
      都有视频了,温老师,能否现场演示一下, 让我们见识 openresty 的复杂性。 一些文档库 官网描述等,能否现场打开了解下。 我们自己打开后,就没有然后了。

      作者回复: 我的理解,OpenResty 的复杂性在于各个子项目之间的配合,还是需要有特定的场景和业务需求来驱动,才会更有感觉。你可以参与到 OpenResty 相关的开源项目中来,切身体会下。

      2019-07-02
    • . 。o O 〇
      老师好,我碰到一个问题,我用的lrucache,会卡在get set那,并且worker进程cpu100%,整个worker不工作。换成lrucache.pureffi就好了,不知道老师碰到过没

      作者回复: 这个没有遇到过。是否是这个 bug:https://github.com/openresty/luajit2/issues/42? 用最新的 OpenResty 版本是否可以重现呢? 如果还是有问题,欢迎给官方提交 issue

      2019-06-26
      2
    • geraltlaush
      专栏订阅人好少,跟陶辉老师的nginx一样,到后面都没什么人留言了,曲高和寡,不过留下来的都是未来的大牛,学好了未来在工作和求职过程中多了一份竞争力
      2019-06-30
      10
    • 丢了个丢丢丢
      老师讲的好好哦!!!
      2019-06-24
      1
      3
    • Geek_b16e46
      我遇到一个问题,aes加密解密无法和JAVA互通,JAVA加密后OpenResty无法解密 网上也没有找到解决方案,大多数是要修改JAVA的加密方式,请问有没有更好的办法
      2023-08-18归属地:山东
    收起评论
    显示
    设置
    留言
    13
    收藏
    沉浸
    阅读
    分享
    手机端
    快捷键
    回顶部