09 | 用户态跟踪：如何使用eBPF排查应用程序？

1. 跟踪编译型语言应用程序以 Bash Shell 作为例子，觉得有些容易与解释型语言混淆。解释型语言的特征是解释程序自身为编译型程序，利用自身内置的函数进行语法分析和执行，Bash readline 函数的功能即是如此。以编译型语言 Golang helloworld 程序使用 uprobes 或者开源的 Nginx 使用 USDT 可能更恰当一些。 2. 思考题完整的 BCC 追踪程序： ----------- python_functions.c ------------- #include <uapi/linux/ptrace.h> struct data_t { char filename[128]; char funcname[64]; int lineno; }; BPF_PERF_OUTPUT(events); int print_functions(struct pt_regs *ctx) { uint64_t argptr; struct data_t data = { }; bpf_usdt_readarg(1, ctx, &argptr); bpf_probe_read_user(&data.filename, sizeof(data.filename), (void *)argptr); bpf_usdt_readarg(2, ctx, &argptr); bpf_probe_read_user(&data.funcname, sizeof(data.funcname), (void *)argptr); bpf_usdt_readarg(3, ctx, &data.lineno); events.perf_submit(ctx, &data, sizeof(data)); return 0; }; ----------- python_functions.py ------------- #!/usr/bin/python3 import sys from bcc import BPF, USDT if len(sys.argv) < 2: print("Usage: %s <tracee_pid>" % sys.argv[0]) sys.exit(1) u = USDT(pid=int(sys.argv[1])) u.enable_probe(probe="function__entry", fn_name="print_functions") b = BPF(src_file="python_functions.c", usdt_contexts=[u]) def print_event(cpu, data, size): event = b["events"].event(data) printb("%-9s %-6d %s" % (event.filename, event.lineno, event.funcname)) print("%-9s %-6s %s" % ("FILENAME", "LINENO", "FUNCTION")) b["events"].open_perf_buffer(print_event) while True: try: b.perf_buffer_poll() except KeyboardInterrupt: exit()

老师，跟踪用户态程序的时候还有512字节的限制吗

sudo apt install bash-dbgsym 命令，执行后找不到dbgsym包的，可以参考这篇文章 https://cloud.tencent.com/developer/article/1637887

用户态进程跟踪是不是使用frida效果更好？

老师，咨询下ibm jdk，使用bcc的话有办法么？

老师您好，请教一下 1. 执行了 strip 命令删除了 .symtab 的二进制文件，是否就“不能”用 .symtab 里的符号执行 bpftrace -e 'uretprobe:/usr/bin/bash:符号 {...}' ？ 2. 如果 1. 中的理解是对的，那么上面的 /usr/bin/bash 的 .symtab 实际已经被 strip 了，但是还能执行上面的 trace 是否是因为 BCC 会用 /usr/bin/bash 的 build id 去 /usr/lib/debug/.build-id/ 关联相应的符号表，然后再用符号找到函数地址？ 谢谢老师！

某线程CPU占用率过高，通过perf工具生成了该线程的火焰图。发现该线程的系统函数占比较高，但是又无法查到这些系统函数的调用堆栈。（火焰图中，ia32_sysenter_target函数占比约6%，sysexit_from_sys_call函数占比约9%。） 特别想搞懂这些内核函数是什么时候被调用的，调用堆栈是怎么样的，为什么耗时这么久。所以特地来学习ebpf，希望边学边解决工作中的实际问题。

老师， 除了符号表之外，理论上你可以把 uprobe 插桩到二进制文件的任意地址。不过这要求你对应用程序 ELF 格式的地址空间非常熟悉，并且具体的地址会随着应用的迭代更新而发生变化。所以，在需要跟踪地址的场景中，一定要记得去 ELF 二进制文件动态获取地址信息。 ----------- 请问， 这个应该怎么操作呢？ 加入我OS上的bash就是没有符号信息。 我还是想挂载readline函数，怎么办呢？ # 挂载uretprobeb.attach_uretprobe(name="/usr/bin/bash", sym="readline", fn_name="bash_readline") 这个参数具体是怎么写？ sudo bpftrace -e 'uretprobe:/usr/bin/bash:readline { printf("User %d executed \"%s\" command\n", uid, str(retval)); }' 这个参数怎么写？

好奇这种 uprobe 是怎么做到的？只是调用应用程序里另一个函数为什么会被内核介入？如果 epbf 程序执行时间较长，是不是应用程序会等待 ebpf 执行完再继续执行？

其实现在的解释型脚本语言，比如 Python，Ruby 之类的语言，各自都有自己的字节码，虚拟机和 JIT，本质上和 Java 没有太大差异，只是不把字节码保存下来而已。