eBPF学习实践系列（六） -- bpftrace学习和使用

1
2
3
4
5
6
7
8
9
[root@xdlinux ➜ ~ ]$ rpm -qa|grep bpftr
bpftrace-0.12.1-3.el8.x86_64
[root@xdlinux ➜ ~ ]$ rpm -qa|grep bcc
bcc-0.19.0-4.el8.x86_64
bcc-tools-0.19.0-4.el8.x86_64
python3-bcc-0.19.0-4.el8.x86_64
[root@xdlinux ➜ ~ ]$ rpm -qa|grep llvm
llvm-libs-12.0.1-2.module_el8.5.0+918+ed335b90.x86_64
llvm-12.0.1-2.module_el8.5.0+918+ed335b90.x86_64

1
2
3
4
[root@xdlinux ➜ events ]$ bpftrace -l 'tracepoint:skb:*'
tracepoint:skb:consume_skb
tracepoint:skb:kfree_skb
tracepoint:skb:skb_copy_datagram_iovec

1
2
3
[root@xdlinux ➜ events ]$ bpftrace -e 'BEGIN { printf("hello world\n"); }'
Attaching 1 probe...
hello world

1
2
3
4
5
6
7
# centos8.5这里，用->访问
[root@xdlinux ➜ events ]$ bpftrace -e 'tracepoint:syscalls:sys_enter_openat { printf("%s %s\n", comm, str(args->filename)); }'
Attaching 1 probe...
irqbalance /proc/interrupts
irqbalance /proc/stat
irqbalance /proc/irq/32/smp_affinity
irqbalance /proc/irq/30/smp_affinity

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
[root@xdlinux ➜ events ]$ bpftrace -e 'tracepoint:raw_syscalls:sys_enter { @[comm] = count(); }'
Attaching 1 probe...
^C

  @[sedispatch]: 1
  @[gmain]: 4
  @[in:imjournal]: 12
  @[sshd]: 17
  @[dockerd]: 35
  @[NetworkManager]: 44
  @[tuned]: 54
  @[bpftrace]: 64
  @[containerd]: 230

# 给map命名，@test
[root@xdlinux ➜ events ]$ bpftrace -e 'tracepoint:raw_syscalls:sys_enter { @test[comm] = count(); }'
Attaching 1 probe...
^C

  @test[sssd]: 1
  @test[sedispatch]: 2
  @test[sssd_be]: 5
  @test[sssd_nss]: 5
  @test[gmain]: 6

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
[root@xdlinux ➜ events ]$ bpftrace -e 'tracepoint:syscalls:sys_exit_read /pid == 1481/ { @bytes = hist(args->ret); }'
Attaching 1 probe...
^C

@bytes: 
(..., 0)              70 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@|
[0]                   27 |@@@@@@@@@@@@@@@@@@@@                                |
[1]                   15 |@@@@@@@@@@@                                         |
[2, 4)                 3 |@@                                                  |
[4, 8)                 0 |                                                    |
[8, 16)                0 |                                                    |
[16, 32)              26 |@@@@@@@@@@@@@@@@@@@                                 |
[32, 64)               9 |@@@@@@                                              |
[64, 128)             12 |@@@@@@@@                                            |
[128, 256)             9 |@@@@@@                                              |
[256, 512)             4 |@@                                                  |
[512, 1K)              2 |@                                                   |
[1K, 2K)               1 |                                                    |
[2K, 4K)               1 |                                                    |
[4K, 8K)               0 |                                                    |
[8K, 16K)              7 |@@@@@                                               |

1
2
3
4
5
6
7
8
9
10
11
12
13
[root@xdlinux ➜ events ]$ cat syscalls/sys_exit_read/format 
name: sys_exit_read
ID: 671
format:
  field:unsigned short common_type;	offset:0;	size:2;	signed:0;
  field:unsigned char common_flags;	offset:2;	size:1;	signed:0;
  field:unsigned char common_preempt_count;	offset:3;	size:1;	signed:0;
  field:int common_pid;	offset:4;	size:4;	signed:1;

  field:int __syscall_nr;	offset:8;	size:4;	signed:1;
  field:long ret;	offset:16;	size:8;	signed:1;

print fmt: "0x%lx", REC->ret

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
[root@xdlinux ➜ events ]$  bpftrace -e 'kretprobe:vfs_read { @bytes = lhist(retval, 0, 2000, 200); }'
Attaching 1 probe...
^C

@bytes: 
(..., 0)              12 |                                                    |
[0, 200)             906 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@|
[200, 400)            75 |@@@@                                                |
[400, 600)            18 |@                                                   |
[600, 800)            11 |                                                    |
[800, 1000)          173 |@@@@@@@@@                                           |
[1000, 1200)          23 |@                                                   |
[1200, 1400)           4 |                                                    |
[1400, 1600)           5 |                                                    |
[1600, 1800)           6 |                                                    |
[1800, 2000)          15 |                                                    |
[2000, ...)          276 |@@@@@@@@@@@@@@@                                     |

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
[root@xdlinux ➜ ~ ]$ bpftrace -e 'kprobe:vfs_read { @start[tid] = nsecs; } kretprobe:vfs_read /@start[tid]/ { @ns[comm] = hist(nsecs - @start[tid]); delete(@start[tid]); }'
Attaching 2 probes...

^C

# 下面结果暂时先用#注释，貌似影响博客解析
# @ns[NetworkManager]: 
# [4K, 8K)               2 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@|

# @ns[containerd]: 
# [8K, 16K)              2 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@|

# @ns[dockerd]: 
# [8K, 16K)              1 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@|
# [16K, 32K)             1 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@|

# @ns[sshd]: 
# [4K, 8K)               2 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@|
# [8K, 16K)              0 |                                                    |
# [16K, 32K)             2 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@|

# @ns[in:imjournal]: 
# [4K, 8K)               7 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@|
# [8K, 16K)              1 |@@@@@@@                                             |

# @ns[irqbalance]: 
# [256, 512)             3 |@@@@@@@@@@@@@@@@@@@                                 |
# [512, 1K)              4 |@@@@@@@@@@@@@@@@@@@@@@@@@@                          |
# [1K, 2K)               2 |@@@@@@@@@@@@@                                       |
# [2K, 4K)               0 |                                                    |
# [4K, 8K)               1 |@@@@@@                                              |
# [8K, 16K)              8 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@|
# [16K, 32K)             3 |@@@@@@@@@@@@@@@@@@@                                 |
# [32K, 64K)             0 |                                                    |
# [64K, 128K)            1 |@@@@@@                                              |

# @start[6395]: 91660555397772

1
2
3
4
5
6
7
8
9
10
[root@xdlinux ➜ ~ ]$ bpftrace -e 'tracepoint:sched:sched* { @[probe] = count(); } interval:s:5 { exit(); }'
Attaching 25 probes...


@[tracepoint:sched:sched_migrate_task]: 1
@[tracepoint:sched:sched_wake_idle_without_ipi]: 24
@[tracepoint:sched:sched_stat_runtime]: 480
@[tracepoint:sched:sched_wakeup]: 547
@[tracepoint:sched:sched_waking]: 556
@[tracepoint:sched:sched_switch]: 1005

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
[root@xdlinux ➜ ~ ]$ bpftrace -e 'profile:hz:99 { @[kstack] = count(); }'
Attaching 1 probe...
^C

@[
    load_balance+5
    rebalance_domains+700
    __do_softirq+215
    irq_exit+247
    smp_apic_timer_interrupt+116
    apic_timer_interrupt+15
    cpuidle_enter_state+219
    cpuidle_enter+44
    do_idle+564
    cpu_startup_entry+111
    start_secondary+411
    secondary_startup_64_no_verify+194
]: 1
@[
    cpuidle_enter_state+219
    cpuidle_enter+44
    do_idle+564
    cpu_startup_entry+111
    start_kernel+1309
    secondary_startup_64_no_verify+194
]: 221
@[
    cpuidle_enter_state+219
    cpuidle_enter+44
    do_idle+564
    cpu_startup_entry+111
    start_secondary+411
    secondary_startup_64_no_verify+194
]: 6497

1
2
3
4
5
6
# bpftrace path.bt
Attaching 1 probe...
open path: dev
open path: if_inet6
open path: retrans_time_ms
[...]

1
2
3
4
5
6
7
➜  /Users/xd/Documents/workspace/repo/bpftrace/tools git:(master) ls -ltr |grep tcp|grep .bt
-rwxr-xr-x  1 xd  staff  1976  6 29 10:07 tcpaccept.bt
-rwxr-xr-x  1 xd  staff  1869  6 29 10:07 tcpconnect.bt
-rwxr-xr-x  1 xd  staff  2689  6 29 10:07 tcpdrop.bt
-rwxr-xr-x  1 xd  staff  3005  6 29 10:07 tcplife.bt
-rwxr-xr-x  1 xd  staff  2340  6 29 10:07 tcpretrans.bt
-rwxr-xr-x  1 xd  staff   962  6 29 10:07 tcpsynbl.bt

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
#!/usr/bin/env bpftrace
/*
 * tcpdrop.bt   Trace TCP kernel-dropped packets/segments.
 *              For Linux, uses bpftrace and eBPF.
 *
 * USAGE: tcpdrop.bt
 *
 * This is a bpftrace version of the bcc tool of the same name.
 *
 * This provides information such as packet details, socket state, and kernel
 * stack trace for packets/segments that were dropped via kfree_skb.
 * It cannot show tcp flags.
 *
#  当前这个脚本对内核是有要求的。对于老版本内核old下面有一个对应脚本：tools/old/tcpdrop.bt
 * For Linux 5.17+ (see tools/old for script for lower versions).
 *
 * Copyright (c) 2018 Dale Hamel.
 * Licensed under the Apache License, Version 2.0 (the "License")
 *
 * 23-Nov-2018	Dale Hamel	created this.
 * 01-Oct-2022	Rong Tao	use tracepoint:skb:kfree_skb
 */

#ifndef BPFTRACE_HAVE_BTF
#include <linux/socket.h>
#include <net/sock.h>
#else
/*
 * With BTF providing types, socket headers are not needed.
 * We only need to supply the preprocessor defines in this script.
 * AF_INET/AF_INET6 are part of the stable arch-independent Linux ABI
 */
#define AF_INET   2
#define AF_INET6 10
#endif

BEGIN
{
  printf("Tracing tcp drops. Hit Ctrl-C to end.\n");
  printf("%-8s %-8s %-16s %-21s %-21s %-8s\n", "TIME", "PID", "COMM", "SADDR:SPORT", "DADDR:DPORT", "STATE");

  // See https://github.com/torvalds/linux/blob/master/include/net/tcp_states.h
  # 定义map
  @tcp_states[1] = "ESTABLISHED";
  @tcp_states[2] = "SYN_SENT";
  @tcp_states[3] = "SYN_RECV";
  @tcp_states[4] = "FIN_WAIT1";
  @tcp_states[5] = "FIN_WAIT2";
  @tcp_states[6] = "TIME_WAIT";
  @tcp_states[7] = "CLOSE";
  @tcp_states[8] = "CLOSE_WAIT";
  @tcp_states[9] = "LAST_ACK";
  @tcp_states[10] = "LISTEN";
  @tcp_states[11] = "CLOSING";
  @tcp_states[12] = "NEW_SYN_RECV";
}

# 跟踪 skb:kfree_skb 这个tracepoint
tracepoint:skb:kfree_skb
{
  # args 是上下文，根据前面的eBPF学习可知，可利用tracefs或者 bpftrace -lv tracepoint:skb:kfree_skb 查看
  # reason是后面内核版本加的字段
  $reason = args.reason;
  # 变量定义和访问都用`$xxx`形式
  $skb = (struct sk_buff *)args.skbaddr;
  $sk = ((struct sock *) $skb->sk);
  $inet_family = $sk->__sk_common.skc_family;

  if ($reason > SKB_DROP_REASON_NOT_SPECIFIED &&
      ($inet_family == AF_INET || $inet_family == AF_INET6)) {
    if ($inet_family == AF_INET) {
      $daddr = ntop($sk->__sk_common.skc_daddr);
      $saddr = ntop($sk->__sk_common.skc_rcv_saddr);
    } else {
      $daddr = ntop($sk->__sk_common.skc_v6_daddr.in6_u.u6_addr8);
      $saddr = ntop($sk->__sk_common.skc_v6_rcv_saddr.in6_u.u6_addr8);
    }
    $lport = $sk->__sk_common.skc_num;
    $dport = $sk->__sk_common.skc_dport;

    // Destination port is big endian, it must be flipped
    $dport = bswap($dport);

    $state = $sk->__sk_common.skc_state;
    $statestr = @tcp_states[$state];

    time("%H:%M:%S ");
    printf("%-8d %-16s ", pid, comm);
    printf("%39s:%-6d %39s:%-6d %-10s\n", $saddr, $lport, $daddr, $dport, $statestr);
    printf("%s\n", kstack);
  }
}

END
{
  # 清理前面定义的map
  clear(@tcp_states);
}

1
2
3
4
5
6
7
8
9
10
struct MyStruct {
  int a;
}

kprobe:dummy {
  $ptr = (struct MyStruct *) arg0;
  $st = *$ptr;
  print($st.a);
  print($ptr->a);
}