简析XDP的重定向机制

  • GreatSQL社区原创内容未经授权不得随意使用,转载请联系小编并注明来源。
  • GreatSQL是MySQL的国产分支版本,使用上与MySQL一致。

一. XDP Socket示例解析

源码参见:https://github.com/xdp-project/xdp-tutorial/tree/master/advanced03-AF_XDP
该示例演示了如何通过BPF将网络数据包从XDP Hook点旁路到用户态的XDP Socket,解析过程中为突出重点,将只关注重点代码段,一些函数会被精简,比如:错误处理等

二. BPF 程序 af_xdp_kern.c

BPF程序是运行在内核态的一段代码,如下:

struct bpf_map_def SEC("maps") xsks_map = {
    .type = BPF_MAP_TYPE_XSKMAP,
    .key_size = sizeof(int),
    .value_size = sizeof(int),
    .max_entries = 64,  /* Assume netdev has no more than 64 queues */
};

SEC("xdp_sock")
int xdp_sock_prog(struct xdp_md *ctx)
{
    int index = ctx->rx_queue_index;

    if (bpf_map_lookup_elem(&xsks_map, &index))
        return bpf_redirect_map(&xsks_map, index, 0);

    return XDP_PASS;
}
  1. struct bpf_map_def SEC("maps") xsks_map: 定义了一个BPF_MAP_TYPE_XSKMAP类型的映射表,当采用SEC("maps")方式来显示定义时,将在生成的bpf目标文件的ELF格式中看到相关描述,当BPF程序被加载到内核时,会自动创建名为“xsks_map”的描述符, 用户态可通过查找“xsks_map”来获取该map的描述符,这样用户态和内核BPF程序就可以共同访问该map
  2. type = BPF_MAP_TYPE_XSKMAP:指定该map的类型,它与bpf_redirect_map() 结合使用以将收到的帧传递到指定套接字
  3. key_size = sizeof(int),value_size = sizeof(int):指定key,value长度
  4. 针对以上key,value需要说明一下:对于BPF_MAP_TYPE_XSKMAP类型的map,value必须是XDP socket描述符,key必须是int类型,原因在于bpf_redirect_map()的第二个参数,参见下面2.10
  5. max_entries = 64:指定map最多存储64个元素
  6. SEC("xdp_sock"):指定prog函数符号,应用层可通过查找"xdp_sock"加载该prog,并绑定到指定网卡
  7. int xdp_sock_prog(struct xdp_md *ctx):当网卡收到数据包时,会在xdp hook点调用该函数
  8. int index = ctx->rx_queue_index: 获取该数据包来自网卡到哪个rx队列ID,ctx有许多成员,比如:网卡ID,数据帧等等
  9. if (bpf_map_lookup_elem(&xsks_map, &index)): 判断xsks_map是否存在key为index(即rx队列号)的数据,注意,这里实际上就是判断该网卡是否绑定了xdp Socket
    • bpf_redirect_map(&xsks_map, index, 0)bpf_redirect_map函数作用就是重定向,比如:将数据重定向到某个网卡,CPU, Socket等等;当bpf_redirect_map函数的第一个参数的map类型为BPF_MAP_TYPE_XSKMAP时,则表示将数据重定向到XDP Scoket
    • bpf_redirect_map()会查找参数1即xsks_map 中 key为index 的 value 是否存在,若存在,则检查value是否是一个XDP Scoket,并且是否绑定到了该网卡(可以绑定到任意有效队列)

综合以上,该bpf程序实现的功能就是:将收到的数据包重定向到xsks_map中指定的XDP Socket

三. 用户态程序 af_xdp_user.c

该程序实现bpf加载到网卡,创建XDP Scoket并绑定到网卡的指定队列,并通过XDP Scoket收发数据,这里仅分析xXDP Scoket相关部分

int main(int argc, char **argv)
{
    ...
    bpf_obj = load_bpf_and_xdp_attach(&cfg);
    map = bpf_object__find_map_by_name(bpf_obj, "xsks_map");
    ...
    xsks_map_fd = bpf_map__fd(map);
    ...
    umem = configure_xsk_umem(packet_buffer, packet_buffer_size);
    ...
    xsk_socket = xsk_configure_socket(&cfg, umem);
    ...
    rx_and_process(&cfg, xsk_socket);
    ...
}

static struct xsk_socket_info *xsk_configure_socket(struct config *cfg,
                            struct xsk_umem_info *umem)
{
    ...
    ret = xsk_socket__create(&xsk_info->xsk, cfg->ifname,
                 cfg->xsk_if_queue, umem->umem, &xsk_info->rx,
                 &xsk_info->tx, &xsk_cfg);
    ...
}
  • bpf_obj = load_bpf_and_xdp_attach(&cfg): 加载bpf程序,并绑定到网卡
  • map = bpf_object__find_map_by_name(bpf_obj, "xsks_map"): 查找bpf程序内定义的xsks_map
  • umem = configure_xsk_umem(packet_buffer, packet_buffer_size): 为XDP Scoket准备UMEM
  • xsk_configure_socket()通过调用bpf helper函数xsk_socket__create()创建XDP Scoket并绑定到cfg->ifname网卡的cfg->xsk_if_queue队列,默认情况下将该【cfg->xsk_if_queue, xsk_info->xsk fd】添加到xsks_map, 这样bpf程序就可以重定向到该XDP Scoket(参见2.9, 2.10), 除非指定XSK_LIBBPF_FLAGS__INHIBIT_PROG_LOAD标志
static void rx_and_process(struct config *cfg,
               struct xsk_socket_info *xsk_socket)
{
    struct pollfd fds[2];
    int ret, nfds = 1;

    memset(fds, 0, sizeof(fds));
    fds[0].fd = xsk_socket__fd(xsk_socket->xsk);
    fds[0].events = POLLIN;

    while(!global_exit) {
        if (cfg->xsk_poll_mode) {
            ret = poll(fds, nfds, -1);
            if (ret  1)
                continue;
        }
        handle_receive_packets(xsk_socket);
    }
}
  • XDP Scoket也是一个文件描述符,因此可以通过poll/epoll/select来等待IO事件,需要说明的是:收/发的数据包是原始的以太网帧,因此在包处理上要麻烦一些

四. 总结

  • 以上简略分析了bpf程序如何将数据重定向到用户态程序,通过xsks_map来实现bpf与用户态程序的交互;
  • 需要说明的是,这些分析仅是梳理了浅层次的代码,实际上BPF是如何将数据读写到XDP Scoket收发缓冲区的呢?其实是通过创建共享内存并关联XDP Scoket的rx_ring,tx_ring,以及umem来实现的,后续继续分析
  • bpf程序通常都非常简单,复杂的是用户态程序,此外,BPF有非常多的技术细节,限于篇幅及主题不在此展开。

Enjoy GreatSQL 😃

关于 GreatSQL

GreatSQL是由万里数据库维护的MySQL分支,专注于提升MGR可靠性及性能,支持InnoDB并行查询特性,是适用于金融级应用的MySQL分支版本。

相关链接: GreatSQL社区 Gitee GitHub Bilibili

GreatSQL社区:

欢迎来GreatSQL社区发帖提问
https://greatsql.cn/

简析XDP的重定向机制插图

技术交流群:

微信:扫码添加GreatSQL社区助手微信好友,发送验证信息加群

简析XDP的重定向机制插图1

文章来源于互联网:简析XDP的重定向机制

THE END
分享
二维码