01 net/core 核心机制与实现详解

1. 地位

net/core/（约 57 文件）是 所有协议族的公共底座：没有它，ipv4、bridge、mac80211 无法共享 sk_buff 与 net_device 语义。

2. 数据面主干：sk_buff

skbuff.c 管理：

• 分配/释放（alloc_skb、kfree_skb）；
• skb_clone / pskb_copy（广播、转发、Netfilter）；
• 队列：skb_queue_tail、sk_receive_queue；
• 头部推拉：skb_push/skb_pull（各层加解封装）；
• offload 标记：skb->ip_summed、hw_features。

RK3588 千兆/2.5G 驱动性能调优常看 GRO/LRO 与 skb 分配 NUMA（netdev_alloc_skb）。

3. 控制面：socket 与 sock

sock.c（core 部分）与顶层 socket.c 分工：

struct sock 通过 struct proto_ops 挂接 inet_stream_ops 等。

4. 网络设备：dev.c

dev.c 核心能力：

• register_netdev / unregister_netdev；
• dev_queue_xmit 发送入口；
• netif_receive_skb / __netif_receive_skb_core 接收入口；
• NAPI：netif_napi_add、napi_schedule（详见 09-NAPI收包轮询机制与实现详解.md）；
• netdev_rx_handler（bridge、vlan、macvlan）；
• 统计：dev->stats、RTNL 查询。

与驱动边界：ndo_open/stop/xmit 在驱动，队列调度与 qdisc 在 core/sched。

5. 路由与邻居

6. 用户态配置：rtnetlink

rtnetlink.c 实现 NETLINK_ROUTE（建立在 net/netlink/ 框架上，详见 10-netlink内核用户通信机制与实现详解.md）：

• 链路增删（RTM_NEWLINK）；
• 地址（RTM_NEWADDR）；
• 路由（RTM_NEWROUTE）；
• 与 iproute2（ip link/ip route）一一对应。

网络命名空间：struct net 隔离 RTNL 表项。

7. 性能路径：GRO / XDP / flow_offload

8. BPF 挂钩（core 内）

CONFIG_BPF_SYSCALL 时：

• sock_map.c — BPF map 与 socket 绑定；
• bpf_sk_storage.c — per-socket BPF 存储；
• filter.c — 经典 BPF socket filter。

完整 BPF 指令集在 kernel/bpf/ + net/bpf/ 测试桩。

9. 小结

net/core = skb + dev + dst + neighbour + rtnl + NAPI/GRO/XDP。RK3588 网络问题（丢包、延迟、软中断 CPU）多数需结合 core 统计与 驱动 NAPI 同看。

专文：rk3588-kernel-6.1-net-core分析_zh.md

02 IPv4 与传输层机制与实现详解

1. 目录与配置

net/ipv4/（~135 文件），依赖 CONFIG_INET。

提供 AF_INET（PF_INET）：IPv4 地址族、TCP/UDP/RAW/ICMP、IGMP、ARP、FIB 路由。

2. 协议注册

af_inet.c 在初始化时注册 inet_proto_ops：

• socket → inet_create；
• 协议号映射到 tcp_prot、udp_prot、raw_prot 等 struct proto。

3. 传输层

MPTCP 在 net/mptcp/ 扩展 TCP（CONFIG_MPTCP）。

数据路径（发送简化）：

1

sock_sendmsg → tcp_sendmsg → ip_queue_xmit → dst → dev_queue_xmit

4. 路由与 FIB

policy routing（ip rule）在 FIB 规则层实现。

5. Netfilter（IPv4 侧）

net/ipv4/netfilter/ 含 iptables 兼容、defrag、NAT 片段 等；核心 hook 框架在 net/netfilter/（见 04 文档）。

Hook 点：NF_INET_PRE_ROUTING、LOCAL_IN、FORWARD、POST_ROUTING 等。

6. 隧道与特殊

7. RK3588 场景

• 板载以太网：默认 DHCP/静态 IP 走 ipv4 FIB + ARP；
• NAT/防火墙：netfilter + iptables-nft；
• WiFi STA：同一 ipv4 栈，接口为 wlan0；
• 性能：调整 tcp_congestion_control、netdev_max_backlog、somaxconn。

专文：rk3588-kernel-6.1-net-ipv4分析_zh.md

8. 小结

ipv4/ 是 RK3588 最常见 L3/L4 路径；与 drivers/net 分界在 ip_finish_output2 → 邻居解析 → 驱动发送。

03 IPv6 与邻居路由机制与实现详解

1. 目录特点

net/ipv6/（~107 文件）。顶层 net/Makefile 中 obj-y += ipv6/ 使 IPv6 底座常编入内核，具体特性仍由 CONFIG_IPV6 及各子选项控制。

2. 地址与接口配置

与 RTNETLINK 的 RTM_NEWADDR（AF_INET6）对接 ip -6 addr。

3. 邻居发现 ND

ndisc.c 实现 RFC 4861：

• Router Solicitation/Advertisement；
• Neighbor Solicitation/Advertisement（替代 ARP）；
• Redirect。

挂在 neighbour 子系统 上，协议号 NDISC。

4. 路由 fib6

策略路由（ip -6 rule）与 ipv4 对称。

5. 扩展头与分片

• exthdrs.c — Hop-by-Hop、Routing、Destination；
• reassembly.c — 分片重组；
• seg6.c / rpl.c 等 — 可选 SRv6、RPL（配置依赖）。

6. 传输层

TCPv6、UDPv6、ICMPv6、RAWv6 与 ipv4 共享大量 tcp_ipv4.c/tcp_ipv6.c 划分（实际文件在 ipv6 与 net/ipv4 协同）。

inet6_connection_sock 处理双栈 socket。

7. Netfilter IPv6

net/ipv6/netfilter/ — ip6tables、nf_defrag_ipv6、NAT66 等。

8. RK3588

• 嵌入式产品 可关闭 IPv6 减体积；
• 双栈产品需 ND + dhcpv6 或 SLAAC；
• 与 Thunder Boot 无直接 net/ipv6 补丁（通用栈）。

专文：rk3588-kernel-6.1-net-ipv6分析_zh.md

9. 小结

IPv6 在 RK3588 上与 ipv4 共享 core/dev；差异在 ND 替代 ARP 与 128 位地址路由。

04 netfilter 与包过滤机制与实现详解

1. 概述

net/netfilter/（~253 文件）是 Linux 包过滤、连接跟踪、NAT、负载均衡 的核心实现。它在协议栈 固定 hook 点 介入 sk_buff 路径，不改变网卡驱动；与 NAPI/收包 正交，作用于 L3 已解析之后 的转发/本地交付决策。

1.1 目录结构（按功能）

1
2
3
4
5
6
7
8
9
10
11

net/netfilter/
├── core.c                 # Hook 框架（注册、nf_hook_slow）
├── nfnetlink.c            # NETLINK_NETFILTER 总线
├── nf_conntrack_*.c       # 连接跟踪
├── nf_nat_*.c             # NAT / 伪装
├── nf_tables_*.c nft_*.c  # nftables
├── x_tables.c xt_*.c      # iptables 扩展
├── nf_queue.c nf_log.c    # 队列到用户态 / 日志
├── nf_flow_table_*.c      # 快速转发路径
├── ipset/                 # 高效匹配集合
└── ipvs/                  # LVS 负载均衡

注意：IPv4/IPv6 的 iptables 表驱动 在 net/ipv4/netfilter/、net/ipv6/netfilter/（如 ip_tables.c、ip6_tables.c），但 hook 框架与 nftables 主体在 net/netfilter/。

2. Hook 框架（core.c）

2.1 Hook 点（IPv4/IPv6 _inet）

定义于 include/uapi/linux/netfilter.h：

协议栈调用示例（net/ipv4/ip_forward.c）：

1
2

return NF_HOOK(NFPROTO_IPV4, NF_INET_FORWARD, net, NULL, skb,
               in, out, ip_forward_finish);

2.2 注册与存储

• nf_register_net_hook() / nf_register_net_hooks()：按 priority 插入 hook 数组
• 每 (netns, pf, hooknum) 维护 nf_hook_entries（RCU 只读遍历）
• CONFIG_JUMP_LABEL：nf_hooks_needed[pf][hook] 无 hook 时跳过 nf_hook_slow 快速路径

nf_hook_ops 关键字段：

1
2
3
4
5
6
7

struct nf_hook_ops {
	nf_hookfn *hook;      /* 回调 */
	u8 pf;                /* NFPROTO_IPV4 / IPV6 / INET ... */
	unsigned int hooknum;
	int priority;         /* 数值越小越先执行 */
	void *priv;
};

2.3 nf_hook_slow() — 核心裁决

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

int nf_hook_slow(struct sk_buff *skb, struct nf_hook_state *state,
		 const struct nf_hook_entries *e, unsigned int s)
{
	for (; s < e->num_hook_entries; s++) {
		verdict = nf_hook_entry_hookfn(&e->hooks[s], skb, state);
		switch (verdict & NF_VERDICT_MASK) {
		case NF_ACCEPT:
			break;
		case NF_DROP:
			kfree_skb_reason(skb, SKB_DROP_REASON_NETFILTER_DROP);
			return ret;
		case NF_QUEUE:
			ret = nf_queue(skb, state, s, verdict);
			// ...
		default:
			return 0;   /* NF_STOLEN 等 */
		}
	}
	return 1;  /* 全部 ACCEPT → 调用 okfn */
}

内联入口 nf_hook()（include/linux/netfilter.h）在 static_key 显示无 hook 时直接 okfn(skb)。

3. 连接跟踪（nf_conntrack）

3.1 核心文件

3.2 nf_conntrack_in() 流程

挂于 PREROUTING、LOCAL_OUT 等（由 nf_conntrack_l3proto 注册）：

1
2
3
4
5

nf_conntrack_in(skb)
  → get_l4proto() 定位 L4
  → resolve_normal_ct() 查表或新建 nf_conn
  → nf_conntrack_handle_packet() 更新 TCP 状态等
  → skb->_nfct 绑定连接

连接以 五元组 tuple（可加 zone）哈希入 nf_conntrack_hash；状态如 NEW / ESTABLISHED / RELATED。

3.3 与 NAT 关系

• conntrack 独立于 NAT，但 NAT 修改 tuple 必须同步 conntrack（nf_nat_core.c）
• nf_nat_hook 通过 RCU 指针在 core.c 中挂接，避免模块循环依赖

4. NAT（nf_nat）

NAT 在 POSTROUTING（SNAT）/ PREROUTING（DNAT）hook 修改 skb 地址端口，并 nf_conntrack_alter_reply() 维护反向 tuple。

5. nftables（现代推荐）

5.1 组成

Makefile 中 nf_tables-objs：

• nf_tables_core.c — 规则求值 nft_do_chain()
• nf_tables_api.c — 表/链/规则/集合的 netlink 配置 API
• nft_chain_filter.c / nft_chain_route.c / nft_chain_nat.c — 链类型与 hook 绑定
• nft_*.c — 表达式：payload、cmp、lookup、ct、nat、limit、queue…
• nft_set_*.c — 集合后端：hash、bitmap、rbtree、pipapo（x86 可有 AVX2）

5.2 规则求值：nft_do_chain()

1
2
3
4
5
6
7
8
9
10
11
12
13
14

unsigned int nft_do_chain(struct nft_pktinfo *pkt, void *priv)
{
	const struct nft_chain *chain = priv;
	// 从 RCU blob 遍历规则
	for (; rule < last_rule; rule = nft_rule_next(rule)) {
		nft_rule_dp_for_each_expr(expr, last, rule) {
			// fast path: nft_cmp_fast_eval, nft_payload_fast_eval ...
			expr_call_ops_eval(expr, &regs, pkt);
			if (regs.verdict.code != NFT_CONTINUE)
				break;
		}
		// NFT_JUMP / NFT_GOTO / NF_ACCEPT / NF_DROP ...
	}
}

• 规则编译为 字节码 blob（表达式序列），求值用 nft_regs 寄存器
• jump stack 支持 jump/goto 子链
• gencursor 双缓冲：用户态更新规则时 RCU 切换，数据面无锁读

5.3 Hook 注册

nft_chain_filter.c 将 nft_do_chain_ipv4 注册到各 NF_INET_* hook：

1

[NF_INET_FORWARD] = nft_do_chain_ipv4,

nf_tables_api.c 中 nft_chain_hook 管理 base chain 与 nf_register_net_hook 的绑定。

5.4 用户态配置

1
2
3

nft add table ip filter
nft add chain ip filter forward { type filter hook forward priority 0 \; }
nft add rule ip filter forward tcp dport 22 accept

内核路径：nft → NFNL_SUBSYS_NFTABLES（nfnetlink）→ nf_tables_api.c。

6. iptables / x_tables（legacy）

xt_conntrack.c 依赖 nf_conntrack；xt_set.c 依赖 ipset。

7. nfnetlink 控制面

nfnetlink.c 实现 NETLINK_NETFILTER，子系统分发表 table[NFNL_SUBSYS_*]：

每 netns：netlink_kernel_create(net, NETLINK_NETFILTER, &cfg)。

详见 10-netlink内核用户通信机制与实现详解.md。

8. 辅助子系统

8.1 ipset（ipset/）

• ip_set_core.c：集合类型注册、ip_set_test/add/del
• 类型：hash:ip、hash:net、bitmap:port 等（ip_set_hash_*.c）
• 供 xt_set / nft_lookup 做大规模地址/端口匹配

8.2 nf_flow_table（快速转发）

nf_flow_table_core.c + nft_flow_offload.c：

• 对已 ESTABLISHED 连接缓存 flow_offload 条目
• 后续包可 绕过部分协议栈 直接转发（可硬件 offload）
• 依赖 conntrack tuple

8.3 ipvs（ipvs/）

Linux Virtual Server：L4 负载均衡，独立 hook 与调度器（rr、wlc、mh 等），与 filter/NAT 可叠加。

8.4 nf_queue / nf_log

• nf_queue.c：NF_QUEUE verdict 将 skb 送用户态（如 iptables -j NFQUEUE）
• nf_log.c / nfnetlink_log.c：LOG/NFLOG 目标

9. 模块依赖关系（简化）

10. 调试与 sysctl（常用）

1
2
3
4
5
6
7
8
9
10
11
12
13
14

# 规则
nft list ruleset
iptables -L -n -v

# 连接跟踪
cat /proc/net/nf_conntrack
sysctl net.netfilter.nf_conntrack_max

# 统计
cat /proc/net/stat/nf_conntrack
nft monitor trace    # 需内核 trace 支持

# drop 原因（较新内核）
# SKB_DROP_REASON_NETFILTER_DROP

11. RK3588 场景

无 net/netfilter/ 内 RK 补丁；板级差异来自 defconfig（CONFIG_NF_* 开关）与用户态规则。

12. 源码索引

13. 相关文档

• 10-netlink内核用户通信机制与实现详解.md
• 02-IPv4与传输层机制与实现详解.md
• 模块/rk3588-kernel-6.1-net-netfilter分析_zh.md

14. 小结

05 调度、tc、BPF 与 XDP 机制与实现详解

1. 三个相关子系统

tc 与 XDP 是 RK 上 QoS、高性能收包 的主要内核接口。

2. net/sched — Traffic Control

sch_*.c — 队列规程（pfifo_fast、fq_codel、htb…）
cls_*.c — 分类器（u32、flower、bpf…）
act_*.c — 动作（mirred、pedit、bpf、vlan…）

配置通路：NETLINK_ROUTE 的 tc 子族（tc qdisc、tc filter）。

数据路径：dev_queue_xmit → qdisc_enqueue → 驱动**；ingress 在 **__dev_xmit_skb` 之前 的 ingress qdisc。

3. core 中的 BPF 挂钩

• cls_bpf / act_bpf 在 sched；
• sock_map、sk_msg 在 core（BPF 与 socket 结合）；
• lwt_bpf.c — 轻量隧道 BPF。

4. net/bpf/

主要为 BPF_PROG_TEST_RUN 对网络程序类型的 内核自测（skb、xdp、flow_dissector 等），不是 数据面必经路径。

用户态加载程序走 bpf() 系统调用（kernel/bpf/syscall.c）。

5. XDP 两层

bpftool 加载 SEC("xdp") 程序；驱动需声明 NETDEV_XDP_ACT_* 能力。

6. ethtool 协同

net/ethtool/ 配置 ring、channel、pause 参数，影响 XDP/tc 性能上限。

7. RK3588

stmmac 等驱动 XDP 支持因版本/补丁而异，需查 ethtool -k 与驱动 Release notes。

专文：sched、bpf、xdp

8. 小结

sched = 队列与策略；BPF = 可编程挂载点；XDP = 尽早处理包。三者正交，可组合使用。

06 二层、桥接、无线与 socket 族机制与实现详解

1. 链路层与以太辅助

RK3588 板载 单口或双口 GMAC 常用 vlan；多口交换芯片可能 DSA。

2. 无线协议栈（框架在 net/）

芯片驱动（BCM/AP6212 等）在 drivers/net/wireless/，实现 ieee80211_ops。

net/wireless/Kconfig 中 ROCKCHIP_THUNDER_BOOT 影响部分默认项（非核心逻辑）。

3. 其它 socket 地址族（节选）

4. 管理与观测

5. RK3588：rfkill

CONFIG_RFKILL_RK → rfkill-wlan.c / rfkill-bt.c：

• rockchip_wifi_power() — WiFi 电源；
• rockchip_wifi_set_carddetect() — SDIO 检测；
• rockchip_wifi_mac_addr() — vendor storage MAC；
• GRF/syscon 引脚控制。

导出符号供 bcmdhd、brcmfmac 等模块调用。

详见 08-RK3588、rfkill 专文。

6. 小结

二层/无线 框架在 net/，芯片在 drivers/。RK 产品 WiFi/BT 必涉及 rfkill + cfg80211 + 厂商无线驱动 三角关系。

07 数据面路径与 drivers 分界机制与实现详解

1. 接收路径（RX）

要点：

1. 驱动 只做 DMA 描述符 → skb 封装、硬件 offload 标记；
2. GRO 在 core 合并；
3. Netfilter PRE_ROUTING 在 L3 入口；
4. 协议栈 向上递交到 socket 接收队列。

2. 发送路径（TX）

1
2

sock_sendmsg → proto_sendmsg → ip_queue_xmit → neigh_resolve_output
  → dev_queue_xmit → qdisc → ndo_start_xmit → DMA

TSO/GSO：在 core/protocol 分段，驱动发大包或硬件分段。

3. 分界表

4. RK3588 常见驱动位置

Device Tree 描述 MAC/PHY 在 arch/arm64/boot/dts/rockchip/，不在 net/。

5. 统计与调试接口

6. 与编解码/多媒体

RK3588 VPU/NPU 不走 net/ 主路径；RTP/RTSP 多在用户态或 MPP，内核仅提供 UDP socket。网络调优关注 带宽、抖动、防火墙。

7. 小结

排障时先确定层次：链路 up？（驱动）→ 路由？（fib）→ 过滤？（netfilter）→ 应用？（socket）。线速问题常落 驱动 + 中断亲和 + RPS。

08 RK3588 平台关联与使用场景详解

1. net/ 内 Rockchip 代码范围

全 net/ grep Rockchip 仅 4 个文件：

协议栈主体（ipv4、tcp、netfilter…）均为上游通用实现。

2. CONFIG_RFKILL_RK

1
2
3
4

config RFKILL_RK
	tristate "Rockchip RFKILL driver"
	depends on ARCH_ROCKCHIP
	depends on MMC

产物：rfkill-wlan、rfkill-bt 模块（或 built-in）。

2.1 导出 API（WLAN）

无线 芯片驱动（如 SDIO）在 probe 时调用上述接口，而非在 net/ipv4 内写死。

2.2 BSP 集成

• defconfig 常开 CONFIG_RFKILL=y + CONFIG_RFKILL_RK=m/y；
• U-Boot/loader 与 regulator 在 DT 定义，rfkill 脚本按 OF 解析 rockchip,grf 等。

3. 以太网（不在 net/）

RK3588 千兆：

• DT：gmac0、stmmac 或 rk_gmac 节点；
• 驱动：drivers/net/ethernet/；
• 调优：ethtool、netdev_budget、rps_sock_flow_table。

net/core 仅见 同一套 dev_queue_xmit 路径。

4. 典型产品场景

5. 推荐 defconfig 关注点

1
2
3
4
5
6
7
8

CONFIG_NET=y
CONFIG_INET=y
CONFIG_IPV6=y   # 按需
CONFIG_NETFILTER=y / NFTABLES
CONFIG_CFG80211=y
CONFIG_MAC80211=y
CONFIG_RFKILL=y
CONFIG_RFKILL_RK=y

关闭无用协议（ATM、TIPC、SMC…）可显著减小 vmlinux。

6. 调试命令（板端）

1
2
3
4
5
6
7

ip link
ip route
ss -tunap
nft list ruleset    # 或 iptables -L
ethtool -S eth0
cat /proc/net/softnet_stat
dmesg | grep -i rfkill

7. 关联文档

• 子目录横向：rk3588-kernel-6.1-net目录分析_zh.md
• RFKILL：rk3588-kernel-6.1-net-rfkill分析_zh.md
• 驱动：BSP drivers/net/ethernet、drivers/net/wireless
• 编号专题：本目录 01–07

8. 小结

RK3588 上 net/ 分析 = 通用 Linux 网络栈 + 少量 rfkill 平台 glue；性能与稳定性关键在 GMAC/无线驱动 + DT 电源时序，而非 ipv4 协议差异。

09 NAPI 收包轮询机制与实现详解

1. 概述

NAPI（New API）是 Linux 网卡 收包路径 的核心抽象：用 短硬中断 + 软中断批量轮询 替代“每包一进中断”，在高 PPS 场景下降低 CPU 开销、提高吞吐。

2. 要解决的问题

2.1 纯中断收包的问题

1

每包 → 硬中断 → 中断上下文收包、上交协议栈

• 中断次数 ≈ PPS，千兆/万兆时 CPU 耗在中断与上下文切换；
• 中断里不宜做重逻辑，却又必须及时处理；
• 多队列、多 CPU 时难以统一调度。

2.2 NAPI 的思路

1
2
3

硬中断：关中断/清状态 → napi_schedule()
软中断 NET_RX_SOFTIRQ：net_rx_action() → 驱动 poll() 批量收包（有 budget 上限）
收完或达到 budget：napi_complete() → 可再开中断

本质：中断 触发，收包 轮询，并由内核 统一限流。

3. 核心数据结构

定义于 include/linux/netdevice.h：

1
2
3
4
5
6
7
8
9
10
11
12

struct napi_struct {
	struct list_head    poll_list;      /* 挂在 per-CPU poll 队列 */
	unsigned long       state;          /* NAPI_STATE_* 状态位 */
	int                 weight;           /* 单次 poll 包数上限 */
	int                 (*poll)(struct napi_struct *, int);
	struct net_device   *dev;
	struct gro_list     gro_hash[GRO_HASH_BUCKETS];
	struct list_head    rx_list;
	struct hlist_node   napi_hash_node;
	unsigned int        napi_id;        /* busy poll 查找用 */
	/* ... timer, thread, skb 等 */
};

3.1 状态位（节选）

3.2 驱动回调 poll

1

int (*poll)(struct napi_struct *napi, int budget);

默认权重：NAPI_POLL_WEIGHT = 64。

4. 驱动侧 API

4.1 注册与生命周期

netif_napi_add_weight() 实现要点（net/core/dev.c）：

• 设置 napi->poll、napi->weight、napi->dev；
• 加入 dev->napi_list 与 napi_hash（busy poll）；
• 可选创建 NAPI 内核线程（dev->threaded）。

4.2 调度与完成

napi_schedule() 逻辑：

1
2

if (napi_schedule_prep(n))   /* CAS 置 SCHED，保证单实例 */
	__napi_schedule(n);       /* 加入本 CPU softnet_data.poll_list，触发软中断 */

4.3 收包辅助 API

5. 内核调度路径

5.1 流程图

5.2 net_rx_action（软中断）

net/core/dev.c 中 NET_RX_SOFTIRQ 处理函数：

1. 将当前 CPU softnet_data.poll_list 移到本地链表；
2. 循环对每个 napi_struct 调用 napi_poll() → __napi_poll() → napi->poll()；
3. 累计消耗 netdev_budget（默认 300）与 netdev_budget_usecs 时间片；
4. 预算用尽则 time_squeeze++，剩余 NAPI 留待下次软中断；
5. 若 poll_list 非空，再次 raise_softirq(NET_RX_SOFTIRQ)。

5.3 __napi_poll 与 repoll

1
2
3
4
5

work = n->poll(n, weight);
if (work < weight)
	return work;              /* 驱动应已 napi_complete */
/* work == weight：可能还有包 */
*repoll = true;               /* 加入 repoll 链表，本轮或下轮继续 */

6. 驱动模板代码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45

struct my_netdev_priv {
	struct napi_struct    napi;
	/* ... */
};

static int my_netdev_poll(struct napi_struct *napi, int budget)
{
	struct my_netdev_priv *priv = netdev_priv(napi->dev);
	int work = 0;

	while (work < budget) {
		struct sk_buff *skb;

		skb = my_hw_fetch_one_packet(priv);
		if (!skb)
			break;

		napi_gro_receive(napi, skb);
		work++;
	}

	if (work < budget)
		napi_complete_done(napi, work);

	return work;
}

static irqreturn_t my_netdev_isr(int irq, void *dev_id)
{
	struct net_device *dev = dev_id;
	struct my_netdev_priv *priv = netdev_priv(dev);

	/* 清中断源、关 RX 中断（视硬件而定） */
	napi_schedule(&priv->napi);
	return IRQ_HANDLED;
}

static int my_netdev_probe(...)
{
	struct my_netdev_priv *priv = ...;

	netif_napi_add(ndev, &priv->napi, my_netdev_poll);
	napi_enable(&priv->napi);
	/* 注册 IRQ ... */
}

注意：

• 不要在 poll 里睡眠；
• work > budget 会触发内核告警；
• 多 RX 队列：每队列一个 napi_struct + 独立 poll。

7. 系统级调优参数

7.1 观测

1
2
3
4

cat /proc/net/softnet_stat
# 列含义含：总处理包数、time_squeeze（预算不够被迫结束的次数）等

ethtool -S eth0    # 驱动层 RX 统计

time_squeeze 持续偏高 → 可适当增大 netdev_budget 或优化驱动/CPU 亲和。

8. 扩展机制

协议栈默认 per-CPU backlog 也用一个 NAPI：process_backlog()（非网卡驱动），处理未启用 RPS 时的输入队列。

9. RK3588 关联

调试千兆吞吐时：驱动 poll + netdev_budget + 中断亲和（smp_affinity） 需一并查看。

10. 源码索引

11. 相关文档

• 01-net-core核心机制与实现详解.md
• 07-数据面路径与drivers分界机制与实现详解.md
• core/rk3588-kernel-6.1-net-core-NAPI接口设计原理分析_zh.md（若存在早期笔记可对照）

12. 小结

10 Netlink 内核-用户通信机制与实现详解

1. 概述

Netlink 是 Linux 内核与用户态之间的 配置与事件总线，对应协议族 PF_NETLINK（socket(AF_NETLINK, SOCK_DGRAM, protocol)）。它不承载 IP 数据面流量，而是承载 路由、链路、防火墙、无线、审计 等控制消息。

1.1 目录与编译单元

1
2
3
4
5
6
7
8

net/netlink/
├── af_netlink.c    # 核心：socket、单播/组播、dump、ACK、nl_table
├── af_netlink.h    # netlink_sock、netlink_table（内部）
├── genetlink.c     # Generic Netlink：family 注册与分发
├── policy.c        # nla_policy 序列化导出
├── diag.c          # CONFIG_NETLINK_DIAG
├── Makefile
└── Kconfig

Makefile：obj-y := af_netlink.o genetlink.o policy.o

2. 架构总览

2.1 两类 Netlink

固定协议号有限；新子系统普遍走 genetlink，在 NETLINK_GENERIC 上再分 family id + cmd。

3. 核心数据结构

3.1 struct netlink_sock（af_netlink.h）

在 struct sock 之上扩展：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

struct netlink_sock {
	struct sock         sk;           /* 必须是第一个成员 */
	unsigned long       flags;        /* NETLINK_F_* */
	u32                 portid;       /* 本 socket 端口（类 PID） */
	u32                 dst_portid;   /* connect 后的默认目标 */
	u32                 dst_group;    /* connect 后的默认组播组 */
	u32                 subscriptions;
	u32                 ngroups;
	unsigned long       *groups;      /* 订阅的组播位图 */
	void                (*netlink_rcv)(struct sk_buff *skb);  /* 内核 socket 收包回调 */
	int                 (*netlink_bind)(struct net *, int group);
	struct netlink_callback cb;       /* dump 状态 */
	bool                cb_running;
	/* ... */
};

用户态 socket：netlink_rcv == NULL，消息入 sk_receive_queue，由 recvmsg 读出。
内核 socket：netlink_rcv 指向如 rtnetlink_rcv、genl_rcv，在 netlink_unicast 中同步调用。

3.2 nl_table[MAX_LINKS]

全局表，每个 protocol 号一项：

查找用 RCU；插入/删除用 nl_table_lock + per-bucket 锁。

3.3 消息格式：nlmsghdr + 载荷

1
2
3
4
5
6
7

struct nlmsghdr {
	__u32 nlmsg_len;    /* 含头部的总长度 */
	__u16 nlmsg_type;   /* 消息类型 / genl family id */
	__u16 nlmsg_flags;  /* NLM_F_REQUEST, NLM_F_MULTI, NLM_F_ACK ... */
	__u32 nlmsg_seq;
	__u32 nlmsg_pid;    /* 发送方 portid */
};

skb 的 NETLINK_CB(skb)（struct netlink_skb_parms）携带路由元数据：portid、dst_group、creds 等。

Generic Netlink 在 nlmsghdr 后还有 genlmsghdr（cmd、version），属性区用 NLA（struct nlattr）。

4. 初始化与挂接

4.1 netlink_proto_init()（core_initcall）

af_netlink.c 启动时：

1. proto_register(&netlink_proto)
2. nl_table = kcalloc(MAX_LINKS, ...)，每表项初始化 rhashtable
3. netlink_add_usersock_entry() — 预注册 NETLINK_USERSOCK
4. sock_register(&netlink_family_ops) — 挂到 socket.c 的 net_families[PF_NETLINK]
5. register_pernet_subsys — 每 netns 的 /proc/net/netlink
6. rtnetlink_init() — 在 net/core/rtnetlink.c 注册 NETLINK_ROUTE

4.2 用户态创建 socket

1
2
3
4

socket(AF_NETLINK, SOCK_DGRAM, NETLINK_ROUTE)
  → socket.c __sock_create()
  → netlink_create()           # 检查 nl_table[protocol].registered
  → __netlink_create()         # sk_alloc(netlink_sock)、设置 netlink_ops

netlink_create() 若协议未注册，可 request_module("net-pf-16-proto-N") 加载对应模块。

4.3 内核创建监听 socket

1
2
3
4
5
6
7
8

struct netlink_kernel_cfg cfg = {
	.groups   = RTNLGRP_MAX,
	.input    = rtnetlink_rcv,      /* 收包回调 */
	.cb_mutex = &rtnl_mutex,
	.flags    = NL_CFG_F_NONROOT_RECV,
	.bind     = rtnetlink_bind,
};
sk = netlink_kernel_create(net, NETLINK_ROUTE, &cfg);

__netlink_kernel_create() 会：创建内核 socket、设置 NETLINK_F_KERNEL_SOCKET、netlink_insert(sk, 0)、填充 nl_table[unit]。

5. 用户态 → 内核（发送路径）

5.1 netlink_sendmsg()

1. 从 msg_name（struct sockaddr_nl）或 connect() 缓存取 dst_portid、dst_group
2. 未 bind → netlink_autobind() 分配 portid 并插入 hash
3. netlink_alloc_large_skb() 分配 skb，用户数据 memcpy_from_msg
4. security_netlink_send() LSM 检查
5. 有 dst_group → netlink_broadcast()；否则 netlink_unicast()

5.2 netlink_unicast() 分支

1
2
3
4

netlink_getsockbyportid(ssk, portid)
  ├─ 目标为内核 socket → netlink_unicast_kernel()
  │     └─ nlk->netlink_rcv(skb)    # 如 rtnetlink_rcv / genl_rcv
  └─ 目标为用户 socket → netlink_sendskb()  # 入接收队列

5.3 netlink_rcv_skb() — 统一解析入口

内核 handler 普遍通过此函数处理 一个 skb 内多条消息：

1
2
3
4
5
6
7
8
9
10
11

while (skb->len >= nlmsg_total_size(0)) {
	nlh = nlmsg_hdr(skb);
	if (!(nlh->nlmsg_flags & NLM_F_REQUEST))
		goto ack;                    /* 非请求跳过处理 */
	if (nlh->nlmsg_type < NLMSG_MIN_TYPE)
		goto ack;                    /* 控制消息 */
	err = cb(skb, nlh, &extack);     /* 子系统回调 */
	if (nlh->nlmsg_flags & NLM_F_ACK || err)
		netlink_ack(skb, nlh, err, &extack);
	skb_pull(skb, NLMSG_ALIGN(nlh->nlmsg_len));
}

仅带 NLM_F_REQUEST 的消息由内核处理；需要确认时发 netlink_ack()（含扩展 ACK TLV）。

6. 内核 → 用户态（接收/通知）

netlink_broadcast() 遍历 nl_table[protocol].mc_list，对 nlk->groups 中对应 bit 已置位的 socket 调用 netlink_broadcast_deliver()。

用户态 netlink_recvmsg()：

• skb_recv_datagram() 取 skb
• 拷贝数据到用户缓冲区
• 填充 sockaddr_nl（来源 portid、组）
• 若 cb_running 且接收缓冲有空 → 触发 netlink_dump() 继续 dump

7. Dump 机制（大数据量查询）

ip link、RTM_GETLINK 等不会一次返回全部条目：

要点：

• __netlink_dump_start() 设置 nlk->cb 与 cb->dump 回调
• 每次 recvmsg 可能触发 netlink_dump()，按用户 max_recvmsg_len 分配 skb
• 结束发 NLMSG_DONE（netlink_dump_done()）
• dump 期间持有 per-protocol cb_mutex（如 rtnl_mutex）

8. Generic Netlink（genetlink.c）

8.1 动机

• 固定 NETLINK_* 协议号不够用；
• 需要统一的 family / cmd / attribute 模型与动态注册。

8.2 初始化

1
2
3
4
5
6

// genl_pernet_init
net->genl_sock = netlink_kernel_create(net, NETLINK_GENERIC, &cfg);
// cfg.input = genl_rcv

// genl_init
genl_register_family(&genl_ctrl);   /* 控制器 family */

8.3 收包分发

1
2
3
4
5
6

genl_rcv(skb)
  → netlink_rcv_skb(skb, genl_rcv_msg)
  → family = genl_family_find_byid(nlh->nlmsg_type)
  → genl_family_rcv_msg()
       ├─ op.dumpit → genl_family_rcv_msg_dumpit
       └─ op.doit   → genl_family_rcv_msg_doit

8.4 子系统注册

1
2
3
4
5
6
7
8

static struct genl_family nl80211_fam = {
	.name    = NL80211_GENL_NAME,
	.ops     = nl80211_ops,
	.n_ops   = ...,
	.mcgrps  = nl80211_mcgrps,
	/* ... */
};
genl_register_family(&nl80211_fam);

genl_register_family()：校验 ops → idr_alloc 分配 family id → 分配组播组 → 向 genl_ctrl 发 CTRL_CMD_NEWFAMILY 事件。

控制器查询：用户态 GENL_ID_CTRL + CTRL_CMD_GETFAMILY 可发现已注册 family 与 ops。

9. 固定协议示例：rtnetlink

实现于 net/core/rtnetlink.c（非 net/netlink/ 目录，但建立在 netlink 框架上）：

注册（每 network namespace）：

1
2

sk = netlink_kernel_create(net, NETLINK_ROUTE, &cfg);
net->rtnl = sk;

rtnetlink_rcv → netlink_rcv_skb → 各 rtnl_* 处理函数；变更通过 RTMGRP_* 组播 通知监听者。

10. 其它 netlink 文件

10.1 常见 protocol 号（节选）

完整列表见 include/uapi/linux/netlink.h。

11. 与 socket.c 的分工

netlink_ops 注册的操作（节选）：

1
2
3
4

.sendmsg = netlink_sendmsg,
.recvmsg = netlink_recvmsg,
.bind    = netlink_bind,
.connect = netlink_connect,

12. RK3588 使用场景

Netlink 为上游通用实现，无 Rockchip 专属补丁于 net/netlink/。RK3588 板上典型用法：

调试 netlink 可用：strace -e sendmsg,recvmsg ip link show、nlmon（抓 netlink 包）、/proc/net/netlink。

13. 源码索引

14. 相关文档

• 01-net-core核心机制与实现详解.md — rtnetlink、sock 分层
• 06-二层桥接无线与socket族机制与实现详解.md — nl80211
• 04-netfilter与包过滤机制与实现详解.md — nfnetlink
• 09-NAPI收包轮询机制与实现详解.md — 数据面收包（与 netlink 正交）

15. 小结