网络环路

网络环路

本文主要探讨网络环路的成因,危害以及预防

环路的三类形态

把环路按”环从哪来”分,比按现象分有用得多。三类环路的排查和防护手段几乎不重叠:

形态 环在哪 载体 STP 能发现吗 怎么堵
拓扑成环 二层拓扑,多条路径 广播为主 能 STP / BPDU guard / port-security
SDN 软交换成环 OVS 与物理交换机混连 广播为主 不能(BPDU 被丢) 隔离管理面,别让软交换机接入生产 L2
单端口反射 数据平面,帧从入口端口被弹回 未知单播 不能,没有物理环 关未知单播泛洪 + 修数据平面

前两类是”路径多了”,第三类是”路径唯一,但方向反了”。第三种最难查,因为它没有任何拓扑异常,
带宽也未必打满,危害体现在转发表被污染上。具体案例见「单端口反射型环路」一节。

交换机之间多条网线导致环路

image.png

如图sw1/2/3 三个交换机形成一个环路,一个arp广播包从sw1出来到sw2,然后到sw3,再然后又从sw3回到sw1,形成一个环路,这个arp包会重复前面的传播过程进而导致这个包一直在三个交换机之间死循环,进而把三个交换机的CPU、带宽全部打满,整个网络瘫痪

对这种网络环路网络工程师们非常忌惮,因为一旦形成非常不好排查,并且整个网络瘫痪,基本上是严防死守。同时交换机也提供了各种功能(算法、策略)来自动检测网络环路并阻断网络环路。

比如上图中交换机能检测到虚线形成了环路,并自动把这个交换机口Down掉以阻止成环。

交换机对环路的阻断–STP(Spanning TreeProtocol)协议

STP协议的基本思想十分简单。大家知道,自然界中生长的树是不会出现环路的,如果网络也能够像一棵树一样生长就不会出现环路。于是,STP协议中定义了根桥(RootBridge)、根端口(RootPort)、指定端口(DesignatedPort)、路径开销(PathCost)等概念,目的就在于通过构造一棵自然树的方法达到裁剪冗余环路的目的,同时实现链路备份和路径最优化。用于构造这棵树的算法称为生成树算法SPA(Spanning TreeAlgorithm)。(摘自:http://network.51cto.com/art/201307/404013.htm)

STP是通过BPDU的网络包来在交换机之间交换信息、判断是否成环

一个STP的Case

下图是抓到的STP网络包
image.png

STP协议的后果就是带宽效率低,所以出现了PVST、PVST+、RSTP、MISTP、MSTP,这些协议可能不同厂家的交换机都不一样,互相之间也不一定兼容,所以是否生效要以实际测试为准

用tcpdump抓取stp包

$ sudo tcpdump -vvv -p -n -i eth1 stp
tcpdump: listening on eth1, link-type EN10MB (Ethernet), capture size 65535 bytes

15:44:10.772423 STP 802.1d, Config, Flags [none], bridge-id  8000.MAC.8687, length 43
message-age 0.00s, max-age 20.00s, hello-time 2.00s, forwarding-delay 15.00s
root-id 8000.MAC, root-pathcost 0
15:44:12.768245 STP 802.1d, Config, Flags [none], bridge-id 8000.MAC8.8687, length 43
message-age 0.00s, max-age 20.00s, hello-time 2.00s, forwarding-delay 15.00s
root-id 8000.MAC, root-pathcost 0
15:44:14.766513 STP 802.1d, Config, Flags [none], bridge-id 8000.MAC.8687, length 43
message-age 0.00s, max-age 20.00s, hello-time 2.00s, forwarding-delay 15.00s
root-id 8000.MAC, root-pathcost 0
15:44:16.766478 STP 802.1d, Config, Flags [none], bridge-id 8000.MAC.8687, length 43
message-age 0.00s, max-age 20.00s, hello-time 2.00s, forwarding-delay 15.00s
root-id 8000.MAC, root-pathcost 0
15:44:18.767851 STP 802.1d, Config, Flags [none], bridge-id 8000.MAC.8687, length 43
message-age 0.00s, max-age 20.00s, hello-time 2.00s, forwarding-delay 15.00s
root-id 8000.MAC, root-pathcost 0	

交换机上看到的STP

C4948-D2-08-36U#show run int g1/31
Building configuration...

Current configuration : 482 bytes
!
interface GigabitEthernet1/31
 description to D2-9-09/10U-GWR730-eth1
 switchport access vlan 270
 switchport mode access
 switchport port-security maximum 50
 switchport port-security
 switchport port-security aging time 2
 switchport port-security violation restrict
 switchport port-security aging type inactivity
 switchport port-security aging static
 storm-control broadcast level 20.00
 spanning-tree portfast
 spanning-tree bpduguard enable
 spanning-tree guard root
end

SDN或者说OVS对网络环路的影响

前面讨论的都是硬件交换机之间的网络环路以及硬件交换机对这些环路的处理,那么在SDN和OVS的场景下有没有可能成环呢? 成环后硬件交换机能不能检测到,或者软交换机自己能否检测到并阻止这些环路呢?

来看一个OVS场景下的成环Case

image.png

上图中红色虚线部分组成了一个环路,是为了组成环路而人为构造的场景,同时发现OVS只支持STP算法,打开也没有用,因为OVS和硬件交换机之间没法通过BPDU来协商判断环路(物理交换机丢掉了硬件交换机的BPDU包)。

也就是在硬件网络环境固定的情况下,我们可以在Linux环境下鼓捣出来一个网络环路,同时让Linux所在的物理二层网络瘫痪掉(好屌)

在这种网络环路下后果

  • 整个二层网络瘫痪,所有交换机CPU 100%,带宽100%
  • 连接在交换机上的所有服务器SYS CPU飙升到 30%左右(没有啥意义了,服务器没法跟外部做任何交流了)

交换机的CPU状态:

image.png

成环后抓到的arp广播风暴网络包(实际我只发了一个arp包):

image.png

其它网络环路

  • 直接把两个交换机用两根网线连接起来就是个环路
  • 拿一根网线两头连接在同一个交换机的两个网口上(短路) 2006年的一个Case: https://www.zhihu.com/question/49545070,不过现在的交换机基本上都能识别这种短路
  • 两个交换机之间做bond失败,导致环路或者三角形(三角形的话会导致多个网口对应同一个mac地址,进而导致这个mac地址网络不通,三角形不会形成网络风暴)

单端口反射型环路:LoxiLB eBPF 的 L2 反射(NY4 机房,2026-10)

这一类跟前面讲的都不一样:拓扑上没有任何环路,STP 看不见,
storm-control 挡不住,带宽监控也看不出来。它是"未知单播被原样弹回"
加上"交换机泛洪"组合出来的环路,属于数据平面自己造环。

现象

https://github.com/loxilb-io/loxilb/issues/1153

2026-10-15 起,NY4 机房一批机器偶发流量暴涨,业务侧表现为 Redis 超时、连接池耗尽,loxilb 两台节点的日志显示同一时间段失联、各自升级为 master(脑裂)。

同一个宿主机上所有虚机同时出现流量高峰,loxilb 的峰值最高,但不是唯一:

宿主机 虚拟机 业务 现象
1.2.3.60 1.2.3.13.140 loxilb 峰值约 300 Mbps
1.2.3.60 1.2.3.13.41 quote.watchlist-rpc 约 40 Mbps
1.2.3.60 1.2.3.13.36 quote-history-rpc 约 40 Mbps
1.2.3.60 1.2.3.13.28 stock-quote 约 40 Mbps
1.2.3.60 1.2.3.13.24 quote-perm-rpc 约 40 Mbps

最早怀疑是 Redis 大 key / hgetall,被排除的特征是:入流量大、出流量小;而且是小 key,
国内机房请求量更大反而没出问题。这个方向排除掉之后,才转到网络层。

拓扑

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
             ① 网关做 L3 转发进来
SMAC = 网关 MAC
DMAC = .199 的旧 MAC
│
▼
┌───────────────────┐
│ 核心交换机 │ CAM 里查 DMAC → 未命中
│ VLAN 2130 │ → 未知单播泛洪
└─────────┬─────────┘
② 泛洪到整个 VLAN
┌────────────┴────────────┐
▼ ▼
Host 1.2.3.60 Host 1.2.3.59
br1.2130 br1.2130
│ │
[loxilb A] eth0 [loxilb B] eth0
TMAC 未命中 TMAC 未命中
dmac_map 命中 dmac_map 命中
bpf_redirect(2) bpf_redirect(2)
│ │
└────③ 原样弹回 ───────────┘
│
▼
回到交换机
SMAC 还是网关 MAC → 学到网关 MAC 在 loxilb 的端口
DMAC 还是 .199 MAC → 仍然未知 → ④ 再泛洪
│
└──→ 又到 A 和 B → 再弹 → 无限重复

两台 loxilb 都在 one-arm 模式下跑 FullNAT 业务,eth0 既是入口也是唯一出口,同一个广播域,同一个镜像。

根因链条

这个事故是一层一层放大的,缺任何一层都不会炸:

第 1 层:触发源 —— 幽灵 NTP 流量

一台遗留下来的测试服务器持续产生 NTP 流量,目的主机在 VLAN 2130 内不存在,
也不匹配任何 VIP/service。(群聊里对 1.2.3.13.199 是发送方还是目的地址的表述不一致;
issue 里抓到的帧是 NTP 服务器发起、源端口 123,发往一个不存在的目标主机。
两种说法指向同一个事实:有一批不该存在的、目的不可达的流量进入了这个 VLAN。)

第 2 层:老化窗口错配 —— 泛洪

1
2
交换机 CAM 表老化:  5 分钟
loxilb 邻居表: 4 小时(ARP 里有,CAM 里没有)

目的 MAC 在 CAM 里查不到出端口,于是被当成未知单播(unknown unicast)在 VLAN 2130 内泛洪,
落到 loxilb 上。

第 3 层:loxilb 的 L2 反射 —— 这是真正的 bug

1
2
3
4
5
6
7
8
9
10
11
帧到达 eth0
│
├─ 目的 MAC 不是 loxilb 自己(TMAC 未命中)→ 跳过 L3 处理
│
├─ dp_do_dmac_lkup() 查 dmac_map
│ 命中该邻居的条目:ca.act_type = 5 (DP_SET_RM_L2VLAN)
│ vlan_act.oport = 2
│
├─ tx_intf_map[2] = 2 → Linux ifindex 2 = eth0 自己
│
└─ bpf_redirect(2, 0) → 从入口同一个网口发出去

结果:SMAC、DMAC、TTL、IPv4 ID、checksum 全部不变,帧被逐字节弹回。
第一包走慢路径(CT program → dp_eg_l2());单向 UDP 建立 conntrack 之后(8 个包),
这个动作被缓存进 fc_v4_map,之后走 fast path bpf_redirect()。

问题的根源在 loxinet 侧:pkg/loxinet/neighbor.go:460 在 leaf port 上为每个已解析的
邻居建一条 L2 Pair 条目,而 one-arm 模式下所有邻居的 MAC 都指向同一个端口。
eBPF 侧查表逻辑本身没错(dmac_map 和 fc_v4_map 两次查找都成功返回,action 是显式写入的),
是这条 action 在语义上就不该被执行。

第 4 层:转发表污染 —— 这才是杀业务的地方

1
2
3
4
5
6
7
8
9
10
11
反射帧带着网关的源 MAC 回到交换机
↓
交换机学到:网关 MAC 在 loxilb 的端口上
↓
全 VLAN 发往网关的流量被错误转发到那台 Host
↓
三层中断(此时带宽只用了 300 Mbps,链路完全没饱和)
↓
Host 上 BFD 处理资源被耗尽 → HA/VIP 频繁切换 → loxilb 双节点脑裂
↓
两台 loxilb 互相弹射,形成自持环路

注意第 4 层:危害的主路径不是带宽打满,是转发表被投毒。 所以这件事看带宽监控看不出来,
必须看 CAM/MAC 表。

证据

来自 upstream issue 1153 的抓包:

1
2
3
4
5
6
7
8
9
10
11
eth0 ingress packets captured: 126736
eth0 egress packets captured: 126736
kernel capture drops: 0 on both directions

ingress timestamp: 1793088294.141598940
egress timestamp: 1793088294.141740084
delta: 141 微秒

INGRESS_SHA256 = c2b7d061...a1d229
EGRESS_SHA256 = c2b7d061...a1d229
FRAME_IDENTICAL = True

BPF map 状态:

1
2
3
4
5
6
7
8
9
10
11
dmac_map:
key: dmac = <非 VIP 目标 MAC>, bd = <BD>
value: ca.act_type = 5 (DP_SET_RM_L2VLAN), vlan_act.oport = 2

fc_v4_map:
LOOKUP_RC = 0
value.ca.oaux = 2
SNAT act_type = 0 # 未激活
DNAT act_type = 0 # 未激活
NEIGH_L2 act_type = 0 # 未激活
RM_L2VLAN act_type = 5 # 激活,oport = 2

四个动作槽里只有一个 L2VLAN 生效,没有任何 NAT / 邻居改写 / 隧道变换。

和广播环路的区别

这一节的对照很实用,因为两者现场看起来都是”流量暴涨”,但排查手法完全相反。

维度 交换机拓扑成环(前文) 单端口反射型(本案例)
成环位置 二层拓扑,多条路径 eBPF 数据平面,单端口回环
风暴载体 广播(ARP 风暴) 未知单播
触发条件 插错线、bond 配置失败 常规配置 + 老化窗口错配
STP 能否发现 能,BPDU 协商可剪枝 不能,没有物理环,不产生异常 BPDU
storm-control 能挡住(broadcast 抑制) 不能,管不到单播
危害主路径 带宽、CPU 打满 转发表污染,三层中断
带宽量级 100%,整网瘫痪 300 Mbps,链路没饱和
连带影响 服务器无法对外通信 MAC flap → BFD 耗尽 → HA 脑裂
看什么定位 交换机 CPU、端口流量 CAM 表漂移、双向帧对比
怎么堵 STP / BPDU guard / port-security 关闭未知单播泛洪 + 修数据平面

共享的底层特征:二层没有 TTL。 广播帧和反射帧在交换机里转发时都不递减任何计数,
所以都能无限循环,必须靠外部机制掐断。

为什么成熟软件桥不会有这个问题

IEEE 802.1D 的基本转发规则里有一条:帧不能被从它进来的那个端口发出去。
Linux bridge 默认执行这条,要打破它必须显式开 hairpin:

1
2
bridge link set dev vnetX hairpin on     # 默认 off
cat /sys/class/net/brX/brif/vnetX/hairpin

OVS 同理。loxilb 的 eBPF 数据平面在这个场景下缺了这道保护——不是 eBPF 特有的新问题,
是漏掉了一个成熟软件桥早就有的常识性约束。

排查手法

带宽监控在这种故障里基本失效,有效的是这几步:

1. 双向抓包对比,判断是否原样回环

1
2
3
tcpdump -i eth0 -e -n -w in.pcap      # 入口
tcpdump -i eth0 -e -n -w out.pcap # 出口
sha256sum in.pcap out.pcap

最直接的判定标准:同一时刻 ingress 和 egress 的帧 SHA256 相同,TTL、IP ID、checksum 都没变。
正常转发必然至少改 MAC,NAT 还会改 IP/端口/TTL/checksum。

2. 看转发表漂移

1
2
3
4
5
# 交换机上反复看网关 MAC 在哪个端口
show mac address-table address <网关MAC>

# 宿主机上
bridge fdb show dev br1.2130 | grep <网关MAC>

网关 MAC 在物理上行口和某台 Host 的 tap 之间反复跳,就是这个病的典型表征。

3. 查 eBPF 动作缓存

1
2
bpftool map dump pinned /sys/fs/bpf/llb/maps/fc_v4_map
bpftool map dump pinned /sys/fs/bpf/llb/maps/dmac_map

找只有 RM_L2VLAN、NAT/邻居槽全空的条目,并确认 oaux 指向的 ifindex 就是入口网口。

4. 排除法

loxilb 跑 FullNAT 时正常流量一定同时有 SNAT 和 DNAT。如果抓到的包”没做任何变换”,
说明它压根没匹配任何 VIP/service——它不是 LB 流量,是被误当成 L2 转发的杂包。
这个观察本身是对的,但不能反过来当成”不是 loxilb 的问题”的证据。

防护

loxilb 自身没有能关掉这条路径的参数(options/options.go 里没有相关开关,
neighbor.go:460 建 L2 Pair 是无条件的)。所以缓解只能做在 loxilb 外面。

1. 切断反射输入(最有效)

不让未知单播到达 loxilb 的网卡:

1
2
3
4
5
6
# 宿主机侧,关掉 loxilb tap 的未知单播泛洪
bridge link set dev vnetX unicast_flood off
cat /sys/class/net/br1.2130/brif/vnetX/unicast_flood

# 交换机侧
# 对 loxilb 接入端口开 unknown-unicast suppression / 风暴抑制

上线前必须确认 VIP 流量的目的 MAC 是不是 loxilb eth0 自己的 MAC。
如果是独立的虚拟 MAC,关泛洪会导致交换机学会之前 VIP 流量被丢,要先配静态 FDB。

2. 对齐老化时间,消除泛洪窗口

交换机 CAM 5 分钟、loxilb 邻居 4 小时,这 4 小时的差就是未知单播窗口。
要么把 CAM aging 调长,要么把邻居老化调短到 5 分钟以内。

3. 断开往返路径

乒乓需要两台 loxilb 的 datapath 同时在线。实测停掉一台后,反射仍然发生,
但形不成持续风暴——因为没有对端弹射,能量守恒,环路自持不起来。
注意是停掉进程,不是 keepalived 切 BACKUP(eBPF 程序还挂着,照样反射)。

4. 限制爆炸半径

1
2
# 宿主机制上拦掉带网关源 MAC、从 loxilb tap 出去的帧,防止污染交换机 CAM
ebtables -A FORWARD -i vnetX -s <网关MAC> -j DROP

这是治”损伤”不是治”环路”,但在修复上线前能保住整个 VLAN 的三层连通性。

上游修复

1
2
3
4
5
loxilb-ebpf PR #108   8ca0f566  ebpf: do not bridge a frame back out of its ingress port
↓
loxilb PR #1154 2ade58db submodule bump 89ddc6a → 1fc8d70
↓
merged 2026-11-06 03:43 UTC

修复逻辑:当 oport == iport,且无 TMAC 命中、无 NAT、无 nexthop、无隧道变换时,
帧交给内核处理(新增 reason LLB_PIPE_RC_L2_REFLECT = 0x40000000),
内核按没有 loxilb 时的行为丢弃。因为不再 redirect,也就不会再建 flow cache 条目。
合法的 one-arm FullNAT、DSR、路由转发不受影响。

代价:这类帧从 fast path 的约 207 ns 变成 slow path 的约 890 ns(kernel 5.15,
20000 帧实测)。

已知残留:bond 作为 bridge member 时检查不生效(iport 是 slave 端口、oport 是 bond 端口,
两者不相等,仍会回环)。

截至 2026-11-11,修复在 main 上,还没有发布版本(最新 release 仍是 v0.9.8.8,
2026-08-07 发布)。要上线只能从 main 自建镜像,或者等 v0.9.8.9。

这个案例给出的几条通用结论

  • 二层放大没有自愈能力,必须外部掐断;但在 eBPF/XDP 数据平面里,”外部”指的是数据平面之外
  • “不是广播风暴”不等于”不是环路”。未知单播泛洪是 storm-control 的盲区,很多交换机默认只管广播
  • 带宽监控只能发现能耗型故障,投毒型(转发表污染)要看 CAM/FDB 的变化
  • 软件定义的数据平面绕过了内核栈,也绕过了内核几十年积累的转发约束,这类边界情况会反复出现
  • 单节点测不出来不能证明无罪:环路需要两端,缺一端只是形不成自持

参考资料:

https://www.zhihu.com/question/49545070

http://network.51cto.com/art/201307/404013.htm