大家好，关于IB网络故障的6个常见问题很多朋友都还不太明白，不过没关系，因为今天小编就来为大家分享关于的知识点，相信应该可以解决大家的一些困惑和问题，如果碰巧可以解决您的问题，还望关注下本站哦，希望对各位有所帮助！

machine-19: [0] Transport/net_ib.cc:839 NCCL WARN NET/IB : 已完成，错误12，操作码0，len 0，供应商错误129 原因：错误12，表明RDMA 网络不可用。

需要分析底层网络为什么被阻塞。

例如：

是否只是网络故障或不正确的pfc 流量控制导致数据包丢失？如果是（2）偶尔失败，可以参考pfc设置规则：《为什么华为云上AI训练必须设置NCCL_IB_TC=128-云社区-华为云》

二、ib_write_bw不通

错误1：

root@tsjsdbd:~# ib_write_bw——————————————————– —– —————RDMA_Write BW Test双端口： OFF 设备： mlx4_0qps 数量： 1 传输类型： IB 连接类型：使用SRQ 的RC : OFFCQ 审核： 100Mtu : 2048 [B]链接类型： IBMax 内联数据： 0[B]rdma_cm QP : OFFData ex。方法：以太网——————————————————– ———本地地址： LID0x81 QPN0x160b3 PSN0xa072 RKey0x68010802 VAddr0x007f184171a000远程地址： LID0x35 QPN0xc5a0b PSN0xaa465a RKey0x20010802 VAddr 0 x 007f3ca2b9c000—- ————- ———————————————————————— ——————#bytes #iterations BW 峰值[MB/秒] BW 平均值[MB/秒] MsgRate[Mpps]ethernet_read_keys: 无法读取远程地址Unable读取socket/rdam_cm无法在服务器和客户端之间交换数据错误2：

root@tsjsdbd:~# ib_write_bw -F 29.26.130.185 -d mlx5_5———————————— ——— ———————–RDMA_Write BW Test双端口： OFF 设备： mlx5_5qps 数量： 1 传输类型： IBConnection类型： RC 使用SRQ : OFFPCIe 放宽顺序： ONibv_wr * API : ONTX 深度： 128CQ 审核： 1Mtu : 2048[B]链路类型：以太网GID 索引： 3Max 内联数据： 0[B]rdma_cm Q Ps : OFFData 前。方法：以太网———————— ————————————– —————本地地址： LID0x81 QPN0x160b3 PSN0xa072 RKey0x68010802 VAddr0x007f184171a000GID: 00:00:00:00:00:003360003 336000:00:00:2553 3360255:29:26:130:235远程地址： LID0x35 QPN0xc5a0b PSN0xaa465a RKey0x20010802 VAddr0x00 7f3ca2b9c000GID: 00:003 336000:00:00:00:00:00:00:00:255:255:29:26:1303 3360185——– ———————————————————————— ————————————————–#bytes #iterations BW 峰值[ MB/sec] BWaverage[MB/sec] MsgRate[Mpps]Completion with error at clientFailed status 12: wr_id 0 Syndrom0x81scnt=128, ccnt=0Failed to Complete run_iter_bw function success 这表明网络不可用，需要继续分析RDMA 链路。

三、ibv_rc_pingpong不通

错误：

ibv_rc_pingpong -d mlx5_bond_0 -g 3 29.28.195.228本地地址： LID0x0000，QPN0x01417f，PSN0x63d7fa，GID :ffff:29.28.201.21远程地址： LID x0 000，QPN0x00132d，PSN0x8c0a5b，GID :ffff:29.28.195.228超过失败状态传输重试计数器（ 12) for wr_id 2parse WC failed 1 表示网络不可用，需要分析IP网络不可用的原因。

四、rping不通

错误1：

rping -c -a 29.28.195.228 -v -C 10cma event RDMA_CM_EVENT_ADDR_ERROR, error -110waiting for addr/route resolution state 1 表示该地址无法连接，需要继续判断IP链接是否打开。

错误2：

rping -c -a 29.28.197.165 -C 10 -vcma event RDMA_CM_EVENT_REJECTED, error 8wait for CONNECTED state 4connect error -1 此Reject 表示连接被拒绝。很简单，因为rping工作时，需要先启动一个服务器端进程，然后尝试发起客户端到服务器端的连接。

所以先启动服务器。

rping -s 29.28.201.211 -v

五、ping不通

错误：

ping 29.28.195.228PING 29.28.195.228 (29.28.195.228) 56(84) 字节数据。来自29.28.204.80 icmp_seq=1 目标主机无法从29.28.204.80 icmp_seq=2 目标主机无法从29.2 到达8.204.80 icmp_seq=3 目标主机无法到达29.28 .204.80 icmp_seq=4 目标主机无法访问^C— 29.28.195.228 ping 统计数据—传输5 个数据包，收到0 个数据包，+4 个错误，100% 数据包丢失，时间4045ms 假设该估计值接近根错误交换机连接一切正常。这基本上是一个路由设置问题：

可用的

# ip route get 29.28.204.80 from 29.28.201.21129.28.204.80 from 29.28.201.211 dev enp137s0f0 uid 0 确认发送报文的网卡是否选择正确。

如果是“同一个网段多个IB网卡”的情况，比如A100或者A800业务，有8个IB网卡，而且都在同一个网段。需要通过策略路由设置“源地址路由”规则来解决各个IP之间的互通问题。参见：《跟唐老师学习云网络》 – RoCE多网卡时，数据包能通过但不能回来- 云社区- 华为云》