未分類
25 3 月 2021

NAS 诡异 UDP 丢包问题

NAS 诡异 UDP 丢包问题

資深大佬 : frostnotfall 0

说前提：

R720xd, Esxi 7.0 U2, Intel X540 万兆 SR-IOV 给 WinServer 2019 作为 NAS 使用

发现问题

发现 samba 局域网共享听歌总是卡顿，iperf3 测试 UDP 丢包达 80%以上！

处理经过

  1. 怀疑网线或网口问题，更换了多个，没解决
  2. 怀疑主力机问题，格式化重装系统+更换万兆网卡+尝试板载网卡，还是丢包
  3. ESXi 上 win server 从 2019 换到 2016，虚拟机都是彻底删除重新建立的，无效
  4. 怀疑局域网内设备问题，比如 ARP 缓存之类的，路由器+万兆交换机双双重置，无效
  5. 索性将 ESXi 整个格式化了重新安装，无效

细节阐述

  1. ESXi 上的 winserver 2019 做 server 端，主力机做 client 端，测试丢包
  2. 主力机做 server 端，ESXi 上的 winserver 2019 做 client 端，不丢包
  3. iperf3 测试过程中使用 wireshark 抓包，只看 UDP 协议，没有异常包出现

剩下只能怀疑是 windows 系统层面的问题了，但是这块参考 ESXi 和 windows 的策略均无效，

  1. 网卡参数，巨帧开关，测试还是丢包
  2. 网卡参数，接收缓冲区，传输缓冲区，改了还是丢包
  3. MTU 更改，还是丢包

头都大了，有大佬碰到过这种问题或有什么思路吗

大佬有話說 (18)

  • 資深大佬 : defunct9

    没头绪，开 ssh，让我上去看看

  • 資深大佬 : hs0000t

    是不是跟 smb 版本有关系？

  • 資深大佬 : vibbow

    第一想法是去更新 firmware…

  • 資深大佬 : willamtang

    绕过交换机直连看看还丢包么

  • 資深大佬 : LaTero

    iperf3 的 udp 好像有问题，换个再测测看？

  • 資深大佬 : tankren

    搞个 Ubuntu 虚拟机测试先咯 虚拟化的便利性不利用干啥

  • 資深大佬 : dawnh

    有没有经过交换机？有的话看一下交换机是不是又组播相关设置，IGMP snoop 之类的。虽然可能性不高但我见过类似案例的也就这一种可能了。

  • 資深大佬 : kokutou

    就没试过绕过交换机吗。。。

  • 主 資深大佬 : frostnotfall

    @hs0000t #2 这个应该不是吧，因为丢包没走 smb

  • 主 資深大佬 : frostnotfall

    @willamtang #4 交换机也换过，直连到没试过，因为是虚拟化，宿主机和虚拟机都走一根网线

  • 主 資深大佬 : frostnotfall

    @vibbow #3 firmware 倒是没想过，反正虚拟机上的 intel 驱动换了个遍，另外宿主机的驱动是集成的，想换也没别的

  • 主 資深大佬 : frostnotfall

    @kokutou #8 试了，双方都连路由器，也没用

  • 主 資深大佬 : frostnotfall

    @dawnh #7 IGMP snoop 交换机上有，但是从来没设置过，回去试试，但是好像也不对，都是走的交换机，为何 Ubuntu 没事

  • 主 資深大佬 : frostnotfall

    @LaTero #5 有什么其他测试 UDP 丢包的工具吗？

  • 資深大佬 : weyou

    网线直连 nas 网口测 iperf

  • 資深大佬 : ch2

    tcpdump

  • 資深大佬 : hahastudio

    我前几天更新 Windows 也遇到了类似的问题
    我的 Windows 是装在 Parallels 里的虚拟机，NAS 是用 samba 共享的
    目前我缓解的办法是在 Parallels 里不用独立网卡了，跟 macOS 共享网络然后就没问题了

    想起来你可以试一下 TCP 有没有类似的问题，出问题的时候我用 Windows 访问 NAS 上的 web service 都有问题

  • 資深大佬 : LaTero

    @frostnotfall 试试 nuttcp，我之前也是 iperf 报了很高的 udp 丢包，查到了很多相关 issue 和提问，看到 nuttcp 试了下就很正常。