未分類
13 2 月 2021

交换机上做了链路聚合，该怎么正确使用？

交换机上做了链路聚合，该怎么正确使用？

資深大佬 : siknet 0

主机 a 有 2 个万兆口，分别有 2 个 IP，连接到交换机上，交换机上做了链路聚合，显示总带宽 20g 。这时其他连接到交换机上的机器怎么访问主机 a 才能走 20g/s 的效果？

所有机器都是 win10 系统，现在用的是 ip 访问，但是一次只能访问主机 a 的一个 IP，比如主机有 192.168.1.1 和 162.168.1.2 两个 IP，现在直接在局域网里面能直接打开 192.168.1.1 来访问 SMB 共享资源。

新年大吉，感谢解答

大佬有話說 (19)

  • 資深大佬 : maichael

    1. 链路聚合是同一个 IP
    2. 链路聚合有很多种模式，要看你配置的那种，而且需要交换机真正支持聚合（某些便宜一点的交换机聚合起不了带宽*2 的作用），可以先用 iperf3 测试
    3. 聚合需要程序是多线程或者多进程。

  • 資深大佬 : msg7086

    主机上要把两个万兆口聚合成一个，用一个 IP 。

  • 資深大佬 : dncg

    单 ip，只能用满一条带宽，1 万兆。链路聚合是给多 ip 同时访问用的。好像 smb3 可以拉满宽带，貌似不是走的链路聚合。你可以查查看

  • 資深大佬 : Tarkky

    主机也得做，交换机什么模式的聚合，主机上也得一样就好了。话说你什么服务？网络存储么？

  • 主 資深大佬 : siknet

    感谢大家恢复，去年生意惨淡，临时兼职运维。

    @Tarkky 朋友是做无人机勘测的，要为甲方提供地面三围重建，需要集群计算，网络交换数据量很大，1 台主机 5 台从机跑一个项目，一个小项目大概 1 万张照片，100g 大小，空中三维计算后大概 300g，大概几十万到一百多万个文件。最后重建完成的数据量很小。今年还要弄个集群，准备上大船货了，PM983 的 12TBW 估计扛不了多久

  • 資深大佬 : Tarkky

    那交换机得买好的，背板交换和端口速率都不能含糊

  • 主 資深大佬 : siknet

    @Tarkky 囧，为了节省成本，上的是 600 块的 24 千口 8 万口的二手交换机，网卡用的是 cx341 的魔改万兆，iperf3 测试单口只能跑到 7g/s

  • 資深大佬 : CallMeReznov

    我这边因为条件有限,是用 8 条电口 1000M 做的端口组.
    我个人的理解,限制速度主要还是终端侧,交换机一般情况瞎是遇不到什么瓶颈的.

    所以你希望其他主机访问达到要求只要该主机与交换机的链路达到 20G 就可以了.
    但如何能跑满这 20G 的带宽,就需要服务器的 IO 与传输协议各方面的支持,可能还需要调整巨型帧这类参数.
    加拿大白嫖王有相关视频可以看一下:https://www.bilibili.com/video/BV1js41127Gi

  • 資深大佬 : Conty

    本人网络工程师，尝试回答。
    链路聚合业内标准基本上都是 LACP/LAG，通过绑定多个物理端口成为一个逻辑端口来扩展数据承载能力。需要两端设备都支持 LACP 协议。链路聚合不适用于单个流的负载分担 /负载均衡。流的定义就是源 IP，源 MAC，目的 IP，目的 MAC 和端口号都相同的数据包的总和。如果你的场景就是单台客户机 /终端与单台服务器之间的通信，做不了分担 /均衡，只能用 40G 或者 100G 端口。

  • 資深大佬 : bearice

    上 基本正解 但是也不是完全不可能做单流负载均衡 一些特殊场景下 round robin 模式是可以做到的 不过会带来乱序包之类的问题,并且支持的设备不多.

  • 主 資深大佬 : siknet

    @Conty 请问 40g 端口通信跑满的话，硬件一般都是什么价格的啊，5gb/s 起码都要 pcie4.0 的 nvme 才能跑到了吧，或者 raid ？

  • 資深大佬 : bearice

    交换机 思科的 93180 全新也就几千刀 杂牌的更便宜

    话说如果只有几百 G 数据的话扔内存不就行了 现在 ram 又便宜

    或者直接去 aws 开几个虚机 硬件最高有 100g 网卡 内存也管够 用完了关机还不要钱

  • 主 資深大佬 : siknet

    @bearice 小集群，开始没个底，又遇到矿潮显卡价格暴涨，就按家用机标准搭的，主机是 zen3+ x570+2080+64g ddr4，实际上内存占不满，可是 x570 和撕裂者最高也就支持 128G 和 256G 内存，所以 ramdisk 有点麻烦，下批集群如果预算够考虑上 EYPC 试试。

    一个小项目 10000 张照片全程跑完要 20 个小时左右，AWS 不划算吧，上传几十 G 数据都要好久

  • 資深大佬 : Conty

    @siknet 主机这边不懂。交换机的话正经厂家做出来的交换机如果没有标 overSubscribing 的 40G 端口都可以跑满线速。

  • 資深大佬 : flynaj

    聚合就只有一个聚合后的接口了。一个 IP 就行。

  • 資深大佬 : julyclyde

    搞不清楚聚合需要几个 IP，这是一种典型的没能理解网络协议分层的表现

  • 主 資深大佬 : siknet

    @Conty 大佬，我在办公室自己折腾试验。2 台 intel 八代 /十代平台，都是 CX341 的万兆卡，用的是 7 米的 DAC 堆叠直通线，跑 IPERF3 只有 3.xG 的速度，MTU 和巨型帧调高以后速度更慢。请问应该从哪些地方着手去找问题？有个 7 、8G 我也就满意了，3G 太慢了。

    感谢！

  • 主 資深大佬 : siknet

    补充一下，机器都只有 M.2 的硬盘，直接复制大文件速度也只到得了 280MB/s

  • 資深大佬 : Conty

    @siknet 建议你用 wireshark 之类的抓个包看看，是不是有啥错包之类的。通常从 wireshark 的抓包里面可以看到很多 TCP 相关的东西。