nfs 服务器海量小文件传输效率慢的问题

• 資深大佬 : Osk

  小文件估计无解，nfs smb 9p 等似乎都快不起来

• 資深大佬 : matrix67

  小文件，tcp 的慢启动，再加上创建文件啥的都需要网路 io 。

  tar 打包压缩，传了再解压。

• 資深大佬 : reus

  开多线程并发传

• 主 資深大佬 : mrsupns

  @matrix67 不能 tar

• 資深大佬 : Jirajine

  tar 打包，输出到 stdout，走管道。
  另一端 tar 从 stdin 解包，释放到文件系统。
  中间可以通过 ssh 、netcat 等方式连接。

• 資深大佬 : d0m2o08

  换对象存储

• 資深大佬 : Songxwn

  全闪存

• 資深大佬 : MasterMonkey

  @Jirajine 赞同

• 資深大佬 : nightwitch

  tar 呗，不能 tar 总得有个原因吧。

• 資深大佬 : GGGG430

  @Jirajine 老哥详细说说怎么实现呢

• 資深大佬 : CallMeReznov

  对象存储

• 資深大佬 : zent00

  tar cvf – src_path | tar xvf – -C nfs_path

• 資深大佬 : zent00

  抱歉，刚才路上手机匆忙回复，没有细想，上一条给出的方法还是走 NFS 进行写入操作，没有意义。

  如果你走 SSH 的话，这样操作：
  tar cvf – src_path | ssh [email protected]_host “tar xvf – -C dst_path”

• 主 資深大佬 : mrsupns

  @zent00 我们这边是要通过 nfs 共享文件，有没有啥参数可以优化一下的？

• 資深大佬 : dorothyREN

  基本上 无解

• 資深大佬 : willis

  如果只是一次性传输，用 rsync 传吧，支持断点续传

• 資深大佬 : zk8802

  有两个点可以注意一下：

  – 存储服务器不要用 ZFS 。NFS on ZFS 存储小文件时很慢。
  – 用 nfsstat 和 nfsiostat 看看有没有性能上的问题。有时候瓶颈是网络 IO，有时候瓶颈是存储服务器的性能。
  – 试试 pNFS 。

  但是归根结底，在 NFS 上存储小文件性能低的根源是 NFS 的设计本身。如果 NFS RPC 可以全部并行的话，存储小文件的性能会提高很多。

• 主 資深大佬 : mrsupns

  不只是传输的问题，我们程序有依赖，需要 find 某目录下的文件并循环文件名，然后做处理。因为是在 nfs 服务器上，所以循环的时候特别慢

• 資深大佬 : zlowly

  如果你的 nfs 可以用 v3 协议的话可以打开 async，不过看你 size 只设到 8k，是不是只能用 v2 协议？
  另外对本身存放海量文件的服务器还可以调整一下文件系统参数例如 ext4 里设置 noatime 等。

• 主 資深大佬 : mrsupns

  @zlowly 如果是 v3 的应该要给多少 K

• 資深大佬 : felixcode

  https://docstore.mik.ua/orelly/networking_2ndEd/nfs/ch07_04.htm
  建议看看 cache 这块

• 資深大佬 : zlowly

  @mrsupns 对于 v3 和 v4 一般缺省就是 32k，网络稳定且 tcp 传输的话你可以测试下调高到 64k 。

• 資深大佬 : snip

  用 rsync 试试呢？

• 主 資深大佬 : mrsupns

  @snip 不行呢