未分類
11 3 月 2020

ZFS over iSCSI + ZIL 的可行性、性能和安全性

ZFS over iSCSI + ZIL 的可行性、性能和安全性

資深大佬 : CloudRaft 62

新人贴，大家多多包涵

不知道有没有试过 ZFS over iSCSI + ZIL 实现高性能网络磁盘挂载的大佬？求分享一下经验！ 目前有两台机器 A 和 B：A 为计算服务器（ Debian10 + Proxmox ），B 为存储服务器。两台机器通过 10Gb 网卡直连，希望将 B 中的磁盘空间共享给 A 使用，同时提高性能。

目前方案： B 中 15 盘硬件阵列卡 Raid10+1 热备，然后通过共享 NFS 给 A。

问题： A 对小文件的读写较多，线程数一多就出现 IO Delay，实际看到网卡的流量并不高。

期望的方案： B 共享 iSCSI 给 A，然后 A 基于 iSCSI 磁盘做 ZFS 池，然后使用本地 SSD 做 ZIL 提高性能。 目前还在尝试中，如果有什么严重的设计 /安全性问题请务必提出，感激不尽！

大佬有話說 (2)

  • 資深大佬 : Aliencn

    我记得 ZFS 的写缓存用的是内存，ZIL 是只是用来存日志的。
    ZFS 对内存要求很高，1T 的空间要搭配 1G 的内存，而且要建议是 ECC 内存。

  • 主 資深大佬 : CloudRaft

    @Aliencn 感谢回复！内存是 ECC 的，服务器配置这里也说一下吧：

    计算节点（其实是 5 台）
    CPU：E5-1650V3
    内存：8x RAM 32768 MB DDR4 ECC reg.
    硬盘：3x SSD SAMSUNG MZ7LM480 其中 2 块组软 raid1，另一块打算用来做 ZIL
    网卡：Intel I210 + Intel X540-T2

    存储节点：
    CPU：E5-1650V3
    内存：4x RAM 32768 MB DDR4 ECC reg.
    硬盘：15x HDD SATA 6,0 TB Enterprise 硬件 Radi10+1 热备
    阵列卡：Adaptec 8405 SGL （ 1G 缓存） + Adaptec AEC-82885T Expander Card
    网卡：Intel I210 + Intel X540-T2

    内存肯定是够的，每个计算节点拿出 32G 做缓存。之前也组过 RAIDZ3、Z2，对内存缓存后的磁盘性能非常满意！