跳至主要內容
  • Hostloc 空間訪問刷分
  • 售賣場
  • 廣告位
  • 賣站?

4563博客

全新的繁體中文 WordPress 網站
  • 首頁
  • 60TB 容量的云端存储机,如何有效控制成本?做 Raid5 可靠吗?
未分類
30 9 月 2020

60TB 容量的云端存储机,如何有效控制成本?做 Raid5 可靠吗?

60TB 容量的云端存储机,如何有效控制成本?做 Raid5 可靠吗?

資深大佬 : flypei 0

大约需要容量 60TB,总读写速度不低于 4000MB/S,日常使用 写>读

准备购入一台 R740XD,可以上 24 块 2.5 寸的硬盘,带 H730P 阵列卡

如果用 3.84TB INTEL 企业级 SSD * 24 块,做 Raid10 阵列,速度勉强达标,但实际可使用容量只有 46TB 左右

如果做 Raid5 可以节省很多硬盘,企业级硬盘不容易坏,组 Raid5 或 Raid50 可靠吗?

还有一种就是用 MLC 耐用 SSD 做缓存盘+SAS 盘?

没搞过这种大型存储机器,有点方 又怕买错,也不知道读写能力可否达到要求

请问各位硬件大佬有什么好的方案吗?

大佬有話說 (26)

  • 資深大佬 : zanzhz1101

    RAID 5 + Spare ?

  • 資深大佬 : JeromeCui

    为啥不用 minio 这种?

  • 主 資深大佬 : flypei

    @JeromeCui 除了存储以外,还需要跑应用的。

  • 資深大佬 : CallMeReznov

    Raid5 的问题在于,你想它不会坏的情况下,它是一定会炸给你好看的.
    就算是可重建的情况,重建速度慢到爆炸.

    另外还有一个平均故障率的问题,如果你是一批硬盘,一旦一块硬盘在这个故障区间瞬间,很可能就在短时间内就会坏第二块,第三块.

    现在对象存储的解决方案有很多高可用的软件解决方案.
    CEPH 可以用 SSD 加速或者直接 SSD 落盘.

  • 資深大佬 : ungrown

    任何 raid 都比不上 zfs

  • 資深大佬 : wanguorui123

    推荐:
    RAID 1 、6 、10 、100
    FreeNAS

  • 主 資深大佬 : flypei

    @CallMeReznov 本来就追求高可用,重建需要付出的时间成本太高了。

    不知道阿里云 OSS 这类产品使用的是什么方案?还有 ECS 云硬盘之类的

  • 資深大佬 : Reficul

    ZFS 的内存 60Tb 的话,我记得推荐要上 60G 的内存。默认 FreeNAS 配置无论你插了多少内存,ZFS 默认占一半。

  • 資深大佬 : eastern

    24 块盘重建好像要不少时间,我记得有个网站可以计算 raid5 的重建时间的,可以找来参照一下

  • 資深大佬 : reus

    @ungrown zfs 也是靠 raid 的

  • 資深大佬 : FS1P7dJz

    ZFS 有巡检
    可以防止硬盘硬件错误导致 RAID 失效
    不过软件方案一般都要求上 ECC 内存

  • 資深大佬 : geniussoft

    1. 你的阵列卡恐怕会是瓶颈吧。

    2. 上强大的处理器,软 Raid 吧。

    3. 说重建慢的基本都是新手。全固态,处理器够强,重建几小时的事。

    4. 反正和磁盘成本比起来,主机成本反而不算什么。考虑一下群晖 FS6400 ?( W/R:7000/4700 )至少省心。

    5. 考虑一下 Raid6-0 ?(你将会获得 20 / 24 = 83.3%的容量,和较好的安全性)
    建立在总写入量不会超过硬盘设计的情况下,否则,你将需要定期更换硬盘。

    6. 如果采用机械硬盘,为了稳定地达到你的目标速度,你可能需要 35 块以上的 3.5 寸硬盘 ……

    7. 我见过很多鄙视商用解决方案(如群晖),自己搞的。
    然而,他们共同的特点是,经常理论上很美好,实际上却各种出问题,最后测速还远不如人家。
    除非,你确认自己有非常丰富的经验。

    8. 相信你也知道的,UPS 是必须要搞的。

  • 資深大佬 : ziseyinzi

    如果很重要,还是建议找商用解决方案,如果你要自己搞,TrusNAS ( Raid-Z )

  • 資深大佬 : sampeng

    raid5 ?死给你看的时候你哭都没地儿哭…
    raid5 丢失过几十 t 数据
    raid5 几 T 数据重建跑了 2 天…因为业务部门要用

    两个自己经历的例子感受一下
    最低限度 raid6

  • 資深大佬 : shadowyw

    RAID5 最好别用 RAID6+spare 起步, zfs 或者 ceph 更好

  • 資深大佬 : 594duck

    @geniussoft 软 raid,以他的读写速度和磁盘容量的软 raid ?

    你要不问问搞 ceph 的人推荐不推荐吧。

    我是不推荐软 raid

  • 資深大佬 : 594duck

    你这要求还是买专业存储吧。

    买不起 netapp emc 可以买华为存储。

    别乱折腾死都不知道怎么死(半年内跑路的可以)

  • 資深大佬 : geniussoft

    @594duck 事实上,性能要求最高的 Raid,几乎都是软 Raid 吧。

    不要认为 Raid 卡有什么特别的,无非是给 CPU 降低点压力而已。
    这种存储节点很可能任务只有阵列 SMB iSCSI,也不需要节省 CPU 。

  • 資深大佬 : xlibve

    一般这么大容量都是直接用 HBA (直通)卡吧,做 z2 感觉比较好,普通阵列卡带不起这么多固态如果没记错 H730P 应该支持非阵列直通,但是毕竟不是纯直通卡不知道会不会带宽不够被限速。如果一定要做阵列,这么大高写入 io 建议是 Riad50 或者 raid 50 加热备。60 写入还是有点慢。单纯 5 太不安全了。其实全闪同步挺快了。我们之前上了 2 批大概各有 10 多台 HPE 的 380Gen10 配合 p840ar 阵列卡 用 intel S4510 1.92T*24 和 sansung 883 1.92t *24 一半做 ceph 一半做 50 ,到现在用了 1 年多点 883 坏了有 3 块还是 4 块 ,4510 坏了 1 块。发现都是做阵列 50 上挂的。但是同步还是挺快的,大概中午休息换盘,下班前就同步完了。

  • 資深大佬 : ungrown

    @reus #10 raid 能和 zraid 相提并论吗?
    就因为有四个相同的字母?

  • 資深大佬 : reus

    @ungrown raidz1 和 raid5 一样重建缓慢而且重建出错就完蛋,raidz 本质就是非标准 raid,原理是一样的,只不过有一些锦上添花的设计

  • 資深大佬 : 594duck

    另外推荐 ssd 做长时间存储的。我只能说你们是勇士。

    结束

  • 資深大佬 : msg7086

    问就是找专业的去咨询。

    你来问,多半是因为不懂。不懂的人,看着别人给的建议组起来机子,一样不懂得调优,不懂得运维。
    比如说阵列卡,哪种阵列卡好,阵列卡配哪种 SSD 好,组哪种 RAID,组多大的阵列,这你也不懂。
    又比如说买 HBA 做 ZFS,ZFS 一大堆参数怎么配好?用 Oracle ZFS 还是 OpenZFS 好?用 Solaris 还是用 FreeBSD 还是用 Linux 好? RAID 做成 all in Z3 好还是多个 Z2 vdev 好?内存按照 1T:1G 配还是按照多少配?

    别说你不懂,我也不懂,很多回答的人也没有做过全方位的测试,做过全方位测试的人给出的方案也不一定适合你的业务场景,更不说这些测试结果可能是企业机密……

    所以,嗯,如果是企业采购的话,找专业的砸钱做方案就是了。

  • 資深大佬 : ungrown

    @reus #21
    首先本帖的上下文语境中,RAID 特指排除掉非标准 RAID 之外的 RAID0 、RAID1 、RAID5 之类的名词及其相关的软硬件产品
    所以虽然在现实名空间中 RAIDZ 可以归入广义的 RAID 之中,但是在本帖名空间内 RAID 和 RAIDZ 指的是不同的具体事物
    其次,一句“原理是一样的,只不过有一些锦上添花的设计”并不能用来画等号,因为两者的特点并不相同
    RAID5 重建失败丢全部,ZFS 重建失败只会丢失出错的数据块
    这是不是原理一样?是的
    这是不是锦上添花?是的
    这是不是意味着 RAID5 能拿来跟 ZFS 相提并论?
    给你重新发言的机会!

  • 資深大佬 : ungrown

    @reus #21
    https://www.klennet.com/notes/2019-07-04-raid5-vs-raidz.aspx
    https://news.ycombinator.com/item?id=8305710
    https://louwrentius.com/zfs-resilver-performance-of-various-raid-schemas.html
    https://serverfault.com/questions/634197/zfs-is-raidz-1-really-that-bad

  • 資深大佬 : reus

    @ungrown 好的

文章導覽

上一篇文章
下一篇文章

AD

其他操作

  • 登入
  • 訂閱網站內容的資訊提供
  • 訂閱留言的資訊提供
  • WordPress.org 台灣繁體中文

51la

4563博客

全新的繁體中文 WordPress 網站
返回頂端
本站採用 WordPress 建置 | 佈景主題採用 GretaThemes 所設計的 Memory
4563博客
  • Hostloc 空間訪問刷分
  • 售賣場
  • 廣告位
  • 賣站?
在這裡新增小工具