跳至主要內容
  • Hostloc 空間訪問刷分
  • 售賣場
  • 廣告位
  • 賣站?

4563博客

全新的繁體中文 WordPress 網站
  • 首頁
  • glusterfs+zfs 存海量小文件,是不是选错方案了?
未分類
3 2 月 2021

glusterfs+zfs 存海量小文件,是不是选错方案了?

glusterfs+zfs 存海量小文件,是不是选错方案了?

資深大佬 : mushokumunou 6

iops 性能很差,是不是选错方案了? 本来想优化下的,搜了不少关于小文件+gluster 和 zfs 的关键字,发现小文件不适合。 遂对选型产生了质疑。

一开始只是想简单的组个软 raid,集个群做存储后端而已。 没太在意应用场景。感觉方向错了。。。。

文件基本在 256k,最大 1m,用于 ipfs 存储。

大佬有話說 (8)

  • 資深大佬 : catror

    glusterfs 确实不太适合,可以试试 ceph

  • 資深大佬 : isnullstring

    同问,我现在用 ZFS,还没上集群,就已经开始有点点慢

  • 資深大佬 : siknet

    借问一下,WIN10 下有什么性能强于 ntfs 且易于读写的文件系统吗?

  • 資深大佬 : ohao

    这个要看使用场景
    是密集型读 还是密集型写 还是均衡读写
    还有数据增长速度

    确定了在做个各种文件系统的性能对比

    如果在 200T 内
    一般的 sata + hw raid 6+ ssd cached 架构绰绰有余
    一组 3 台 200T 上下的 满足大部分使用场景需求了
    对应调整下 raid 的读写缓存策略
    文件系统使用 xfs,小文件存储 块那个设置小点节省空间

  • 資深大佬 : ferock

    zfs 性能不行

  • 資深大佬 : ferock

    小文件场景

  • 資深大佬 : siknet

    @ohao 单个项目 500-1000G,6 台机器同时读写,将近 100 万个文件,现在是放在 PM981 2T 里面跑,之前临时放在机械盘里面跑,感觉慢了一倍都不止。。。。

  • 主 資深大佬 : mushokumunou

    @ohao 均衡读写
    主要是小文件,看见 zfs 是动态调整 inode 的,感觉无限用不完,就上了 zfs,还有快照,send/receive 比 rsync 舒服多了。等 ubuntu 支持 zfs2.0 了,就更爽了。汗,就是冲动。
    glusterfs 纯粹图个简单易上手,没想太多。而且初期两个存储机集群下,做个分布卷,效率还是很高的。后期不够也不用损毁数据,直接分布+复制可以改型,光看优点了。

文章導覽

上一篇文章
下一篇文章

AD

其他操作

  • 登入
  • 訂閱網站內容的資訊提供
  • 訂閱留言的資訊提供
  • WordPress.org 台灣繁體中文

51la

4563博客

全新的繁體中文 WordPress 網站
返回頂端
本站採用 WordPress 建置 | 佈景主題採用 GretaThemes 所設計的 Memory
4563博客
  • Hostloc 空間訪問刷分
  • 售賣場
  • 廣告位
  • 賣站?
在這裡新增小工具