未分類
9 2 月 2020

HDFS 的 RAM DISK 和普通 HDD 上传速度经测试区别不大，是哪环节做错了吗？

HDFS 的 RAM DISK 和普通 HDD 上传速度经测试区别不大，是哪环节做错了吗？

資深大佬 : cernard 22

测试环境：

  1. 1 个 namenode，2 个 datanode （其中一个 datanode 和 namenode 一台机器）
  2. RAM DISK 最大大小理论上配置的是 20G

测试方法:

  1. Python 生成 1K~10G 的若干个 CSV 文件，每个文件上传 10 次，每次上传完毕后删除。
  2. 统计每个大小文件的 10 次上传平均时间

测试结果： RAM DISK 和 HDD 几乎没有速度上的区别，只有几秒的差异。

请问下造成这个结果的可能性有哪些？

大佬有話說 (6)

  • 主 資深大佬 : cernard

    忘了说了，是写入速度

  • 資深大佬 : OSDI

    网络带宽多少呢

  • 資深大佬 : Aruforce

    带宽小于硬盘的读写速度…？

  • 主 資深大佬 : cernard

    @OSDI #2
    @Aruforce #3 局域网百兆带宽，暂时接的路由器

  • 資深大佬 : OSDI

    @cernard 是不是由单个节点发起的 I/O 测试？可以尝试多个节点并发 I/O

  • 資深大佬 : Aruforce

    @cernard 机械硬盘的读写速度 几乎没见过 100Mbyte/S 以下的 局域网的才 100Mbits/S….你换个 1000mbits 的网络吧