未分類
5 2 月 2021

rocketMQ 的高性能疑问

rocketMQ 的高性能疑问

資深大佬 : shuangchengsun 7

都说 RocketMQ 在 Topic 和分区多的场景下性能比卡夫卡要强，大家给出的原因是 commitLog 的组织方式是最核心的因素，rocketMQ 所有的消息都会顺序写入 commitLog，磁盘 IO 一直是顺序写入，而卡夫卡每个分区都有自己的消息持久化文件，分区多了之后相当于随机写。

但是我最近在看源码的时候发现，rocketmq 会为每个 consumerQueue 创建一个持久化文件用于保存消费进度，那么问题来了：在 Topic 多的时候 consumerQueue 也会随之增多，那么消费进度的持久化文件也会增多，不也相当于随机写么？为什么会和卡夫卡结果相反

再看看官网上关于 rocketmq 的描述，Topic 过多并不会太拖累 RocketMQ 的性能，想问问各位大佬我的理解是哪儿出了问题。

大佬有話說 (3)

  • 資深大佬 : billlee

    没用过 rocketmq, 但消费进度不是每消费一条都写一次的吧，影响比较小

  • 資深大佬 : taibai233

    虽然没有看过他的实现，不过这里给你纠正一点：
    现代的这些存储系统的持久化实现，为了实现高效，都是不直接落盘的。像这里虽然会有多个持久化文件，但也不是写一条落一条，而是会先写缓存，缓存满了，再批量写。这里多个 consumerQueue 可能就对应多个内存缓存块。他是不是会有 topic 多内存消耗多这种情况。
    真正写一条落一条的只有 commitLog 这东西，这也是个主要受磁盘性能影响的东西。

  • 資深大佬 : h3nng

    queue 只是索引记录，数据量很小