未分類
2020 年 7 月 22 日

使用 pymong insert_many 插入数据越来越慢

使用 pymong insert_many 插入数据越来越慢

資深大佬 : dtgxx 10

大佬们，我数据量一共 60 亿，现在插入了 6 亿左右，一开始的时候 每次 insert_many 只需要 0.05 秒 1000 条

目前已经插入 6 亿左右，现在 1000 条数据有时候需要 20 秒，非常的慢。

用什么办法可以调优一下呢？

mongo 是单点的，部署在一台机器上，没有分片和副本。

试过 bulk_write 性能是一样的

大佬有話說 (10)

  • 資深大佬 : sdot96

    机器的运行情况？索引情况？数据表能不能做水平分割？

  • 資深大佬 : tikazyq

    单机的话，你这个扩展起来问题会很多

    几个优化点：
    1. 分表（ Sharding ）
    2. 不要创建索引
    3. 选择其他技术方案，例如 Hive 、HBase

    60 亿条数据，这种量级的数据应该更适合 Hive 或者 HBase 吧，做分布式储存不香么，单点来搞大数据你这不是给自己挖坑么

  • 資深大佬 : 22too

    这个数据量确实会出问题的。之前遇到过。

  • 資深大佬 : weizhen199

    考虑下几个列式数据库呗。100e 以下应该都还行。

  • 資深大佬 : Fizzyi

    @tikazyq 大佬想问下为什么说不要创建索引呢

  • 資深大佬 : specture

    @Fizzyi 索引会降低插入性能

  • 主 資深大佬 : dtgxx

    @sdot96 #1 目前数据集合做了分隔，每个集合数据量差不多 200 万，内存 64G available 剩余 20g 左右，cpu48 核 负载 20 左右 数据字段有六个，只有一个字段做了索引
    @tikazyq 之前考虑分集合存储，确实没想到插入这么的慢。。主要都是历史数据，想一次导入，后面就轻松了。索引的话，不创建后期查询就非常慢了，所以还是得创建。
    @22too 使用 pymong insert_many 插入数据越来越慢
    @weizhen199 @tikazyq HBase 在类似的情况下插入，不会数据越多越慢吗？是因为列式存储？
    @specture 目前我有六个，后期查询的时候需要一个字段做索引查询，不知道有没有什么好的方式。。。感觉索引还是得要的。

  • 資深大佬 : anzu

    插完再建索引？

  • 主 資深大佬 : dtgxx

    @anzu #8 主要是集合太多了，后面再去建可能相当麻烦。

  • 主 資深大佬 : dtgxx

    @anzu #8 下周试下 看看执行情况如何