未分類 10 11 月 2020 mongodb 遇到 i/o 瓶颈,老哥们有没有什么办法? mongodb 遇到 i/o 瓶颈,老哥们有没有什么办法? 資深大佬 : QuinceyWu 3 小弟我用的 Crawlab 平台管理爬虫任务,基本上在跑的有 12 个爬虫,之前是 1s 一条,现在 1min 一条,有没有老哥有好的办法解决下。 大佬有話說 (15) 資深大佬 : jasonyaoff 1s 一条你确定瓶颈在数据库读写,不是网络 io 資深大佬 : teddy2725 合并批量 主 資深大佬 : QuinceyWu @jasonyaoff 我确定了 公司专线 不是网络问题 主 資深大佬 : QuinceyWu @teddy2725 好 我去了解下 資深大佬 : qq316107934 设置了其他索引吧?数据越多插入效率越低 資深大佬 : Pythoner666666 1min ennnnnn 你可以贴下表结构和索引 資深大佬 : fasionchan 之前是 1s 一条,也惨不忍睹呀~~~ 資深大佬 : theOneMe 大概率方向不太对,插入都需要秒级别,那这个数据库早就没人用了。 資深大佬 : sadfQED2 1s 一条???你插入的数据得有多大?你是把图片啥的都存进去了吗 資深大佬 : sadfQED2 看下服务器监控,是磁盘 io 还是网络 io 跑满了。讲道理,搞个树莓派加 sd 卡也不至于 1 分钟一条啊,1 分钟一条我拿笔手写可能都比他快 資深大佬 : 52coder 1s 一条本身就有问题 主 資深大佬 : QuinceyWu @theOneMe 我设置 sleep 为 1s 主 資深大佬 : QuinceyWu @sadfQED2 网页源码 主 資深大佬 : QuinceyWu @Pythoner666666 就默认 id 索引 主 資深大佬 : QuinceyWu @qq316107934 就默认 id 索引