跳至主要內容
  • Hostloc 空間訪問刷分
  • 售賣場
  • 廣告位
  • 賣站?

4563博客

全新的繁體中文 WordPress 網站
  • 首頁
  • mongodb 遇到 i/o 瓶颈,老哥们有没有什么办法?
未分類
10 11 月 2020

mongodb 遇到 i/o 瓶颈,老哥们有没有什么办法?

mongodb 遇到 i/o 瓶颈,老哥们有没有什么办法?

資深大佬 : QuinceyWu 3

小弟我用的 Crawlab 平台管理爬虫任务,基本上在跑的有 12 个爬虫,之前是 1s 一条,现在 1min 一条,有没有老哥有好的办法解决下。

大佬有話說 (15)

  • 資深大佬 : jasonyaoff

    1s 一条你确定瓶颈在数据库读写,不是网络 io

  • 資深大佬 : teddy2725

    合并批量

  • 主 資深大佬 : QuinceyWu

    @jasonyaoff 我确定了 公司专线 不是网络问题

  • 主 資深大佬 : QuinceyWu

    @teddy2725 好 我去了解下

  • 資深大佬 : qq316107934

    设置了其他索引吧?数据越多插入效率越低

  • 資深大佬 : Pythoner666666

    1min ennnnnn 你可以贴下表结构和索引

  • 資深大佬 : fasionchan

    之前是 1s 一条,也惨不忍睹呀~~~

  • 資深大佬 : theOneMe

    大概率方向不太对,插入都需要秒级别,那这个数据库早就没人用了。

  • 資深大佬 : sadfQED2

    1s 一条???你插入的数据得有多大?你是把图片啥的都存进去了吗

  • 資深大佬 : sadfQED2

    看下服务器监控,是磁盘 io 还是网络 io 跑满了。讲道理,搞个树莓派加 sd 卡也不至于 1 分钟一条啊,1 分钟一条我拿笔手写可能都比他快

  • 資深大佬 : 52coder

    1s 一条本身就有问题

  • 主 資深大佬 : QuinceyWu

    @theOneMe 我设置 sleep 为 1s

  • 主 資深大佬 : QuinceyWu

    @sadfQED2 网页源码

  • 主 資深大佬 : QuinceyWu

    @Pythoner666666 就默认 id 索引

  • 主 資深大佬 : QuinceyWu

    @qq316107934 就默认 id 索引

文章導覽

上一篇文章
下一篇文章

AD

其他操作

  • 登入
  • 訂閱網站內容的資訊提供
  • 訂閱留言的資訊提供
  • WordPress.org 台灣繁體中文

51la

4563博客

全新的繁體中文 WordPress 網站
返回頂端
本站採用 WordPress 建置 | 佈景主題採用 GretaThemes 所設計的 Memory
4563博客
  • Hostloc 空間訪問刷分
  • 售賣場
  • 廣告位
  • 賣站?
在這裡新增小工具