跳至主要內容
  • Hostloc 空間訪問刷分
  • 售賣場
  • 廣告位
  • 賣站?

4563博客

全新的繁體中文 WordPress 網站
  • 首頁
  • Python 读写共享内存有什么优化方案没有
未分類
30 11 月 2020

Python 读写共享内存有什么优化方案没有

Python 读写共享内存有什么优化方案没有

資深大佬 : Go1denwind 0

现在的场景是
多个进程 /线程去 sql 查询 然后将查询的结果写共享内存给到另一个代码进程(称为主进程吧)
现在问题出在
各个线程写给主进程性能堪忧
大佬有話說 (8)

  • 主 資深大佬 : Go1denwind

    如果线程的代码用 C 写 或者协程这类替换线程的方式 会不会有什么明显的提升
    能定位问题是在主线程整合各个线程的数据上耗时比较多

  • 資深大佬 : NaVient

    换 golang

  • 資深大佬 : hasdream

    查询 SQL,不涉及密集计算多线程就可以, 如果是根据查询的结果进行计算,那多进程 mutiprocessing 这个模块有个 Queue 可以进行进程通信 只能传输基本类型

  • 主 資深大佬 : Go1denwind

    @hasdream 哦补充下 查出来的结果要进行一些计算的
    multiprocessing.Queue 好像不支持不同进程间通讯 而且估计速度也和这样差不多

  • 主 資深大佬 : Go1denwind

    @NaVient 转行了转行了 /cry

  • 資深大佬 : laminux29

    @Go1denwind 不看文档嘛?

    人家 Queue 就是用来做多线程同步的。

    你这种需求,正确的操作是,多线程获取数据后,通过 Queue 发送给主线程。不然你主线程还要等每个子线程写数据,这种操作方式本质是串行化,没办法完全利用硬件,速度当然慢。

    https://docs.python.org/3/library/queue.html

  • 資深大佬 : hasdream

    @Go1denwind multiprocessing.Queue 基于 multiprocessing.Process 创建的进程通信是没问题的。 如果你觉得不靠谱 那就 fork 多个进程 主进程创建多个 PIPE 进行通信也行

  • 資深大佬 : jones2000

    写共享内存和读取应该很快的, 每个线程或进程写单独的一块内存地址, 写完发送事件消息给主进程, 主进程就读对应地址的内存块。

文章導覽

上一篇文章
下一篇文章

AD

其他操作

  • 登入
  • 訂閱網站內容的資訊提供
  • 訂閱留言的資訊提供
  • WordPress.org 台灣繁體中文

51la

4563博客

全新的繁體中文 WordPress 網站
返回頂端
本站採用 WordPress 建置 | 佈景主題採用 GretaThemes 所設計的 Memory
4563博客
  • Hostloc 空間訪問刷分
  • 售賣場
  • 廣告位
  • 賣站?
在這裡新增小工具