跳至主要內容
  • Hostloc 空間訪問刷分
  • 售賣場
  • 廣告位
  • 賣站?

4563博客

全新的繁體中文 WordPress 網站
  • 首頁
  • Python 线程池有办法自动释放不在使用中的资源吗?
未分類
30 12 月 2020

Python 线程池有办法自动释放不在使用中的资源吗?

Python 线程池有办法自动释放不在使用中的资源吗?

資深大佬 : black11black 0

# 一个简单的 demo def some_func(arg):     # does some heavy lifting     # outputs some results     time.sleep(10)     return 0  from concurrent.futures import ThreadPoolExecutor import time  with ThreadPoolExecutor(max_workers = 1024) as executor:     for arg in range(10000):         future = executor.submit(some_func, arg)     print(len(executor._threads)) 

简单做了下压力测试,发现 windows 系统上的 python 线程并发负载还可以,一两千个线程还是能 handle 的。

但是发现了一个蛋疼的问题,比如如果你要提高负载能力,比如你想要让程序能同时负载 1000 个并发连接。那么线程池在触发并完成线程后,并不会自动释放资源。我原以为线程池有一些机制在,比如一小时闲置的话就会自动摧毁占用的线程,现在看来似乎不是这样的,一旦申请以后线程就一直在这里了。

有什么办法做改进吗?这些线程即使不用也在这里趴着,一方面吃内存,另一方面系统允许的最大线程数又是有限的,被大量占用。

大佬有話說 (4)

  • 資深大佬 : wellsc

    gil 的语言就别整天折腾多线程了,io 密集上协程,计算密集换技术栈

  • 主 資深大佬 : black11black

    @wellsc 这次折腾多线程的原因是,在用多线程封装一个同步 oracle 库,让他能在协程中使用。我肯定没时间再仔细用协程实现一个通讯协议,直接用多线程封装同步库是个很好的办法。只不过似乎并发能力和内存 /线程数似乎无法平衡。

  • 主 資深大佬 : black11black

    @black11black 同步执行一千条插入命令(比如业务上让他们没法被整合到同一条插入命令),这种需求我觉得还是挺常见的。但是如果要实现的话就要开 1000 个线程准备着,这也太蠢了,没办法用的时候现场申请吗。

  • 資深大佬 : delectate

    协程,或者多进程。

文章導覽

上一篇文章
下一篇文章

AD

其他操作

  • 登入
  • 訂閱網站內容的資訊提供
  • 訂閱留言的資訊提供
  • WordPress.org 台灣繁體中文

51la

4563博客

全新的繁體中文 WordPress 網站
返回頂端
本站採用 WordPress 建置 | 佈景主題採用 GretaThemes 所設計的 Memory
4563博客
  • Hostloc 空間訪問刷分
  • 售賣場
  • 廣告位
  • 賣站?
在這裡新增小工具