跳至主要內容
  • Hostloc 空間訪問刷分
  • 售賣場
  • 廣告位
  • 賣站?

4563博客

全新的繁體中文 WordPress 網站
  • 首頁
  • [求助] Python 多线程通信 (好心人救救孩子,点开工资超级加倍)
未分類
25 4 月 2020

[求助] Python 多线程通信 (好心人救救孩子,点开工资超级加倍)

[求助] Python 多线程通信 (好心人救救孩子,点开工资超级加倍)

資深大佬 : echome 8

如何从一个需要执行很久的线程当中获取返回数据

有一个线程当中的函数做 funcA,funcA 需要花费很多时间,并且 funcA 会返回我们需要的数据 我该如何获得其中的数据? 网上一般是

  1. 使用 queue 作为全局变量,但是如果在 funcA 里面 put 数据的话,在主线程当中 get 数据会返回 None,因为 funcA 会花费很多的时间,所以主线程获得的都是 None 。
q = queue.Queue(10) def funcA():            # 花费很多时间做一些事得到一个数组叫做 res     for i in res:         q.put(i)  res=[] while not empty(q.get()):    res.append(q.get()) 
  1. 是重构 thread 模块写一个自己的 thread 类,其中新建一个 get_result 方法。如果重构的话会发现也是 None,因为在 funcA 会使用很多的时间,然后使用 get_result 方法的话会返回 None,因为在 run 方法当中并没有返回数据。
class MyThread(Thread):     def __init__(self, target, args):         super(MyThread, self).__init__()         self.func = target         self.args = args       def run(self):         print("I have done")         self.result = self.func(*self.args)      def get_result(self):         while self.lock:             pass         return self.result  ............. ............. thread = MyThread(target=funca, args=(domain,)) thread.start() res=thread.get_result() 

我也想过方法,比如在 get_result 当中等待 run 方法执行完毕,但是这样就会导致线程阻塞的问题

所以问题是如何在需要花费很多时间的线程当中得到数据并且不会阻塞。 跪求大神!!!

大佬有話說 (19)

  • 資深大佬 : ClericPy

    你该学的是 Future 的用法…

  • 主 資深大佬 : echome

    啥意思大哥

  • 資深大佬 : marquina

    自从接触了 concurrent.futures 后,就再也没有用过 thread 库了

  • 資深大佬 : lithbitren

    没懂题目啥意思,不过 io 密集用协程更好,cpu 密集的用多进程更好,阻塞不管设在哪里,是否有回调,两者的 API 都比多线程丰富,多线程讲实话还是比较鸡肋的。

  • 資深大佬 : billwsy

    所以“网上的方法”问题在哪里…主程序总是要等 funcA put 数据了之后才能 get 到数据

    不会有什么神奇的办法让 funcA 在超长执行结束之前就产生出你想要的数据吧

  • 資深大佬 : wuwukai007

    from concurrent.futures import ThreadPoolExecutor
    pool = ThreadPoolExecutor()
    job = pool.submit(func)
    try:
    —- func_result = job.result()
    except Exception as e:
    —-logger.exception(e)
    —- raise e

  • 資深大佬 : StephenKwen

    线程之间使用条件锁,这样一个线程执行获得数据之后,可以通过条件锁唤醒另一个在等待的线程

  • 主 資深大佬 : echome

    @billwsy 的确是,但是如果要等待子线程执行完成得到其中的数据的话那么主线程就要一直等待。这样就形成了阻塞!
    如果不等待的话就会得到 None 的返回值!

  • 資深大佬 : Les1ie

    (大概算是实现了主的接收返回数据的需求?
    这里用 func 代表消耗时间的操作,main 函数的线程池里面调用 result()方法将主线程阻塞,等待所有子线程执行完毕再返回结果

    https://i.loli.net/2020/05/01/mWN5jt2HpFfM6VL.png

  • 資深大佬 : Les1ie

    那么我的工资超级加倍去哪里领 🙁 穷.jpg

  • 資深大佬 : crella

    要么像上那样使用多进程;要么拆分 funcA,先处理必须在 get_result()之前要处理的数据,不怎么重要的数据在 get_result()之后开一个线程来完成

  • 資深大佬 : noparking188

    也许可以讲一下你想实现什么,或者有比多线程更好的方式
    之前看 redis 实现学到一个概念 – Reactor 模型,虽然没咋看懂,但是感觉题主的需求可以借鉴下这种思想
    有点没明白你的表达,是必须拿到另一个线程产出的数据才能执行接下来的操作,这是串行?或者另一个线程产出数据之前,其它线程做自己的事,有数据了再工作
    可能我理解能力差了点

  • 資深大佬 : Sanko

    join?

  • 資深大佬 : guyskk0x0

    @echome 如果一件事情要 10 秒做完,你想 1 秒就拿到结果,要穿越时空?

  • 資深大佬 : sudoer

    我点开了,工资加倍在哪领。。。(阿巴阿巴阿巴)

  • 資深大佬 : oahebky

    你想让主(一个)线程(thr-A)取得子(另一个)线程(thr-B)的数据,又不想 thr-A 阻塞。

    那么你的 thr-A 在除了“创建 thr-B,并让它工作得到结果” 之外还有其它事情做吗?

    如果 thr-A 本来就有事情做,比如它有 func1, func2, func3, func4 的事情做,
    另外还有一个得到 thr-B 的结果后的 func_I 事情做。
    那么你本来只是需要
    func1 -> func2 -> func3 -> func4 -> get thr-B result –True? –Y–> func_I
    这么重复循环 LOOP 就可以了。

    如果你想 thr-A 做其它事情,然后 thr-B 产生结果的时候,thr-A 马上就去处理 thr-B 的结果,
    那么这就有中断的意思了。
    主要要解决:
    func1, func2, …; 即 thr-A 中的事情是否依赖 thr-B 的 result (或者说 func_I 的 result )?

    是:
    那么这本来就是会阻塞等待结果的程序,不论你怎么设计它都是会阻塞的。
    比如你有 10 个 thr-B1,thr-B2, … thr-B10; 那么即使 10s 之后每一秒 queue 中都有 result 存在; func1, func2, func3 … 等依赖结果的任务,即使 10s 之后马不停蹄地执行(因为会不断地取得结果),但是它即使在忙碌,可是它本质上还是阻塞的。

    否:
    那你就大胆创建一个 thr-B: do jobs; 的同时;再创建一个 thr-C: handle result from thr-B 。
    thr-C 在等待 queue 时阻塞是(可以视为完全)不影响程序性能的(非 `while (1) ;;`),即 CPU (中的单核)不会 100% 占用。

    所以搞清楚了这些,还有没有必要纠结阻塞问题?

  • 資深大佬 : superrichman

    多线程换成异步 io

  • 資深大佬 : lewinlan

    我记得 queue 的 get 应该会阻塞吧?不应该返回 None 啊。
    如果真的不阻塞的话,那就无限循环 sleep 去等呗……这种情况用协程才是对的。
    建议先学操作系统,理解一下线程,内存,上下文之类的东西。否则很难搞懂。

  • 主 資深大佬 : echome

    @lewinlan 在主线程当中对 queue 进行 get 之后保存到数组当中会得到 None,并不会堵塞。如果无限循环等待的话多线程的意义就丢失了。

文章導覽

上一篇文章
下一篇文章

AD

其他操作

  • 登入
  • 訂閱網站內容的資訊提供
  • 訂閱留言的資訊提供
  • WordPress.org 台灣繁體中文

51la

4563博客

全新的繁體中文 WordPress 網站
返回頂端
本站採用 WordPress 建置 | 佈景主題採用 GretaThemes 所設計的 Memory
4563博客
  • Hostloc 空間訪問刷分
  • 售賣場
  • 廣告位
  • 賣站?
在這裡新增小工具