未分類
16 1 月 2021

Python 部署 GPU 应用方式

Python 部署 GPU 应用方式

資深大佬 : Carry0317 5

想实现一个调用 GPU 应用的 API 服务，python 框架及部署方式用哪种性能最高 用过 flask+gunicorn 并发数好像并没有很高

大佬有話說 (5)

  • 資深大佬 : cz5424

    Gpu 并发数瓶颈不在显存占用率？测试一下你应用能开多少个进程跑，单个数据请求多少就知道可以支持多少并发了

  • 資深大佬 : vanwtf

    换 fast api 试试?

  • 主 資深大佬 : Carry0317

    @vanwtf 也试过 但没什么提升，所以来请教一下正确姿势

  • 資深大佬 : rust

    好奇你有多少个 GPU,竟然可以触及 FastAPI 的性能瓶颈

  • 資深大佬 : vanwtf

    FastAPI 没提升的话，你用 Falcon 试下？还不行应该不是框架的问题了吧