未分類
24 11 月 2020

想问下大厂的同学们你们的 NLP 基础设施是什么样的

想问下大厂的同学们你们的 NLP 基础设施是什么样的

資深大佬 : Morriaty 6

网上更多的 NLP 资料要么是炼丹论文，要么是《 xxx 算法详解》，几乎没有看到一个完备的文章去介绍一个工业界落地的基础架构设施是什么样的
大佬有話說 (6)

  • 資深大佬 : threeEggs123

    sklearn 做了一个模型。然后用 flask，暴露一个 api，搞定了。是做文本分类。部署方式就是 docker 镜像，部署到 ecs 上面去了。

    https://zhuanlan.zhihu.com/p/47349497

  • 資深大佬 : lsvih

    以前 Uber 机器学习平台的介绍

    https://juejin.im/post/6844903497809264653

  • 主 資深大佬 : Morriaty

    @lsvih 机器学习工作流这部分的抽象和拆解很清晰

  • 資深大佬 : andj4cn

    @threeEggs123 数据量上来 Flask 会不会表现很差，仅靠单机内存计算的话。

  • 主 資深大佬 : Morriaty

    过于真实，全是收藏的

  • 資深大佬 : threeEggs123

    @andj4cn 我们的需求是文本多分类，
    比如 I love u -> api -> 喜欢。
    api 就告诉我们这句话的 tag 是什么。
    至于高并发的情况下，我们也考虑到了，部署方式是 ECS，默认三台机器，有对应的扩容缩容策略。负载均衡的平摊 api 请求。数据量上来了，我理解的是高并发哈。。。