未分類
24 1 月 2021

宅家 train 模型机器选择方案咨询

宅家 train 模型机器选择方案咨询

資深大佬 : aljun 4

主之前一直用的 G 家的 Colab 和自己的云主机 train 一些简单的模型以及 Kaggle 的比赛，一直想用自己机器去做一些事情，奈何现在主力机是一台老旧的 Mac （还未换 M1，不过也即将退休，换一台新的），现在想请教一下 v 站各位大佬们，如果只是 train 一些经典的模型或者做一些 Kaggle 或天池的比赛的话有什么推荐的方案呢？能想到的：

  • 换 M1 的 Mac （ M1 虽然据说 GPU 也很劲爆，但新 mac 据说无法外置显卡，之后自己折腾的途径也没了）
  • 外置显卡，这个一直有考虑，但是怕吃灰严重
    • 显卡选什么呢？（下面 win 机同问题）
  • 继续 G 家 Colab，但是存储和 IO 真的比较坑。。。
  • 滴滴云等国内还比较性价比的云主机
  • 换 Win 电脑直接上卡

主要场景 是复现模型，以及跑一些公开数据的比赛 平时也是上班 996 党，主要是晚上回来和周末时跑着学习使用

想问问各位过来人意见以及踩过的坑

大佬有話說 (12)

  • 資深大佬 : lazydog

    知乎看稚辉君的方案啊！

  • 主 資深大佬 : aljun

    @lazydog 貌似没找到。。。B 站也没找到

  • 資深大佬 : blues9

    还是用各种云主机吧，买硬件的钱足够这个需求了

  • 資深大佬 : Puteulanus

    云主机之前用过 Paperspace，感觉还行，现在好像向机器学习这方面特化了很多功能
    https://www.paperspace.com/

  • 資深大佬 : lithiumii

    现在显卡都不便宜，挖矿潮过去之后也许 12G 的 3060 会是（穷人）自己家里玩模型的合适选择。一定要现在买的话，不差钱直接 3090 吧

  • 資深大佬 : DoctorCat

    tb 上找远程电脑出租，性能可以的。

  • 資深大佬 : szxczyc

    配个 3080 的主机，放家里装 ubuntu 就可以了，不需要显示器。配置一下端口外网访问即可，想训练的时候 ssh 登录一下。训练的结果自动保存并推送进度，每隔一段时间用 sever 酱推送一下服务器情况。
    M1 再劲爆也不能 train 一些大的模型呀，NLP 和 CV 的大 bs 就爆显存了，现在的模型越来越大了，一张 30 系显卡还是比较需要的，再说平常打打 LOL 他不香嘛？
    M1 可以暂时不买，真不推荐拿来训练模型。这钱买个服务器靠谱！
    PS:大显存多跑几组实验调参还是挺好用的。

  • 資深大佬 : Puteulanus

    看了下，Paperspace 现在支持竞价实例了

    https://imgur.com/M5rxZQd

  • 資深大佬 : dartabe

    M1 貌似最近新出的 tensor flow 支持 CPU + GPU hybrid 方案据说性能还可以 你可以看看

    还有亚马逊 AWS 也提供计算服务 不知道如何

  • 資深大佬 : liprais

    @szxczyc 3080 那点显存也不够看的，3090 勉强够用

  • 資深大佬 : lazydog

    @aljun 你搜这个： [保姆级教程] 个人深度学习工作站配置指南 稚晖

  • 資深大佬 : owenliang

    买台电脑就行吧，啥数据规模还需要考虑这么多