问一个关于深度学习训练任务&资源分配的问题
資深大佬 : lllllliu 0
被迫研究深度学习,在一台服务器上跑自己的几个模型训练。 现在管理的方式是 ide 远程提交脚本,ssh 上去开个 screen 跑,过会儿再过来看。同时会跑两三个不同模型的训练。 问:是否有可以管理 python&tensorflow 训练任务的开源平台呢?最好是脚本提交的,那种可视化的好像没啥用。。。 emmm 可以支持分布式调度的最好。。目前一台服务器有点顶不住
大佬有話說 (4)
被迫研究深度学习,在一台服务器上跑自己的几个模型训练。 现在管理的方式是 ide 远程提交脚本,ssh 上去开个 screen 跑,过会儿再过来看。同时会跑两三个不同模型的训练。 问:是否有可以管理 python&tensorflow 训练任务的开源平台呢?最好是脚本提交的,那种可视化的好像没啥用。。。 emmm 可以支持分布式调度的最好。。目前一台服务器有点顶不住
不是很复杂,screen 或者 tmux 窗口编上号。
复杂点,就搞个 rabbitmq + [任务队列 或者 pika]。执行脚本扔 mq 里,自动调度练丹顺序。