跳至主要內容
  • Hostloc 空間訪問刷分
  • 售賣場
  • 廣告位
  • 賣站?

4563博客

全新的繁體中文 WordPress 網站
  • 首頁
  • 文科生坐拥 20 台高配服务器,该怎么好好利用?
未分類
28 3 月 2020

文科生坐拥 20 台高配服务器,该怎么好好利用?

文科生坐拥 20 台高配服务器,该怎么好好利用?

資深大佬 : leoballacl 45

有点标题党了,事实是这样的,我正在某学校文科学院担任研究助理。大数据的火热让不少文科专业也开始跟风,我所在的实验室的设备确实给力,20 台服务器,每台服务器有 256G 内存,4T 固态硬盘存储。

然而管实验室的老师是文科出生,Linux,Python, Spark, Hadoop 等都只是了解功能,技术细节并不懂。我们实验室之前有另外一名专职的科研助理,他统计学背景的,爬虫做得不错,服务器在跑的几个爬虫任务都是他一手搭建的。不过最近他离职了(毕竟 IT 公司给的薪资比学校高多了),爬虫的任务时不时出现问题还要找他远程帮忙解决。

前段时间我们的服务器被学校的网络中心检测到有僵尸网络入侵,我们找供应商帮忙看是什么原因。搞了半天最后也只能“治标不治本”地进行 IP 封锁而已。

杂七杂八地说那么多,我也不知道我想说什么,我只是觉得好暴殄天物啊,200 万的机器,监测环境没有,用户管理一团糟。数据分析现在我们用单机就能暂时解决了,分布式系统都没怎么利用。

我好愧疚啊,毕竟这些机器都是国家掏的钱,并不能做到物尽其用。听说今年还有一百万的经费下来,要购置一批 GPU 服务器。

各位 V 友对我有什么建议吗?我也是纯文科生,熟练使用 R 语言,Python 入门。我应该怎样做才能提高这些服务器的利用效果,例如我们的服务器需要装什么东西好让服务器运转地更合理科学?我应该努力学习哪些方面的知识?多说一句,我的研究方向是计算社会科学。

我现在用着实验室内存 500G,价格 20 万的工作站发帖,感觉硬件条件好到让我这小白好惭愧。

大佬有話說 (51)

  • 資深大佬 : passluo

    和学校信息中心商量下,部署一套 OpenStack,利用校园内网分发点资源给有兴趣的同学们做试验用。

  • 主 資深大佬 : leoballacl

    @passluo 这有点算公益活动了,我估计管实验室的老师暂时不会同意的。

  • 資深大佬 : askfermi

    找 EECS 系合作发 paper,借他们用? 实在找不到的话可以和我们合作发:)

  • 資深大佬 : manami

    挖矿(逃

  • 資深大佬 : io123

    挖个矿?

  • 主 資深大佬 : leoballacl

    @askfermi 那些专业的硬件设备更好。。。你们什么专业的呀?有什么好的研究计划吗?

  • 主 資深大佬 : leoballacl

    @manami 不懂。。。。而且,学校的网络中心会有监控?

  • 資深大佬 : rayhy

    什么学校啊!这么豪气。。我们这专门搞深度学习的各种缺服务器。。

  • 資深大佬 : 0gys

    搞个大型 cg 渲染。配置好环境,用网上素材或者原文件跑。或者自己学一学电影特效

  • 資深大佬 : xiaotongxue

    羡慕,什么学校啊

  • 資深大佬 : mnssbe

    为了折腾而折腾,没有需求创造需求,挖矿好像挺适合这个场景的

  • 資深大佬 : wtks1

    这年头连运营商都因为缺钱而导致新增设备不足了,主这学校真壕啊

  • 主 資深大佬 : leoballacl

    @mnssbe 也不能说没有需求吧。你看我们被僵尸网络攻击了,防护系统一团糟,用户管理也只是很原生态的命令行操作,大数据平台只搭了 Hadoop 和 Spark。还有很多东西可以做,我是想请教各位有什么我可以做的,有什么是我可以请老师让专业的人在做的。

  • 資深大佬 : ArJun

    这年头除了带宽一般都性能过剩了

  • 主 資深大佬 : leoballacl

    @xiaotongxue 沿海某双非。。。

  • 資深大佬 : miao666

    我提供算法和代码,能付费帮我运算吗?

  • 資深大佬 : WinG

    你可以了解下门罗 XMR

  • 資深大佬 : vakara

    找找学校内有没有一些计算机相关兴趣的 team 给他们分享点吧,会很感激的。
    或者你可以拿来学学比如 openstack openshift kubernetes 等,很适合,说不定还可以写点文章修电 bug 为社区做点贡献。

  • 主 資深大佬 : leoballacl

    @miao666 我们是不会接受商业合作的。我们的研究都是基于学术目的的。我们的合作机制还很不完善,所以暂时不能跟你们合作。或者你可以提个建议,我们应该建个什么系统,软件,这样可以方便我们和其他人的合作同时又不影响我们自己日常服务的工作?

  • 主 資深大佬 : leoballacl

    @vakara 好的,谢谢你的建议。把资源免费给别人用同时不影响自己日常使用,有什么好的管理系统吗?还是简单地新建个临时用户?纯小白,不懂问一句。

  • 主 資深大佬 : leoballacl

    @WinG 我还以为是什么技术。。。。违法的事情我不做

  • 資深大佬 : baobao1270

    搞不懂,文学院为啥要弄这么高端的服务器?
    文学……和大数据?似乎没什么好搞的,如果主发现了可以搞的点,说不定能发现一个新兴市场呢

    可以尝试方向:
    人工智能翻译?(似乎抢外国语学院的活了
    金融数据分析?(似乎抢商学院的活了,但是我学校的商学院是文学院分出去的……
    人工智能文学创作、语义识别……等等
    人工智能舆情分析?(希望别搞出来吧……

  • 主 資深大佬 : leoballacl

    @baobao1270 层主应该是硬核理工科学生了。事实上,文科里面也有不少搞大数据和机器学习的。我是传媒相关专业的,对媒体文本数据进行挖掘、自然语言处理是我们的日常任务(尽管还远说不上熟练)。另外,已经有一些知名的传媒学院在搞舆情检测系统给 zf 服务了。。。。

  • 資深大佬 : lekai63

    文言文编程 比较适合主
    可以和本站那个谁,基于学术研究合作下,顺便还为开源世界贡献了一定的算力

  • 資深大佬 : lekai63

    这个东东有新意 而且开源项目算小有成果了。
    跟原作者 合计合计优化下语法,拓展下,或者搞点类库,试试自举啥的。

  • 資深大佬 : ProfFan

    主是 Tech 的嘛?维护可以找 CS 的本科生嘛,补助一个月给个 6K 就行了,可以帮你介绍啊(

  • 資深大佬 : after1990s

    要是想捐助学术项目的话,BONIC 上有很多,什么寻找外星人,抗击癌症,清洁能源之类的。

  • 資深大佬 : askfermi

    @leoballacl 前段时间搞了一个 GitHub 多样性和代码质量的关系,需要分析很多仓库的代码质量,也许可以一起搞 🙂

  • 資深大佬 : dremy

    暴殄天物……
    话说学校如果没谁主动申请的话,这些服务器应该不会硬送吧,又不是中小学生上课用的 PC…
    话说这一台服务器能换多少台学生机哟喂

  • 資深大佬 : ronman

    BOINC 了解一下,为人类文明建设做贡献

  • 資深大佬 : Tn5ohB1Yecdk3qCK

    挖坑+1

  • 資深大佬 : love

    不是自己的钱浪费起来不心疼

  • 資深大佬 : noqwerty

    羡慕+1,我们实验室服务器的配置大概只有你们的十分之一。那么你们实验室当时采购这些服务器的用途是什么呢?老板也没有任何课题研究方向就花了这么多钱?

  • 資深大佬 : chinesestudio

    要不发点工资给我 我给你们上 proxmox 集群 网页管理服务器方便的很。

  • 資深大佬 : WittBulter

    用 20 万的工作站发帖可还行….
    按 lz 说的文学院的水平,很难发挥这些机器的价值,毕竟按目前状态能搞的研究课题估计一个工作站都绰绰有余。可以在一部分机器上装一些管理系统日常用来跑算法,或是集群微服务的部署,给同校其他学院的人或是开源使用。不过按 lz 爬虫都难以维护的状态,想要运维这些也太难了…

  • 資深大佬 : AES256GCM

    光说了内存和硬盘,CPU 和 GPU 的配置还没提呢。最好把配置 print 出来,大家才好参考着给建议。

  • 資深大佬 : q409640976

    不挖矿可惜了

  • 資深大佬 : miao666

    我的计算是基于业务的,不方便透露给你。目前通过套路云按量付费进行计算,一次三四百吧。
    现在 CS 学科贴合业务很重要,很多 CS 重要论文都是在企业里发表。可以找些企业合作下,通过提供算力解决企业技术上的痛点。
    祝早日发论文

  • 資深大佬 : nlysh007

    疑炫无据,不敢言

  • 資深大佬 : KasuganoSoras

    跑 ESXi 或者 PVE,实在不行 SolusVM,拿来出租 VPS,血赚
    前提是有公网 IP,宽带足够

  • 資深大佬 : eason1874

    实在闲置得多可以跟校内一些有交叉的学科团队合作,你们提供服务器,也参与他们的项目,共同维护,既能学习又能把闲置资源用起来。

    如果虚拟系统不会搞,怕影响实验室内部,可以干脆物理隔绝,直接拔线,划出几台提供外部服务,搞多一台专用路由接入。

  • 主 資深大佬 : leoballacl

    @WittBulter 具体用什么系统能具体说说吗?如果我没有能力维护,但是这些东西又是很重要的,我可以请老师让专业的人来做。

  • 主 資深大佬 : leoballacl

    @noqwerty 可能是文科院系有点跟风搞大数据吧,刚好学院有钱,老师也做了一些大数据研究(就是爬虫获得的数据量大了点,分析上也没什么特别的),然后学院就高薪并承诺给实验室为诱饵挖了老师过来。目前的研究只有爬虫一些数据,并可视化展示。多说一句,我们的爬虫和存储是分布式的,但是分析只用了单机的 Pyspark 和 Hive。供应商搭好了 Spark 集群环境,pyspark 集群却搞不好,有没有大神给点意见 pyspark 集群搭不上来问题出在哪?。

  • 資深大佬 : hinate

    那就做开源镜像吧,还能组织一个小组。相同爱好的人一起学习。

  • 資深大佬 : breaker911

    文学院。。。学一学 python 和 nlp 的原理 自己折腾着玩 爬虫会了去看看搜索引擎原理做着玩? 反正你又不能商用 合作还要上面审批 只能自己拿着玩了

  • 資深大佬 : nodin

    这是学校太有钱了,瞎折腾啊,文学院搞这么牛逼的服务器,弄起来搭小说站。

  • 資深大佬 : Niphor

    挖矿相对合理,赶紧催一下把 GPU 落实了

  • 資深大佬 : vakara

    @leoballacl 可以用 esxi 虚拟化成集群,再给别人个子账号。

  • 資深大佬 : Kelan

    阅读理解有问题啊,说是文科院系,一群看成文学、文学院的

  • 資深大佬 : yhxx

    学校内部问问看?同学们应该有很多想法的

    比如搭个这种东西造福同学? https://mirrors.zju.edu.cn/

  • 資深大佬 : Kirscheis

    20 个普通胖节点而已,主放心慢慢玩,好点的学校计算资源浪费很正常,关键是用到的时候能快速跑完别耽误事。平常你以为是闲置浪费资源,但是这些余量实际上就是研究成本的一部分,你做些没用的计算还浪费电呢。

    但主千万别搞什么挖矿出租虚拟机这种,否则一被举报立马翻车,学校网管和基金委也不是傻子。自己跑点渲染任务啥的玩玩就行了。另外你是文科的话可以试试自己搭搜索引擎玩,我之前把某国内数据库老书的扫描版全部做了 ocr 然后做索引,就是用十来个 tesla p100 gpu 节点闲时算的,足够算好几个月

文章導覽

上一篇文章
下一篇文章

AD

其他操作

  • 登入
  • 訂閱網站內容的資訊提供
  • 訂閱留言的資訊提供
  • WordPress.org 台灣繁體中文

51la

4563博客

全新的繁體中文 WordPress 網站
返回頂端
本站採用 WordPress 建置 | 佈景主題採用 GretaThemes 所設計的 Memory
4563博客
  • Hostloc 空間訪問刷分
  • 售賣場
  • 廣告位
  • 賣站?
在這裡新增小工具