CloudRaft 大佬有话说 :
求大流量镜像方案
本帖最后由 CloudRaft 于 2020-6-8 00:55 编辑
我们因为业务需要,有几十PB以上的数据需要在国内做镜像服务(NCBI EBI等),供客户自行下载。
客户并不是需要所有的数据,而是根据自己的需求选择特定的数据进行下载,一般一次下载数据在10G以内(需要大量下载的直接让租我们的芬兰EPYC机去做分析了)。
直接把这些文件下到国内是不可能的,目前是靠移动线路的杜甫反代CF实现加速,但是大文件效果依然不理想(超过2G的文件速度明显变慢)
非高峰期我们能到20M每秒的速度,非常满意了;但是高峰期1M都难,现在的方案就是让用户用境外的机器跑分析,但是用户有时候本地测序的结果要上传,经常也有10G+…
不知道有没有更好的解决方案?价格不是问题,有些客户都是直接买硬盘寄到美国机房,然后下载好之后寄回国的。
https://iuimg.com/images/2020/06/07/Ceks.png
tradekey1h 大佬有话说 :
115刚过100PB
xcy1020 大佬有话说 :
:lol:lol:lol想好再回答,先占位https://cdn.jsdelivr.net/gh/hishis/forum-master/public/images/patch.gif
wqz 大佬有话说 :
本帖最后由 wqz 于 2020-6-8 00:40 编辑
PB级建议快递硬盘(RFC1149 RFC2549 RFC6214)https://cdn.jsdelivr.net/gh/hishis/forum-master/public/images/patch.gif
domin 大佬有话说 :
下载好后寄回国太慢了,直接人肉带快一些.不过考虑最近可能要被隔离.
CloudRaft 大佬有话说 :
wqz 大佬有话说 : 2020-6-8 00:38
PB级建议快递硬盘(RFC1149 RFC2549 RFC6214)
并不是全部需要下载,而是客户根据自己的需求下载。
longmao 大佬有话说 :
yc003t真是大流量,这种还是物理解决吧
Cee 大佬有话说 :
可以试试阿里云的闪电立方和数据迁移服务,应该能符合要求。
雅丶涵 大佬有话说 :
谷歌云?
sandao 大佬有话说 :
好奇都是些什么数据