如何快速压缩 40T 的图片
資深大佬 : zuiluo 0
40T 图片都在 aliyun OSS 上,想把这 40T 都压缩一遍,绝大部分图片都在少数几个文件夹内,目前方案相当龟速。。
有什么好的策略推荐的么
大佬有話說 (11)
有什么好的策略推荐的么
40T 不是个小数目了,光你下载下来就要很久了,就别说压缩了
如果是用 oss 提供的压缩 api 的话,估计也得花不少钱
最后还是建议提工单问问
再加上最近没什么事情吧,帮公司省点钱也是挺好的。
我目前的方案,使用一台服务器走内网下载(内网下载上传都是不花钱的 2333),先统计到数据库,对图像数据集先做归类,宽高大小,方便后面调用( OSS 自带的 API 查询真的是太简单了)
记录到库之后,再逐一对图片进行压缩,将原图备份,压缩图替换。
这里唯一难点就速度问题,目前备份统计已经开了几十个线程同时跑,内网带宽拉满的情况下,估计还要跑好几天才能跑完,不过对时间不是很紧急,批处理程序调试稳定之后让他挂着跑就好了