跳至主要內容
  • Hostloc 空間訪問刷分
  • 售賣場
  • 廣告位
  • 賣站?

4563博客

全新的繁體中文 WordPress 網站
  • 首頁
  • 如何高效地冷存储大量图片?
未分類
13 10 月 2020

如何高效地冷存储大量图片?

如何高效地冷存储大量图片?

資深大佬 : naoh1000 4

我们公司的 app 活跃用户大约有 800 万。最近产品经理要求做一个实名认证功能,要求上传身份证照片,审核完后基本没人看了,请问这些数据应该存数据库里还是作为文件单独存储?如果存数据库会不会导致数据库很大,大量小图片作为文件存储会不会不方便备份?虽然这不是我一个前端该管的事,但我正在打算转后端,想了解一下大佬们是怎么解决这问题的。

大佬有話說 (75)

  • 資深大佬 : fxXkcCpEveryday

    使用對象存儲

  • 資深大佬 : opengps

    对象存储有冷存储的方案,比实时读写要便宜,每次取用得先解冻

  • 資深大佬 : tanghongkai

    身份证照片为啥要存,实名完等着卖黑产吗?

  • 資深大佬 : opengps

    @tanghongkai 任何一家服务商都会存的,不然出问题连线索都提供不了,冷存储是比较安全的做法,不像某些站点的做法(可遍历爬取)

  • 資深大佬 : wangyzj

    实名认证用专门的服务商不就行了,不用上传身份证

  • 資深大佬 : wunonglin

    oss 归档储存

  • 資深大佬 : qwerthhusn

    存到 OBS,建议单独建一个 Bucket,然后这个 Bucket 严格控制读写权限

  • 資深大佬 : JensenQian

    实名认证要不直接走支付宝的,我只是提供一个建议 https://opendocs.alipay.com/mini/introduce/alipay-verfify

  • 資深大佬 : Mitt

    通常就是接入云服务商的存储系统,比如对象存储,自建的话就是单独的一套存储系统比如 TFS 、GFS (当然只是举个例子,实际还是要各方面考量),至于备份等等这些事情其实就属于运维管辖了,也都是有冷热备份方案的,然后合理性上的话,实名认证功能是不会自己做的,人工审核成本大,还要考虑伪造身份证等因素,所以最好的方法就是接入第三方认证机构,比如支付宝、微信或者其他支持活体认证的第三方,有个好处就是有他们的实名技术背书,即便要求调档也只需要提供该用户的真实姓名、身份证号就足够了,如果企业自己运作实名审核的话就要考虑万一出现安全事故,大量身份证照片泄露的后果是非常严重的(当然这就不是一个开发的考虑范畴了)。

  • 資深大佬 : ericbize

    云的 oss, 冷数据不贵

  • 資深大佬 : swulling

    @opengps 保留身份证号和姓名就已经足够了,保存身份证图片有什么意义?

    实名的意义不就是出事了把身份证号给 jc 么

  • 資深大佬 : Jerami

    好小子实名认证说干就干,我都以为是连到公安局的网络最验证,自己没有资格审核用户的数据,没想到居然如此随便!

  • 資深大佬 : loliordie

    没人吐槽 800 万用户就算全部上传也就 8 个 T 的数据么 这个数据量实在没啥好说的 选个便宜的存储丢着就行了

  • 資深大佬 : loliordie

    @Mitt 同意 如果在国外擅自保存用户证件信息怕是不知道死字怎么写

  • 資深大佬 : threeEggs123

    aws s3 glacier 完美解决

  • 資深大佬 : nooper

    这种数据泄露,或者被交易,你们是哪家公司?我对避免用你们的 app

  • 資深大佬 : ruri

    活跃 800w ?想知道是哪个公司,我避个雷?

  • 資深大佬 : wccc

    离职后给个提示

  • 資深大佬 : omL72EEc

    可以随便存的么?也太恐怖了,怪不得搞身份这么便宜

  • 資深大佬 : lpts007

    https://www.v2ex.com/t/712465

    用户也是倒了血霉了。

  • 資深大佬 : lpts007

    不过也理解,都是打工人。

  • 資深大佬 : OldActorsSmile

    调用百度网盘 api,存储到百度网盘,免费。我的图床( https://imgbed.cn )连续 1 年没人访问的也会冷存储

  • 主 資深大佬 : naoh1000

    @tanghongkai
    @wangyzj
    @nooper
    @ruri 我工作过的几家还算大的公司都是随便存的…

    @lpts007 麻烦读一下题目,这块不归我管,只是想让大家分享一下好的方法。

  • 資深大佬 : yrj

    人家 800 万活跃用户,各位大佬就不要推荐网盘之类的奇淫技巧了,直接 oss 归档存储,记得加密。

  • 資深大佬 : laike9m

    所以说尽可能避免国产 app,这话绝对不错

  • 資深大佬 : Perry

    做这种东西在国外可以被告到破产

  • 資深大佬 : raaaaaar

    活跃用户好像要去重来着,一个产品这么多用户吗?

  • 資深大佬 : yqm1024

    实名吗?文件存储有点那个了吧

  • 資深大佬 : kimi0

    如上所说,这种东西根本就不该存。

  • 資深大佬 : delectate

    都是打工人,何必为难主?骂也要骂这个奇葩的时代。

    阿里云 oss 或者腾讯云的低频数据存储就行了。

  • 資深大佬 : huihuilang

    哪个公司的?这种存身份证的辣鸡公司准备举报一波

  • 資深大佬 : katana97

    酷安也是这样,开发者手持身份证的图片认证完了不删也就算了,还直接在开发者后台里展示出来,前几天偶然看到吓的我把开发者认证都取消了

  • 資深大佬 : YLGG

    为何这种收集用户隐私的行为在我天朝这么肆无忌惮呢?

  • 資深大佬 : Jerami

    @YLGG 因为我们的法律落后于当前科技,更何况中国文化自古以来人与人之间距离不是特别明显,也不特别看重隐私,所以推广实名制人脸识别几乎没有遭到反对,相反,你要是重视还会被说中国哪有什么隐私,什么身正不怕影子斜你有问题?甚至被扣上崇洋媚外的帽子。

  • 資深大佬 : fengchang

    为什么提供线索要身份证照片,因为警察拿身份证号查不到?

  • 資深大佬 : sunmoon1983

    @OldActorsSmile 百度网盘有 api 吗?

  • 資深大佬 : linvaux

    麻烦说一下是哪个 app,我好避雷

  • 資深大佬 : OldActorsSmile

    @sunmoon1983

    pan.baidu.com/union/document/upload#%E4%BD%BF%E7%94%A8%E8%AF%B4%E6%98%8E

  • 資深大佬 : polymerdg

    实名认证不是 连 API 验证吗 为啥还好保留 身份证
    黑产?

  • 資深大佬 : sogwsc

    @Jerami 不重视隐私 却重视实名 现在是个平台都要绑手机+实名认证 真是奇葩

  • 資深大佬 : qinyusen

    序列化之后对象存储, 有点儿像标注数据的原始数据或者是脏数据,随便儿用个 HDFS,然后进行块备份就好。
    因为搬运和存储是整块数据,copy 起来速度快, 然后直接切片存到冷备份对应机架,然后对应机架只能特定 IP 和端口访问,冷备份就是 copy 完,拔硬盘就完了,当做热备份也行,做好数仓和后端的割裂就行了,我一般做法很土,就是对后端只有写接口,没有读和删改接口。改请人工到另一个内网位置提交修改就好,然后人工审核后 prove 进去(大规模的,就直接敲黑板找老板说行为非法)。
    然后如果需要查询,就直接再后一级做一次脱敏, 身份证后 x 位直接抹掉(简单的 opencv+打码),头像打码, 地址打码,打码程度视脱敏规模。

  • 資深大佬 : Kagari

    你们真就相信其他 app 没有存?

  • 資深大佬 : Jerami

    @sogwsc 因为不重视隐私所以实名制才能快速推广,没有收到民众抵制(况且也不敢抵制,毕竟都清楚根本目的是什么)

  • 資深大佬 : efaun

    @sogwsc #40 老大哥很注重你的“隐私”的,所以才会实名

  • 資深大佬 : huayumo

    现在都是走支付宝的实名接口,

  • 資深大佬 : EZG997

    就目前国内互联网行业的状况,实名制不知道到底方便了谁,隐私就是这么泄露的。

  • 資深大佬 : Stain5

    直接打印出来好像很可行
    800w 条信息 一张纸打印 20 条 每分钟打印 200 张
    大约 30 个小时就完工了

    安全性 
    可靠性 

  • 資深大佬 : wangyzj

    @naoh1000 #23 一定要存的话就是 oss 这类的对象存储就可以了,本地就是用 ceph 或者 hdfs 之类的把

  • 資深大佬 : eason1874

    先建议产品经理别存储。

    如果存储,不用问都知道有一些不可告人的目的。那就要为自己负责,现在有法律法规对个人信息的存储进行规定,也推出了一些标准,建议去了解,免得将来出事了自己也被连累。

    从技术操作上说,比较简单粗暴的办法是:每个文件内容都用随机密钥加密存到一个文件名为编号的文本文件,归档存储,然后把编号、原文件属性信息、随机密钥和用户 ID 通过非对称公钥加密,存到数据库。

    这样只要执行过程不泄露,就算代码、公钥、数据库字段和文件都泄露了,也解密不了内容,保护好私钥安全就行。

  • 資深大佬 : futandrew

    @Perry emmm 寻思着国外个人信息不是基本全公开吗?网上类似功能一找一堆,充钱即可解锁基本所有信息

  • 資深大佬 : PhpBestRubbish

    实名认证不是用第三方 API 吗?为啥你们要存身份证照片?

  • 資深大佬 : PhpBestRubbish

    @Kagari 我们的 App 就没有存身份证照片

  • 資深大佬 : weizhen199

    @futandrew 我咋记得只有前科犯会被公开

  • 資深大佬 : mjjfl

    @naoh1000 腾讯云对象存储有归档存储。归档存储提供了最低的存储单价,但读取数据的时候需要较长的解冻时间,因而适合需要长期保存数据的业务场景。可联系我打折,V:am9veXVuY29t

  • 資深大佬 : kaopuyunluzh

    腾讯云新政策 @
    1 、累计预付费订单金额大于等于 6600 元且月均预付费订单分摊金额累计大于等于 550 元,可赠送元 5000 代金券
    2 、累计预付费订单金额大于等于 38800 元且月均预付费订单分摊金额累计大于等于 3300 元,可赠送 2 万元代金券

  • 資深大佬 : futandrew

    @weizhen199 国内是这样的,还有失信人员。国外人基本全透明。包括名字,亲属关系,手机号,家庭住址等常见的隐私信息。常见的有 anywho, 411 等。
    我记得还有那种直接定位的,就是你输入名字然后直接展示距离你比如 300 公里里面的所有叫这个名字的位置。
    简单点的可看影视作品《网络迷踪》了解更多(

  • 資深大佬 : shifttacn

    有资质么,就要求实名认证

  • 資深大佬 : IDAEngine

    用磁带存了,几百年都在

  • 資深大佬 : idblife

    s3

  • 資深大佬 : imherer

    s3 +1

  • 資深大佬 : easymbol

    直接使用第三方的支付认证接口,自己存储风险太高

  • 資深大佬 : channg

    @linvaux #37 先说你上传身份中到过哪

  • 資深大佬 : isnullstring

    800w 用户 ,就算最终只有 10W 人上传身份证,转手卖出去,也不少钱喔

  • 資深大佬 : DoctorCat

    哎,说个题外话,这种非 PCI-DSS 认证过的服务真的是不敢用了。
    正题:国际案例来看亚马逊 AWS S3 是可以的。你们存储要考虑使用符合安全等级的产品和服务商!!! 不然泄漏或者被查技术负责人要抓去爆菊的。

  • 資深大佬 : code2019

    华为云 OBS 对象存储

  • 資深大佬 : alect

    请告诉我到底是哪个 APP,我要避免入坑。

  • 資深大佬 : reus

    泄露了要坐牢的!找第三方,别作死

  • 資深大佬 : reus

    https://www.secrss.com/articles/26427 个人信息保护法在起草,估计施行不远。现在不早做准备?

  • 資深大佬 : yolee599

    想不到这种敏感信息处理这么随便

  • 資深大佬 : gc528262067

    @tanghongkai 来自灵魂的拷问

  • 資深大佬 : ryanlid

    我敢打堵一块钱,绝大部分要求上传身份证、手持身份证的网站、APP,证件都没有删除

    支付宝、微信…的各种申请也没有

  • 資深大佬 : anyforever

    要求手机号的就忍了,要求实名认证的,还是不用为好

  • 資深大佬 : myqoo

    加密后存储到免费空间上 – –

  • 資深大佬 : Oysmart

    法律多熟读,能使用第三方就使用第三方吧,这叫转移风险,如果出现安全问题,老板估计就得进去喝茶了。

  • 資深大佬 : steptodream

    所以说一般的 APP 除非不是 100%必须 真的是不要上传证件 所有人和公司都一样 第一原则都是方便自己

文章導覽

上一篇文章
下一篇文章

AD

其他操作

  • 登入
  • 訂閱網站內容的資訊提供
  • 訂閱留言的資訊提供
  • WordPress.org 台灣繁體中文

51la

4563博客

全新的繁體中文 WordPress 網站
返回頂端
本站採用 WordPress 建置 | 佈景主題採用 GretaThemes 所設計的 Memory
4563博客
  • Hostloc 空間訪問刷分
  • 售賣場
  • 廣告位
  • 賣站?
在這裡新增小工具