未分類
29 3 月 2020

由于项目需要，最近三天写了个小文件读取工具(TFS for Java )

由于项目需要，最近三天写了个小文件读取工具(TFS for Java )

資深大佬 : myliang 53

为什么要写这个？

项目需要，我开发了很多小项目需要存储很多的图片，pdf 小文件，之前通用的方法就是直接用系统的文件存储方式，这样方式对于一般的项目没有问题，但是当存储的文件多的时候就有些问题了（比如 linux 系统下目录下的文件数量时候一定的，当超过了出错了）， 所以我想到了小文件存储系统，比如淘宝的 tfs, facebook 的文件系统等等，这些文件系统都是分布式的应对超大数据量的，部署都需要多台服务器，对小项目来说，直接用这些感觉有点大材小用了 所以我觉得还是自己随手写个简单易用的针对小项目的文件存储工具，方便整合到现有系统

原因说清楚了，直接上地址，欢迎大家拍砖,讨论过

https://github.com/myliang/tfs

大佬有話說 (9)

  • 資深大佬 : cq65617875

    没有 delete ？
    蔟大文件小 一直写入超小文件的话 ssd 是不是就爽飞了

  • 主 資深大佬 : myliang

    @cq65617875 删除数据暂时只是做标记，真要删除重排索引，你有什么好建议

  • 資深大佬 : CallMeReznov

    对象存储?

  • 主 資深大佬 : myliang

    @CallMeReznov 单机小文件对象存储

  • 資深大佬 : lxml

    https://mp.weixin.qq.com/s/YM1QsdAHEHdehJT2_oMVSg
    上次看 pingcap 的 CTO 讲 tidb 在本地磁盘伤的坑，可以尝试一下，看能不能触发不同操作系统不同文件格式的坑～～

  • 資深大佬 : privil

    是时候安利一波 seaweedfs 了，用 java 消耗太高了吧……

  • 主 資深大佬 : myliang

    @privil 这是嵌入式的，不是单独的服务

  • 資深大佬 : abellee000

    弄个对象储存？ minio ？

  • 主 資深大佬 : myliang

    @abellee000 非分布式小对象存储，也就是多小文件合并为大文件而已