跳至主要內容
  • Hostloc 空間訪問刷分
  • 售賣場
  • 廣告位
  • 賣站?

4563博客

全新的繁體中文 WordPress 網站
  • 首頁
  • bi 大量 parquet 小文件存储方案求助
未分類
19 1 月 2021

bi 大量 parquet 小文件存储方案求助

bi 大量 parquet 小文件存储方案求助

資深大佬 : cassidyhere 6

背景: 目前在做的一个 bi 系统,后台有大量用户由上传文件生成的 parquet(一个项目对应两个 parquet,一个原始数据,一个新增数据,大小主要是几十 k~几百 m),操作是随机读部分列 /更新列,由于 pyarrow 操作 parquet 不支持更新部分列,为了性能考虑更新列是操作新增数据 parquet 。当前 parquet 是储存在 nfs 。

请教: 1.有没有更好的文件储存方案?要求读文件时不用整个文件取出,因为一般只需读部分列;用户的请求路由到对应文件储存的机器上。 2.有更好的 parquet 处理方案吗?我现在用 pyarrow/pandas 处理,要求还是用 python 。

大佬有話說 (1)

  • 資深大佬 : levelworm

    我们公司之前是用 s3 + databrick 的,不过我也不太了解技术细节。。。同样也是大量 parquet 。

文章導覽

上一篇文章
下一篇文章

AD

其他操作

  • 登入
  • 訂閱網站內容的資訊提供
  • 訂閱留言的資訊提供
  • WordPress.org 台灣繁體中文

51la

4563博客

全新的繁體中文 WordPress 網站
返回頂端
本站採用 WordPress 建置 | 佈景主題採用 GretaThemes 所設計的 Memory
4563博客
  • Hostloc 空間訪問刷分
  • 售賣場
  • 廣告位
  • 賣站?
在這裡新增小工具