跳至主要內容
  • Hostloc 空間訪問刷分
  • 售賣場
  • 廣告位
  • 賣站?

4563博客

全新的繁體中文 WordPress 網站
  • 首頁
  • 请问: 100w 个文件怎样快速合并到一起
未分類
19 7 月 2020

请问: 100w 个文件怎样快速合并到一起

请问: 100w 个文件怎样快速合并到一起

資深大佬 : zh584728 18

每个文件倒是不大,几百到几千行不等

尝试使用cat 但是内存会溢出

笨办法倒是有,一个一个文件去读取…但好像也不快

所以有啥奇淫技巧吗

大佬有話說 (5)

  • 資深大佬 : jimliang

    cat file1 file2 > file

  • 資深大佬 : liprais

    格式一样么
    格式一样放在一个目录下面用 spark 完事

  • 資深大佬 : jimliang

    不好意思,刚刚没看到已经尝试用过 cat 了

  • 資深大佬 : xupefei

    fish:

    for f in (ls)
    cat $f >> combined.txt
    end

    bash/zsh 同理。

  • 資深大佬 : deppindeepin

    何谓”快速”?指的是快速实现还是快速合并(合并速度)?
    如果是前者的吧,拿一个自己熟悉的脚本语言搞一下岂不是分分钟么

文章導覽

上一篇文章
下一篇文章

AD

其他操作

  • 登入
  • 訂閱網站內容的資訊提供
  • 訂閱留言的資訊提供
  • WordPress.org 台灣繁體中文

51la

4563博客

全新的繁體中文 WordPress 網站
返回頂端
本站採用 WordPress 建置 | 佈景主題採用 GretaThemes 所設計的 Memory
4563博客
  • Hostloc 空間訪問刷分
  • 售賣場
  • 廣告位
  • 賣站?
在這裡新增小工具