pandas 的 to_excel,在几十万条数据(也可能上百万)的情况下太慢了该怎么解决？

• 資深大佬 : superrichman

  to_csv

• 資深大佬 : noqwerty

  先看看 csv 要多长时间，排除 io 的问题。如果 csv 没问题的话可以尝试换其他的 Excel writer engine，pandas 默认的好像很慢

• 資深大佬 : renmu123

  你导出成 CSV 应该会快很多，或者 to_dict 后用 openpyxl 的一个快速写入（具体不记得叫啥了）模式写入试试看吧。
  如果数据不需要 pandas 处理，没必要用 pandas 来转换啊。

• 資深大佬 : TimePPT

  一般超过 10 万行就 csv 吧，你这存着费劲，接收方打开也费劲。
  后来我还给运营培训过 sql，之后就开始导 sqlite db 文件给他们自己用了，随便用

• 資深大佬 : wuwukai007

  xlwings，如果不是逐行写的话，速度蛮快的，不过 40m 的一般电脑打开直接卡白屏吧

• 資深大佬 : wuwukai007

  还有 engine=xlwrite,我之前用过比 openpyxl 速度快 40%
  左右

• 主 資深大佬 : lluuiq

  @renmu123 需要处理一些 转换格式 填充 nan 值之类的 。。

• 主 資深大佬 : lluuiq

  @noqwerty 尝试了一下 csv 写入 csv 速度特别快，但是返回文件时变慢了

• 資深大佬 : hs0000t

  @lluuiq 导出后打压缩包再返回

• 資深大佬 : lithiumii

  都六十万条数据了，excel 不合适了吧，毕竟 excel 是给人看

• 資深大佬 : Thymolblue

  如果是 2D 数据的话可以考虑科学数据集(高于 3D 可能需要转换)
  比如 hdf5
  pandas 是能直接导出 hdf5 的

• 資深大佬 : snw

  如果中间不需要给人看，没必要经过 excel 格式，用 csv 就行。

  Excel 本身处理几十万行、十几列的表格数据其实问题不大，只是 lz 的需求没必要。

• 資深大佬 : neoblackcap

  上百万的数据如果还要导出成 xlsx 格式，那么工作就会很有可能就会出现问题。原因是 xlsx 文件并不支持那么多数据。xlsx 最大行数为 2^20 = 1048576，你超过 100 万行的数据请考虑使用更加合适的工具，比如数据库

• 資深大佬 : liprais

  不给人看转成 csv 的你们是认真的么….转成二进制格式多好….

• 資深大佬 : kkbblzq

  别 excel 了，多了内存也会炸

• 資深大佬 : rationa1cuzz

  我好奇你生成后能顺利打开吗？ 前几天还帮同学处理个雨量统计表 3M 多的 xlsx，一个大概十几秒
  openpyxl engine=xlwrite 能快一点

• 資深大佬 : HankLu

  to_csv，10 万条我的联想小新 Air15 只要十秒左右

• 主 資深大佬 : lluuiq

  @rationa1cuzz 能打开 就是 40+M 的文件要加载个 10 秒左右

• 主 資深大佬 : lluuiq

  @HankLu 已经换成 csv 了，耗时从接近 10 分钟变成了几秒。。