未分類
13 5 月 2020

Python 小白， 请教各位大佬一个如何能够优化这个方法？

Python 小白， 请教各位大佬一个如何能够优化这个方法？

資深大佬 : mulandidi 6

我有一个很长的 dataframe,100w 左右吧， df = pd.DataFrame(columns =[‘id’])，我现在想要重新计算一个新列， 逻辑是 在第 i 行，利用第 i，i-1，i-2 的 id 列三个数值计算，我现在是用循环计算的，感觉很慢，非常丧，用多线程啥的感觉好像太重了

不知道大家有什么好的方法，感谢

大佬有話說 (7)

  • 資深大佬 : llsquaer

    没明白你具体..如果计算其中三行 某列的数据,直接取 index 就行了啊..100w 数据也是毫秒的事情..还用什么循环?

  • 資深大佬 : imn1

    你搜搜官方文档关于移动统计的章节，应该是“Expanding Windows”相关的内容
    移动统计就是用前 n 行数据计算当前新数据，时序类型数据经常需要，例如证券

  • 資深大佬 : liprais

    sql window function lag

  • 資深大佬 : yzc27

    用 apply()？

  • 資深大佬 : renmu

    d[i]=d[i-1]+d[i-2]这样？，直接操作

  • 主 資深大佬 : mulandidi

    @imn1 对，是时序数据，感谢了，用自带的 rolling 可以

  • 資深大佬 : Latin

    https://github.com/modin-project/modin