图解pandas窗口函数rolling

2023-4-14 17:57| 发布者: wanhu| 查看: 115| 评论: 0

摘要: 公众号:尤而小屋作者:Peter编辑:Peter 大家好,我是Peter~在我们处理数据,尤其是和时间相关的数据中,经常会听到移动窗口、滑动窗口或者移动平均、窗口大小等相关的概念。今天给大家介绍一个pandas中常用来处理 ...
公众号:尤而小屋
作者:Peter
编辑:Peter

大家好,我是Peter~

在我们处理数据,尤其是和时间相关的数据中,经常会听到移动窗口、滑动窗口或者移动平均、窗口大小等相关的概念。

今天给大家介绍一个pandas中常用来处理滑动窗口的函数:rolling。这个函数极其重要,希望你花时间看完文章和整个图解过程。

本文关键词:pandas、滑动窗口、移动平均、rolling

模拟数据

首先导入两个常用的包,用于模拟数据:

In [1]:

import numpy as np
import pandas as pd

模拟一份简单的数据

In [2]:

data = pd.DataFrame({"col1": np.arange(10)})
data


rolling参数

下面是rolling函数的具体参数和解释:

DataFrame.rolling(window,
min_periods=None,
center=False,
win_type=None,
on=None,
axis=0,
closed=None)
  • window:表示时间窗口的大小;可省略不写。两种形式:int和offset。如果使用int,数值表示计算统计量的观测值的数量即向前几个数据。如果是offset类型,表示时间窗口的大小
  • min_periods:每个窗口内最少包含的观测值的数量,如果小于这个值的窗口,则结果为NA。值可以是int,默认Noneoffset情况下,默认为1。offset类型是专门针对时间类型
  • center: 把窗口的标签设置为居中。布尔类型,默认False,向右对齐。
  • win_type:窗口的类型。截取窗的各种函数。字符串类型,默认为None
  • on:可选参数;对于dataframe而言,指定要计算滚动窗口的列,值可以是dataframe中的列名。
  • axis:int或者字符串;如果是0或者index,则按照行进行计算,如果是1或者columns,则按照列进行计算。默认是0,即对列进行计算
  • closed:用于定义区间的开闭,支持int类型的窗口window。对于offset类型默认是左开右闭,即默认为right,也可以根据具体的情况指定为left、both

更多的资料到官网学习地址:

https://pandas.pydata.org/docs/reference/window.html

https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.rolling.html

使用

一般在使用了移动窗口函数rolling之后,我们需要配合使用相关的统计函数,比如sum、mean、max等。使用最多的是mean函数,生成移动平均值。下面汇总了常用的统计相关函数:

方法描述
count()统计非空数量
sum()求和
mean()求均值
median()求中位数
min()最小值
max()最大值
std()求标准差
var()有偏方差
skew()偏度
kurt()峰度
quantile()求四分位数
apply()apply函数使用
cov()无偏方差
corr()相关系数

参数window

使用3个滑动窗口,计算平均值。

In [3]:

data.rolling(3).mean() # 求均值

# 等效
# data.rolling(3, axis=0).mean()

结果为:



如何通过图解的形式来理解?看下面的图示:

  • 第一个元素0:往前数3个元素(包含本身),NaN、NaN、0;均值是NaN
  • 第二个元素1:往前数3个元素(包含本身),NaN、1、1;均值为NaN
  • 第三个元素2:往前数3个元素(包含本身),0、1、2;均值为( 0 + 1 + 2 ) / 3 = 1
  • 第四个元素3:往前数3个元素(包含本身),1、2、3;均值为( 1 + 2 + 3 ) / 3 = 2
  • 第五个元素4:往前数3个元素(包含本身),2、3、4;均值为( 2 + 3 + 4) / 3 = 3
  • 以此类推…


如果是移动之后求和,也是同样的道理:



在这里需要注意的是:pandas或者numpy中的np.nan空值与其他数值相乘或者相加都是nan:

参数min_periods

如何理解参数min_periods?表示的是窗口里面的最小元素数量。min_periods必须小于等于window值

In [9]:

data.rolling(3, min_periods=2).mean() # 基于min_periods 求平均
  • 因为在第二个元素1这里,往前数刚好是两个元素,满足min_periods的值,所以能够进行求均值
  • 从第三个元素开始,往前数都满足窗口的3个元素,直接求均值

注意:当min_periods的值大于窗口window的值时,则会报错:



参数center

如何理解参数center?表示的是以当前元素为中心,在上下两个方向进行滑窗然后进行统计计算:

In [11]:

data.rolling(3, center=True).mean() # 参数center + 窗口为奇数

具体的过程可以看下面的图解:

  • 第一个元素0:以0为中心,移动3个元素为NaN、0、1,均值为NaN
  • 第二个元素1:以1为中心,移动3个元素为0、1、2,均值为1
  • 第三个元素2:以2为中心,移动3个元素为1、2、3,均值为2
  • 以此类推...
  • 最后一个元素9:以9为中心,移动3个元素为:8、9、NaN;均值为NaN


上面的例子是窗口为3(奇数);如果窗口为偶数呢?

data.rolling(4, center=True).mean() # 参数center + 窗口为偶数

具体解释的过程请参考下面的图示:

  • 第一个元素0:以0为“中心”,往前移动2个元素为NaN、NaN,往后移动1个元素为1,NaN、NaN、0、1的均值为NaN
  • 第二个元素1:以1为“中心”,往前移动2个元素为NaN、0,往后移动1个元素为2,NaN、0、1、2的均值为NaN
  • 第三个元素2:以2为“中心”,往前移动2个元素为0、1,往后移动1个元素为3,0、1、2、3的均值为1.5
  • 以此类推...
  • 最后一个元素9:以9为“中心”,往前移动2个元素为7、8,往后移动一个元素为NaN,7、8、9、NaN的均值为NaN


参数center配合min_periods同时使用:

data.rolling(3, center=True, min_periods=2).mean() # 参数center


同样选择窗口为3:

  • 除了第一个和最后一个元素不同;其他相同
  • 因为存在min_periods=2,所以它们能够计算出结果,而不是NaN


参数closed

取值可以为right、left、both和neither

官网的详细解释:

  • right:窗口中的第一个数据点从计算中删除(excluded)
  • left:窗口中的最后一个数据点从计算中删除
  • both:不删除或者排除任何数据点
  • neither:第一个和最后一个数据点从计算中删除


取值1:right

先看看默认情况right

data.rolling(3).mean() # 求均值

# 等效于下面的代码 默认是right
# data.rolling(3, closed="right").mean()

解释过程为这张图:

取值2:left

如果将closed参数改为left呢?



取值3:both

如果取值是both:

data.rolling(3, closed="both").mean()


上图的解释:

  • 第一个元素0:往前最多window(3)+1 也就是4个元素,为NaN、NaN、NaN、0,均值为NaN
  • 第二个元素1:往前最多也是4个元素,为NaN、NaN、0、1,均值为NaN
  • 第三个元素2:往前最多也是4个元素,为NaN、0、1、2,但是此时窗口数是3,因此可以计算均值:(0+1+2)/3=1
  • 第四个元素3:往前最多也是4个元素,为0、1、2、3,计算均值:(0+1+2+3)/4=1.5
  • 以此类推...

取值4:neither

如果直接使用neither,结果全部为NaN:



解决bug:可以参考pandas官网的issue:https://github.com/pandas-dev/pandas/issues/39038



当close='neither'时,参数min_periods不等于n-1(n为窗口大小),而是等于n。

作为滚动计算的对象窗口里,却至多只剩n-1个值,达不到min_periods的最小窗口值 数(n)的要求。所以我们需要手动将min_periods设置成: n-1



具体的解释参考下面的图示:

  • 第一个元素0:排除第一个和最后一个元素后,均为NaN,均值为NaN
  • 第二个元素1:排除第一个和最后一个元素后,为NaN、0,均值为NaN
  • 第三个元素2:排除第一个和最后一个元素后,为0、1,均值为0.5
  • 第一个元素3:排除第一个和最后一个元素后,为1、2,均值为1.5
  • 以此类推…



路过

雷人

握手

鲜花

鸡蛋
版权声明:免责声明:文章信息来源于网络以及网友投稿,本网站只负责对文章进行整理、排版、编辑,是出于传递 更多信息之目的, 并不意味着赞同其观点或证实其内容的真实性,如本站文章和转稿涉及版权等问题,请作者在及时联系本站,我们会尽快处理。
已有 0 人参与

会员评论

相关分类

 万奢网手机版

官网微博:万奢网服务平台

今日头条二维码 1 微信公众号二维码 1 抖音小程序二维码 1
上海万湖珠宝贸易有限公司 地址:上海市宝山区共和新路4727号新陆国际大厦1003-1007室 网站经营许可证 备案号:沪ICP备11005343号-12012-2019
万奢网主要专注于手表回收,二手名表回收/销售业务,可免费鉴定(手表真假),评估手表回收价格,正规手表回收公司,宝山实体店,支持全国范围上门回收手表
返回顶部