Pandas分组与聚合
一:分组 (groupby)
- 对数据集进行分组,然后对每组进行统计分析
- SQL能够对数据进行过滤,分组聚合
- pandas能利用groupby进行更加复杂的分组运算
- 分组运算过程:split->apply->combine
- 拆分:进行分组的根据
- 应用:每个分组运行的计算规则
- 合并:把每个分组的计算结果合并起来
示例代码:
1 | import pandas as pd |
运行结果:
1 | data1 data2 key1 key2 |
一、GroupBy对象:DataFrameGroupBy,SeriesGroupBy
1. 分组操作
groupby()进行分组,GroupBy对象没有进行实际运算,只是包含分组的中间数据
按列名分组:obj.groupby(‘label’)
示例代码:
1 | # dataframe根据key1进行分组 |
运行结果:
1 | <class 'pandas.core.groupby.DataFrameGroupBy'> |
2. 分组运算
对GroupBy对象进行分组运算/多重分组运算,如mean()
非数值数据不进行分组运算
示例代码:
1 | # 分组运算 |
运行结果:
1 | data1 data2 |
size() 返回每个分组的元素个数
示例代码:
1 | # size |
运行结果:
1 | key1 |
3. 按自定义的key分组
obj.groupby(self_def_key)
自定义的key可为列表或多层列表
obj.groupby([‘label1’, ‘label2’])->多层dataframe
示例代码:
1 | # 按自定义key分组,列表 |
运行结果:
1 | 0 1 |
二、GroupBy对象支持迭代操作
每次迭代返回一个元组 (group_name, group_data)
可用于分组数据的具体运算
1. 单层分组
示例代码:
1 | # 单层分组,根据key1 |
运行结果:
1 | a |
2. 多层分组
示例代码:
1 | # 多层分组,根据key1 和 key2 |
运行结果:
1 | ('a', 'one') |
三、GroupBy对象可以转换成列表或字典
示例代码:
1 | # GroupBy对象转换list |
运行结果:
1 | [('a', data1 data2 key1 key2 |
1. 按列分组、按数据类型分组
示例代码:
1 | # 按列分组 |
运行结果:
1 | data1 float64 |
2. 其他分组方法
示例代码:
1 | df_obj2 = pd.DataFrame(np.random.randint(1, 10, (5,5)), |
运行结果:
1 | a b c d e |
3. 通过字典分组
示例代码:
1 | # 通过字典分组 |
运行结果:
1 | C 1 |
4. 通过函数分组,函数传入的参数为行索引或列索引
示例代码:
1 | # 通过函数分组 |
运行结果:
1 | 1 1 |
5. 通过索引级别分组
示例代码:
1 | # 通过索引级别分组 |
运行结果:
1 | language Python Java Python Java Python |
二:聚合 (aggregation)
- 数组产生标量的过程,如mean()、count()等
- 常用于对分组后的数据进行计算
示例代码:
1 | dict_obj = {'key1' : ['a', 'b', 'a', 'b', |
运行结果:
1 | data1 data2 key1 key2 |
1. 内置的聚合函数
sum(), mean(), max(), min(), count(), size(), describe()
示例代码:
1 | print(df_obj5.groupby('key1').sum()) |
运行结果:
1 | data1 data2 |
2. 可自定义函数,传入agg方法中
grouped.agg(func)
func的参数为groupby索引对应的记录
示例代码:
1 | # 自定义聚合函数 |
运行结果:
1 | data1 data2 |
3. 应用多个聚合函数
同时应用多个函数进行聚合操作,使用函数列表
示例代码:
1 | # 应用多个聚合函数 |
运行结果:
1 | data1 data2 |
4. 对不同的列分别作用不同的聚合函数,使用dict
示例代码:
1 | # 每列作用不同的聚合函数 |
运行结果:
1 | data1 data2 |
5. 常用的内置聚合函数
示例代码:
1 | import pandas as pd |
运行结果:
1 | data1 data2 key1 key2 |
聚合运算后会改变原始数据的形状,
如何保持原始数据的形状?
1. merge
使用merge的外连接,比较复杂
示例代码:
1 | # 方法1,使用merge |
运行结果:
1 | data1 data2 key1 key2 sum_data1 sum_data2 |
2. transform
transform的计算结果和原始数据的形状保持一致,
如:grouped.transform(np.sum)
示例代码:
1 | # 方法2,使用transform |
运行结果:
1 | data1 data2 key1 key2 sum_data1 sum_data2 sum_key2 |
也可传入自定义函数,
示例代码:
1 | # 自定义函数传入transform |
运行结果:
1 | data1 data2 sum_data1 sum_data2 |
groupby.apply(func)
func函数也可以在各分组上分别调用,最后结果通过pd.concat组装到一起(数据合并)
示例代码:
1 | import pandas as pd |
运行结果:
1 | LeagueIndex Age HoursPerWeek TotalHours APM |
1. 产生层级索引:外层索引是分组名,内层索引是df_obj的行索引
示例代码:
1 | # apply函数接收的参数会传入自定义的函数中 |
运行结果:
1 | LeagueIndex Age HoursPerWeek TotalHours APM |
2. 禁止层级索引, group_keys=False
示例代码:
1 | print(df_data.groupby('LeagueIndex', group_keys=False).apply(top_n)) |
运行结果:
1 | LeagueIndex Age HoursPerWeek TotalHours APM |
apply可以用来处理不同分组内的缺失数据填充 ,填充该分组的均值。