高效过滤Pandas DataFrame：基于分组条件提取子集

---

本教程详细阐述了如何利用Pandas的`groupby().transform()`方法，根据分组聚合条件高效地从DataFrame中提取特定行子集。文章通过一个实际案例，演示了如何在不创建额外辅助列的情况下，筛选出那些在特定分组（如日期和地点组合）中拥有超过指定数量（例如两个）唯一代理的全部记录，从而实现数据清洗和分析的精确控制。

基于分组聚合条件筛选Pandas DataFrame

在数据分析中，我们经常需要根据复杂的条件从DataFrame中筛选数据。其中一种常见场景是，我们需要基于某个分组（group）的聚合结果来筛选原始DataFrame中的所有行。例如，我们可能希望找出所有属于“某分组满足特定条件”的记录，而不是仅仅获取聚合后的结果。Pandas提供了groupby().transform()方法，能够优雅且高效地解决此类问题，避免了创建冗余的中间列。

场景描述与初始数据

假设我们有一个销售代理活动记录的DataFrame，包含日期（date）、地点（point）和代理（agent）信息。我们的业务规则是，在每个特定日期和地点组合下，通常应该只有两名代理活跃。现在，我们需要识别并提取出所有那些违反此规则的记录，即在某个日期和地点组合下，活跃代理数量超过两名的所有行。

以下是示例数据：

import pandas as pd
from io import StringIO

data = """date|point|agent
2025-10-02|A|agent1
2025-10-02|A|agent2
2025-10-05|B|agent3
2025-10-05|B|agent2
2025-10-02|C|agent1
2025-10-02|C|agent2
2025-10-02|C|agent3"""

df = pd.read_csv(StringIO(data), sep='|')
print("原始DataFrame:")
print(df)

输出的DataFrame如下：

原始DataFrame:
         date point   agent
0  2025-10-02     A  agent1
1  2025-10-02     A  agent2
2  2025-10-05     B  agent3
3  2025-10-05     B  agent2
4  2025-10-02     C  agent1
5  2025-10-02     C  agent2
6  2025-10-02     C  agent3

解决方案：使用 groupby().transform()

要解决上述问题，核心在于：

1. 计算每个 (date, point) 组合中唯一代理的数量。
2. 基于这个数量判断该组合是否满足“唯一代理数 > 2”的条件。
3. 使用这个判断结果作为布尔掩码来筛选原始DataFrame。

groupby().transform() 方法在这里发挥了关键作用。与 groupby().agg() 不同，transform() 在执行聚合操作后，会将结果“广播”回原始DataFrame的索引，生成一个与原始DataFrame行数相同的Series。这意味着我们可以直接将其用于布尔索引。

文心一言

文心一言是百度开发的AI聊天机器人，通过对话可以生成各种形式的内容。

4061 查看详情

步骤详解

1. 分组并计算唯一值数量： 我们首先按 ['point', 'date'] 进行分组，然后对 agent 列应用 nunique（计算唯一值数量）聚合函数。关键在于使用 transform 而不是 agg。

   unique_agents_per_group = df.groupby(['point', 'date'])['agent'].transform('nunique')
   print("\n每个组的唯一代理数 (transform 结果):")
   print(unique_agents_per_group)

   输出结果是一个Series，其索引与原始DataFrame的索引一致，每个值代表对应行所属分组的唯一代理数量：

   每个组的唯一代理数 (transform 结果):
   0    2
   1    2
   2    2
   3    2
   4    3
   5    3
   6    3
   Name: agent, dtype: int64

2. 创建布尔掩码： 接下来，我们将这个Series与我们的条件进行比较，生成一个布尔Series。

   condition_mask = unique_agents_per_group > 2
   print("\n布尔掩码:")
   print(condition_mask)

   输出的布尔掩码：

   布尔掩码:
   0    False
   1    False
   2    False
   3    False
   4     True
   5     True
   6     True
   Name: agent, dtype: bool

3. 筛选原始DataFrame： 最后，我们将这个布尔掩码直接应用于原始DataFrame进行筛选。

   filtered_df = df[condition_mask]
   print("\n筛选后的DataFrame:")
   print(filtered_df)

   输出结果：

   筛选后的DataFrame:
            date point   agent
   4  2025-10-02     C  agent1
   5  2025-10-02     C  agent2
   6  2025-10-02     C  agent3

完整代码示例

将上述步骤整合到一行代码中，可以实现更加简洁高效的解决方案：

import pandas as pd
from io import StringIO

data = """date|point|agent
2025-10-02|A|agent1
2025-10-02|A|agent2
2025-10-05|B|agent3
2025-10-05|B|agent2
2025-10-02|C|agent1
2025-10-02|C|agent2
2025-10-02|C|agent3"""

df = pd.read_csv(StringIO(data), sep='|')

# 一行代码实现筛选
filtered_df_one_liner = df[df.groupby(['point', 'date'])['agent'].transform('nunique') > 2]

print("使用一行代码筛选后的DataFrame:")
print(filtered_df_one_liner)

输出结果与分步执行相同：

使用一行代码筛选后的DataFrame:
         date point   agent
4  2025-10-02     C  agent1
5  2025-10-02     C  agent2
6  2025-10-02     C  agent3

注意事项与总结

• 效率优势： 这种方法避免了向原始DataFrame添加临时列，从而节省了内存，并且在处理大型数据集时通常更高效。
• 灵活性： transform() 方法不仅限于 nunique。你可以将其与其他聚合函数（如 sum, mean, max, min, size 等）结合使用，以应对各种基于分组聚合的筛选需求。
• 通用性： 这种模式是Pandas中处理“根据分组聚合结果筛选原始数据”问题的标准且推荐方法。
• 错误避免： 尝试直接使用 loc 或 where 结合 groupby().agg() 可能会遇到索引不匹配的问题，因为 agg 返回的Series或DataFrame的索引是分组键，而不是原始DataFrame的索引。transform() 完美解决了这一问题，因为它保证了输出的索引与原始DataFrame一致。

通过掌握 groupby().transform() 的用法，你可以更有效地在Pandas中进行复杂的数据筛选和清洗，提高代码的可读性和执行效率。

以上就是高效过滤Pandas DataFrame：基于分组条件提取子集的详细内容，更多请关注其它相关文章！

# 数据清洗  # csv  # 两名  # 将其  # 而不是  # 你可以  # 掩码  # 一言  # 布尔  # red  # 聚合函数  # 关键词卡位搜索排名技巧  # 西安网站建设素材app  # 助农营销推广计划怎么写  # 于洪区网站建设报价  # 门户类网站建设价格  # 沈阳seo运营面试流程  # 描述模板网站建设游戏  # 图片 seo黑帽  # 负面seo很棒 乐云seo  # 好的seo优化代理平台  # 在这里  # 这一  # 是一个 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 优化推广96088 】 【 技术知识133117 】 【 IDC资讯59369 】 【 网络运营7196 】 【 IT资讯61894 】

相关推荐： 偃武诸葛亮阵容搭配推荐  深入理解Python对象引用与链表属性赋值  4399造梦西游3无敌版_4399游戏入口  C#中的Record类型有什么优势？C# 9新特性Record与Class的用法区别  一加 Ace 6V 快充无法启用_一加 Ace 6V 充电优化  mysql中外键约束如何使用_mysql FOREIGN KEY操作  @Team是什么？揭秘团队含义  百度输入法在AutoCAD中无法输入中文怎么办_百度输入法CAD输入异常解决方法  mysql离线安装后如何启动_mysql离线安装完成后启动服务的方法  咸鱼怎么设置仅粉丝可见的动态_咸鱼动态粉丝可见设置方法  Golang如何实现HTTP请求重试机制_Golang HTTP请求错误处理策略  苹果17 Pro如何启用分屏浏览_iPhone 17 Pro分屏浏览设置步骤  mysql通配符能用于日志查询吗_mysql通配符在系统日志查询中的实际使用方法  《爱南宁》认证电动车方法  《我的恋爱逃生攻略》中文名字输入方法  我的世界游戏平台入口 我的世界官方官网直达链接  在Flask应用中安全高效地更新SQLAlchemy用户数据  Win11如何分屏操作_Win11多窗口分屏技巧  如何在mysql中比较InnoDB和MyISAM区别  聚水潭ERP后台管理系统登录 聚水潭ERP官方登录通道  如何自定义苹果手机铃声  Lar*el 中高效执行多列更新：单次查询实现  手机自动关机是怎么回事？如何修复？手机异常关机的原因排查与修复技巧  Windows 11怎么删除恢复分区_Windows 11使用Diskpart命令强行删除分区  《伊瑟》凶影追缉库卢鲁boss攻略  《单词速记宝》设置学习计划方法  《kimi智能助手》制作ppt教程  管理打开的编辑器：固定、分组和关闭技巧  如何在 WordPress 前端实现内容提交：古腾堡编辑器的替代方案与实践  使用jQuery精确检测除指定元素外任意位置的点击事件  中通快递官网指定查询 中通快递单号查询平台入口  搜狗浏览器如何查找页面中的文字 搜狗浏览器Ctrl+F页面搜索功能  百度地图离线地图无法加载如何解决 百度地图离线地图加载优化方法  Linux如何自动分析系统异常日志_Linux日志智能检测  豆包AI怎样为教育场景定制答疑逻辑_为教育场景定制豆包AI答疑逻辑方案【方案】  Composer如何使用composer-plugin-api开发自定义插件  word文档行距怎么调？word文档调行距的操作步骤  Yandex世界探索 最新官方免登录入口全知道  J*aScript：从子元素中批量移除特定CSS类  Lar*el Socialite单设备登录策略：实现用户唯一会话管理  动漫岛在线动漫网 动漫岛动漫在线观看官方入口  《广发易淘金》国债逆回购操作教程  韩剧圈正版官网入口_韩剧圈官方指定登录  C++如何实现矩阵乘法_C++二维数组矩阵运算代码示例  win11怎么启用或禁用休眠 Win11 powercfg命令管理休眠文件【技巧】  sublime怎么快速在浏览器中预览HTML_sublime配置View in Browser教程  windows10怎么关闭自动安装应用_windows10禁止推广应用下载  一点万象签到领积分指南  小米civi如何设置锁屏时间  B站怎么开|直播| B站|直播|申请需要什么条件【新手必看】 

 2025-11-26