Python Pandas：基于列名前缀合并与归一化DataFrame数据

---

本文详细介绍了如何使用pandas库处理具有特殊命名规则的dataframe列。针对以'+'或'-'前缀命名的列，教程演示了如何将'-'前缀列的值取反，然后通过正则表达式去除前缀，最终利用`groupby`和`sum`操作将对应列合并，实现数据归一化。此方法能有效整合正负值，生成结构清晰、易于分析的新dataframe。

在数据处理和分析过程中，我们经常会遇到需要对DataFrame中的数据进行归一化或合并的情况。有时，数据集的列名会带有特定的前缀，例如+和-，它们可能分别代表某一指标的正向和负向贡献。本教程将详细讲解如何处理这类特殊结构的DataFrame，通过将负向贡献从正向贡献中减去，并统一列名，从而得到一个规范化的数据集。

1. 理解问题背景与目标

假设我们有一个DataFrame，其列名以+或-开头，例如+Col01和-Col01。我们的目标是实现以下转换：

1. 将所有以-开头的列的值乘以-1，使其变为负数。
2. 对于具有相同基础名称（即去除+或-前缀后）的列（如+Col01和-Col01），将它们合并成一列（如Col01）。合并的逻辑是简单求和，由于第二步已将负向列的值取反，求和操作实际上就实现了“正值减去负值”的效果。
3. 对于只有+或只有-前缀的列，也应正确处理并保留其值（对于-前缀的列，其值将变为负数）。
4. 最终，所有列名都应去除+或-前缀。

让我们通过一个具体的例子来演示这个过程。

2. 准备示例数据

首先，我们创建一个符合上述描述的Pandas DataFrame作为示例：

import pandas as pd

data = {
    'RepID': [1, 2, 3, 4, 5],
    '+Col01': [5, 1, 9, 3, 0],
    '+Col02': [7, 3, 8, 1, 7],
    '+Col03': [9, 3, 0, 0, 1],
    '-Col01': [8, 3, 9, 5, 2],
    '+Col04': [3, 1, 4, 8, 0],
    '+Col05': [8, 2, 9, 7, 0],
    '-Col03': [1, 2, 5, 1, 2],
    '-Col04': [9, 3, 1, 0, 9],
    '+Col06': [4, 6, 2, 9, 2],
    '-Col07': [6, 0, 0, 2, 1]
}
df = pd.DataFrame(data)

print("原始 DataFrame:")
print(df)

输出的原始 DataFrame 如下：

原始 DataFrame:
   RepID  +Col01  +Col02  +Col03  -Col01  +Col04  +Col05  -Col03  -Col04  +Col06  -Col07
0      1       5       7       9       8       3       8       1       9       4       6
1      2       1       3       3       3       1       2       2       3       6       0
2      3       9       8       0       9       4       9       5       1       2       0
3      4       3       1       0       5       8       7       1       0       9       2
4      5       0       7       1       2       0       0       2       9       2       1

3. 实现数据归一化与列合并

我们将分步实现上述目标。

3.1 识别并反转负向列的值

首先，我们需要识别所有以-开头的列，并将其值乘以-1。这样，当我们将这些列与对应的+列相加时，实际上就实现了减法操作。

# 识别所有以'-'开头的列名
negative_cols = df.columns[df.columns.str.startswith('-')]

# 将这些列的值乘以-1
df[negative_cols] = df[negative_cols].mul(-1)

print("\n反转'-'前缀列值后的 DataFrame:")
print(df)

此时 DataFrame 的变化：

反转'-'前缀列值后的 DataFrame:
   RepID  +Col01  +Col02  +Col03  -Col01  +Col04  +Col05  -Col03  -Col04  +Col06  -Col07
0      1       5       7       9      -8       3       8      -1      -9       4      -6
1      2       1       3       3      -3       1       2      -2      -3       6       0
2      3       9       8       0      -9       4       9      -5      -1       2       0
3      4       3       1       0      -5       8       7      -1       0       9      -2
4      5       0       7       1      -2       0       0      -2      -9       2      -1

可以看到，-Col01、-Col03、-Col04和-Col07列的值已经变成了负数。

3.2 生成用于分组的基础列名

为了将+Col01和-Col01合并为Col01，我们需要一个共同的“键”。这个键就是去除+或-前缀后的列名。我们可以使用字符串替换和正则表达式来完成此操作。

*CLabs

AI移除视频背景，100%自动和免费

337 查看详情

# 使用正则表达式去除列名中的'+'或'-'前缀，生成用于分组的新列名列表
# '[+-]' 匹配 '+' 或 '-' 字符
# regex=True 表示使用正则表达式
group_names = df.columns.str.replace('[+-]', '', regex=True)

print("\n生成的用于分组的列名列表:")
print(group_names)

group_names将是：

Index(['RepID', 'Col01', 'Col02', 'Col03', 'Col01', 'Col04', 'Col05', 'Col03',
       'Col04', 'Col06', 'Col07'],
      dtype='object')

注意，此时Col01、Col03、Col04出现了重复，这正是我们想要分组的依据。

3.3 按基础列名分组并求和

现在，我们可以使用groupby方法，以group_names作为分组依据，并沿着列轴（axis=1）进行求和。

# 按新的列名列表进行分组，并在列轴上求和
# axis=1 表示按列进行分组操作
# sort=False 保持原始列的相对顺序
output_df = df.groupby(group_names, axis=1, sort=False).sum()

print("\n最终归一化后的 DataFrame:")
print(output_df)

最终归一化后的 DataFrame 如下：

最终归一化后的 DataFrame:
   RepID  Col01  Col02  Col03  Col04  Col05  Col06  Col07
0      1     -3      7      8     -6      8      4     -6
1      2     -2      3      1     -2      2      6      0
2      3      0      8     -5      3      9      2      0
3      4     -2      1     -1      8      7      9     -2
4      5     -2      7     -1     -9      0      2     -1

让我们以第一行为例，验证Col01、Col03、Col04和Col07的计算：

• Col01: 原始 +Col01 是 5，-Col01 是 8。反转后 -Col01 变为 -8。所以 5 + (-8) = -3。
• Col02: 原始 +Col02 是 7。没有 -Col02。所以 7。
• Col03: 原始 +Col03 是 9，-Col03 是 1。反转后 -Col03 变为 -1。所以 9 + (-1) = 8。
• Col04: 原始 +Col04 是 3，-Col04 是 9。反转后 -Col04 变为 -9。所以 3 + (-9) = -6。
• Col05: 原始 +Col05 是 8。没有 -Col05。所以 8。
• Col06: 原始 +Col06 是 4。没有 -Col06。所以 4。
• Col07: 原始 -Col07 是 6。反转后 -Col07 变为 -6。所以 -6。

所有计算结果与预期完全一致。

4. 完整代码示例

将上述步骤整合到一起，得到完整的解决方案代码：

import pandas as pd

# 1. 准备示例数据
data = {
    'RepID': [1, 2, 3, 4, 5],
    '+Col01': [5, 1, 9, 3, 0],
    '+Col02': [7, 3, 8, 1, 7],
    '+Col03': [9, 3, 0, 0, 1],
    '-Col01': [8, 3, 9, 5, 2],
    '+Col04': [3, 1, 4, 8, 0],
    '+Col05': [8, 2, 9, 7, 0],
    '-Col03': [1, 2, 5, 1, 2],
    '-Col04': [9, 3, 1, 0, 9],
    '+Col06': [4, 6, 2, 9, 2],
    '-Col07': [6, 0, 0, 2, 1]
}
df = pd.DataFrame(data)

print("--- 原始 DataFrame ---")
print(df)

# 2. 识别并反转负向列的值
# 提取所有以'-'开头的列名
negative_cols = df.columns[df.columns.str.startswith('-')]
# 将这些列的值乘以-1
df[negative_cols] = df[negative_cols].mul(-1)

# 3. 生成用于分组的基础列名
# 使用正则表达式去除列名中的'+'或'-'前缀
group_names = df.columns.str.replace('[+-]', '', regex=True)

# 4. 按基础列名分组并求和
# 在列轴上按group_names分组，并对每个组求和
# sort=False 保持原始列的相对顺序，对于RepID等非归一化列尤其重要
output_df = df.groupby(group_names, axis=1, sort=False).sum()

print("\n--- 归一化后的 DataFrame ---")
print(output_df)

5. 注意事项与总结

• axis=1 的重要性：在 groupby 操作中，axis=1 是关键。它告诉 Pandas 沿着列方向进行分组和聚合，而不是默认的行方向。
• sort=False 的作用：为了保持原始 DataFrame 中列的相对顺序（例如 RepID 应该始终在最前面），我们使用了 sort=False。如果设置为 True（默认值），groupby 会对分组键进行排序，可能改变列的顺序。
• 正则表达式 [+-]：这个正则表达式匹配单个的 + 或 - 字符。regex=True 参数是必需的，以启用正则表达式匹配。
• 处理只有+或只有-的列：本方法能够正确处理只有+前缀或只有-前缀的列。例如，+Col02没有对应的-Col02，它会自成一组，其值保持不变。-Col07没有对应的+Col07，其值在第一步被反转后，也会自成一组，最终以负值形式存在。
• 数据类型：此方法假设相关列包含数值数据。如果列中包含非数值数据，mul(-1)或sum()操作可能会引发错误或产生非预期的结果。

通过上述步骤，我们成功地将带有特殊前缀的 DataFrame 列进行了归一化和合并，生成了一个结构清晰、易于进一步分析的新 DataFrame。这种方法在处理需要整合正负贡献的数据集时非常有效。

以上就是Python Pandas：基于列名前缀合并与归一化DataFrame数据的详细内容，更多请关注其它相关文章！

# 并在  # 营销推广情话怎么说好听  # seo包含的主要内容  # 南充网站优化推广多少钱  # 寿光营销网站建设推广  # 淮北推广营销  # 廊坊出名的网站设计推广  # 网络营销游戏推广  # 南充seo优化便宜  # 淘宝搜索seo技巧规则  # 几千元做网站推广怎么样  # python  # 也会  # 实现了  # 正确处理  # 可以使用  # 几种  # 浮点  # 让我们  # 并与  # 正则表达式 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 优化推广96088 】 【 技术知识133117 】 【 IDC资讯59369 】 【 网络运营7196 】 【 IT资讯61894 】

相关推荐： Win10显卡驱动安装失败怎么办 Win10使用DDU彻底卸载驱动【解决】  苹果SE如何开启单手模式_苹果SE单手操作功能  C#中的Record类型有什么优势？C# 9新特性Record与Class的用法区别  AI图层蒙版怎么用_AI图层蒙版应用技巧与设计实例  Word 2003字体大小设置方法  优化2xN网格最大路径和的动态规划算法实践  深入理解J*aScript异步操作：setTimeout与调用栈的真相  雨课堂官网在线登录 网页版雨课堂登录链接  mysql通配符能用于日志查询吗_mysql通配符在系统日志查询中的实际使用方法  圆通快递包裹轨迹查询 圆通速递快件实时位置跟踪  店铺如何做视频号推广？做视频号推广有用吗？  mysql归档数据怎么导出为csv_mysql归档数据导出为csv文件的方法  房产|直播|视频号怎么认证开通？|直播|需要什么资质？  J*a中导出MySQL表为SQL脚本的两种方法  Win10截图远程协助 Win10远程桌面截屏法【场景应用】  Vue 3中独立响应式实例的创建与应用  ExcelSCAN与LAMBDA如何创建自定义移动平均函数_SCAN实现任意窗口期移动平均计算  使用Google服务账号实现Google Drive API无缝集成与文件访问  谷歌浏览器官网地址整理_谷歌浏览器新版直连2026稳定访问  123网页端官方登录页 123邮箱网页版即时通讯服务  J*aScript包管理器_Npm与Yarn对比  荣耀 Magic10 Pro 系统更新提示失败_荣耀 Magic10 Pro 升级修复  mysql镜像配置如何设置用户权限组_mysql镜像配置用户组与权限分级管理方法  《百度畅听版》关闭兴趣推荐方法  TikTok视频播放不流畅怎么办 TikTok视频播放优化方法  iPhone17Pro如何连接蓝牙耳机_iPhone17Pro蓝牙设备配对与连接方法介绍  Lar*el Eloquent中通过Join查询关联数据表：解决多行子查询问题  优化 React onClick 事件处理：函数引用与箭头函数的对比  顺丰快递收费标准查询_如何查看顺丰最新收费价格  基于键值条件高效映射 Pandas DataFrame 多列数据  如何在Python中安全地将环境变量转换为整数并满足Mypy类型检查  oppo手机如何通过下拉通知栏截图_oppo手机通知栏快捷截图方法  Final Cut Pro视频加EQ教程  C++中std::thread和std::async的区别_C++并发编程与线程与异步任务比较  抖音火山版注销账号抖音会注销吗 抖音火山版与抖音账号注销关系  稻壳阅读器官方直达网址链接 稻壳阅读器文档阅读平台主页资源入口  XPath动态元素定位：如何精准选择文本内容变化的元素  从HTML表单获取逗号分隔值并转换为NumPy数组进行预测  如何在CSS中使用absolute实现登录弹窗居中_transform translate结合  《豆瓣》私信用户方法  Go语言中方法接收器的选择：值类型还是指针类型？  淘口令快速解析技巧  Golang如何使用crypto/md5生成哈希_Golang MD5哈希生成方法  菜鸟驿站的取件码忘了怎么办 手机快速查询指南  汽水音乐官方网站登录入口_汽水音乐网页版进入链接  基于 Flink 和 Kafka 实现高效流处理：连续查询与时间窗口  如何使用 composer 和 aop-php 实现 AOP 编程？  《密马》发布账号方法  PHP实现等比数列：构建数组元素基于前一个值递增的方法  J*aScript中高效处理用户输入：从Keyup事件到表单提交的优化实践 

 2025-12-05