Python中实现带负值计数的自定义词袋模型

---

本文探讨了如何在Python中构建一个自定义词袋（Bag of Words, BOW）模型，以处理具有特殊语义的词汇。针对前缀带有连字符的词汇，我们展示了如何将其计为对应词汇的负数出现次数，而非独立词汇。通过手动实现的向量化器，文章详细解析了文本处理逻辑，包括词汇解析、负号识别与权重分配，最终生成一个能够精确反映正负计数的词袋特征矩阵，有效解决了传统BOW模型在特定场景下的局限性。

1. 引言：词袋模型与特殊计数需求

词袋模型（Bag of Words, BOW）是自然语言处理中一种常用的文本表示方法，它将文本视为一个无序的词语集合，忽略语法和词序，只关注词语的出现频率。在Python中，通常使用sklearn.feature_extraction.text.CountVectorizer来快速构建词袋模型。然而，在某些特定应用场景，例如处理科学术语、产品编号或带特定修饰符的标识符时，我们可能会遇到传统BOW模型无法直接满足的计数需求。

考虑一种情况，文档中的某些术语可能带有前缀，例如连字符（-），这表示该术语的“否定”或“缺失”状态。如果一个文档包含 Q207KL41 -Q207KL41 -Q207KL41，我们期望的结果不是将 Q207KL41 和 -Q207KL41 视为两个独立的词汇，而是将它们都归类为 Q207KL41，但带有连字符的应计为负数。在这种情况下，Q207KL41 的最终计数应为 1 - 1 - 1 = -1。传统的CountVectorizer会将-Q207KL41视为一个独立的词汇，或者在预处理不当的情况下，直接移除连字符导致信息丢失，无法实现这种带负值计数的定制化需求。

2. 定制化词袋模型的实现策略

由于标准库中的CountVectorizer无法直接处理这种带有语义的负号前缀并进行加权计数，最有效的解决方案是编写一个自定义的向量化器。核心思路是：

1. 遍历文档：逐一处理输入数据集中的每个文档。
2. 词汇解析：将每个文档拆分为单独的词汇（token）。
3. 负号识别与处理：对于每个词汇，检查其是否以连字符开头。如果发现，则将其视为负向词汇，剥离连字符，并为其分配一个负数权重（-1）；否则，分配正数权重（1）。
4. 词汇计数：使用一个字典（或哈希表）来累积每个词汇的计数，将正负权重叠加。
5. 构建词汇表：在处理所有文档的过程中，动态构建一个全局词汇表。
6. 生成特征矩阵：将每个文档的词汇计数转换为一个行向量，并最终组合成一个DataFrame作为输出的特征矩阵。

3. 详细代码实现

下面是一个使用Python实现上述逻辑的自定义词袋模型函数。

Picit AI

免费AI图片编辑器、滤镜与设计工具

172 查看详情

import io
import pandas as pd
import numpy as np
from collections import defaultdict

# 模拟输入数据，实际应用中可从文件读取
s = """
RepID,Txt
1,K9G3P9 4H477 -Q207KL41 98464 Q207KL41
2,D84T8X4 -D9W4S2 -D9W4S2 8E8E65 D9W4S2 
3,-05L8NJ38 K2DD949 0W28DZ48 207441 K2D28K84"""
df_reps = pd.read_csv(io.StringIO(s))

def custom_bow_vectorizer(documents):
    """
    自定义词袋向量化器，支持处理带负号前缀的词汇。

    参数:
        documents (pd.Series): 包含文本内容的Pandas Series。

    返回:
        pd.DataFrame: 词袋特征矩阵，其中包含带正负计数的词汇特征。
    """

    # 用于存储每个文档的词汇计数
    document_feature_counts = []

    # 动态构建词汇表，使用defaultdict的default_factory特性
    # 当访问一个新词汇时，default_factory会自动为其分配一个递增的索引
    vocabulary = defaultdict()
    vocabulary.default_factory = vocabulary.__len__ # 新键的默认值为当前字典长度

    for document in documents:
        # 为当前文档初始化一个词汇计数器
        current_doc_counter = defaultdict(int)

        # 将文档按空格拆分成词汇
        for token in document.split():
            sign = 1 # 默认权重为正1

            # 检查词汇是否以连字符开头
            if token.startswith("-"):
                token = token[1:] # 移除连字符，获取原始词汇
                sign = -1         # 设置权重为负1

            # 将词汇添加到全局词汇表，并获取其索引
            # 如果是新词汇，vocabulary.__len__会为其生成一个新索引
            feature_idx = vocabulary[token]

            # 累加当前文档中该词汇的计数（带正负权重）
            current_doc_counter[feature_idx] += sign

        # 将当前文档的词汇计数结果添加到列表中
        document_feature_counts.append(current_doc_counter)

    # 将所有文档的计数结果转换为DataFrame
    # from_records可以处理字典列表，自动填充缺失值
    df = pd.DataFrame.from_records(document_feature_counts)

    # 填充DataFrame中的NaN值为0（表示该文档中未出现该词汇）
    df = df.fillna(0)

    # 将列名从索引映射回原始词汇
    # 这里需要一个逆向映射，从索引到词汇
    # 更好的做法是构建一个从索引到词汇的列表，然后用它设置列名
    # 或者直接从vocabulary的keys()中获取，但需要保证顺序一致

    # 确保列名顺序与vocabulary中词汇首次出现的顺序一致
    # 我们可以通过创建一个反向映射来做到这一点，或者直接使用vocabulary.keys()
    # 但vocabulary.keys()的顺序不保证是插入顺序，因此需要更严谨的方式

    # 为了保证列名与vocabulary中词汇的对应关系，
    # 我们可以先构建一个有序的词汇列表
    sorted_vocab_keys = sorted(vocabulary, key=vocabulary.get)
    df.columns = sorted_vocab_keys

    # 将DataFrame的数据类型转换为int8，节省内存
    df = df.astype(np.int8)

    return df

# 调用自定义向量化器并打印结果
result_df = custom_bow_vectorizer(df_reps["Txt"])
print(result_df)

代码解释：

1. defaultdict() for vocabulary: vocabulary = defaultdict() 初始化了一个字典，并设置 vocabulary.default_factory = vocabulary.__len__。这意味着每当访问一个不存在的键（新词汇）时，defaultdict 会调用 vocabulary.__len__ 来生成一个默认值，即当前词汇表的长度。这个长度作为该新词汇的唯一索引。
2. current_doc_counter = defaultdict(int): 为每个文档创建一个临时的计数器。defaultdict(int) 确保当访问一个不存在的词汇索引时，其默认值为0，方便直接进行 += sign 操作。
3. token.startswith("-"): 检查词汇是否以连字符开头。
4. token = token[1:]: 如果是负向词汇，则移除连字符，使其与正向词汇保持一致，例如 -Q207KL41 变为 Q207KL41。
5. feature_idx = vocabulary[token]: 获取词汇在全局词汇表中的索引。如果词汇是首次出现，它会被添加到 vocabulary 中并分配一个新的索引。
6. current_doc_counter[feature_idx] += sign: 将词汇的权重（sign，即1或-1）累加到当前文档的计数器中。
7. pd.DataFrame.from_records(document_feature_counts): 将所有文档的计数字典列表转换为一个Pandas DataFrame。from_records 会自动处理不同文档中词汇集合不完全相同的情况，用 NaN 填充未出现的词汇。
8. df.fillna(0): 将DataFrame中所有 NaN 值替换为0，表示该词汇在该文档中未出现。
9. df.columns = sorted_vocab_keys: 将 DataFrame 的列名设置为词汇表中按索引排序的词汇，确保列名与实际词汇对应。
10. df.astype(np.int8): 将DataFrame的数据类型转换为 np.int8。由于计数通常在较小范围内（-128到127），使用 int8 可以显著节省内存，尤其是在处理大量文档和词汇时。

4. 运行结果

执行上述代码后，将得到以下输出：

   K9G3P9  4H477  Q207KL41  98464  D84T8X4  D9W4S2  8E8E65  05L8NJ38  K2DD949  0W28DZ48  207441  K2D28K84
0       1      1         0      1        0       0       0         0        0         0       0         0
1       0      0         0      0        1      -1       1         0        0         0       0         0
2       0      0         0      0        0       0       0        -1        1         1       1         1

从输出结果可以看出：

• 在第一行（对应 RepID=1 的文档 K9G3P9 4H477 -Q207KL41 98464 Q207KL41），Q207KL41 的计数为 1 + (-1) = 0，符合预期。
• 在第二行（对应 RepID=2 的文档 D84T8X4 -D9W4S2 -D9W4S2 8E8E65 D9W4S2），D9W4S2 的计数为 1 + (-1) + (-1) = -1，符合预期。
• 在第三行（对应 RepID=3 的文档 -05L8NJ38 K2DD949 0W28DZ48 207441 K2D28K84），05L8NJ38 的计数为 -1，符合预期。

5. 注意事项与总结

1. 灵活性与定制性：此方法的核心优势在于其高度的灵活性。你可以根据具体需求修改词汇解析逻辑（例如，处理多种前缀、后缀，或者更复杂的模式匹配），以适应各种非标准文本数据。
2. 性能考虑：对于海量文本数据，自定义的Python循环可能会比高度优化的C扩展库（如scikit-learn内部实现）慢。然而，对于特定且复杂的文本处理需求，这种牺牲性能换取定制性的做法是值得的。
3. 内存优化：使用 np.int8 数据类型有助于在词汇表较大时节省内存。如果计数可能超出 int8 的范围（-128到127），可以考虑使用 np.int16 或 np.int32。
4. 词汇表管理：本实现中，词汇表是动态构建的。在生产环境中，如果词汇表非常庞大且需要持久化，可能需要额外的逻辑来保存和加载 vocabulary 字典。
5. 预处理：本教程假设词汇之间通过空格分隔。实际应用中，可能需要更复杂的文本预处理步骤，例如大小写转换、标点符号去除、词形还原或词干提取等，这些步骤应在 document.split() 之前完成。

通过这种自定义的向量化方法，我们能够有效地处理带有特殊语义标记的词汇，将它们整合到统一的词袋特征中，并实现精确的正负计数，从而为后续的机器学习任务提供更准确、更富有洞察力的特征表示。

以上就是Python中实现带负值计数的自定义词袋模型的详细内容，更多请关注其它相关文章！

# python  # 值为  # 构建一个  # 为其  # 自然语言  # 转换为  # 自定义  # 文档  # 标准库  # 自然语言处理  # csv  # app  # word  # 词汇表  # 朝阳网络营销推广平台  # 郑州制作网站建设  # seo搜索软件哪个好  # 4s店营销推广活动  # 如何推广网站询问a火17星  # 企业做推广哪个网站好  # 深圳东莞网站优化开发  # 湖南省项目推广网站  # 北京seo辉煌电商  # 南庄seo推广  # 数为  # 移除 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 优化推广96088 】 【 技术知识133117 】 【 IDC资讯59369 】 【 网络运营7196 】 【 IT资讯61894 】

相关推荐： 使用VS Code作为你的个人知识管理系统  C#解析并修改XML后保存 如何确保格式与编码的正确性  猫眼电影app如何筛选支持退改签的影院_猫眼电影退改签影院筛选方法  《爱南宁》认证电动车方法  J*aScript：从子元素中批量移除特定CSS类  使用 .htaccess 正确配置 WordPress 子目录重定向与路径保留  创建您的便携版VS Code：让配置随身携带  《漫蛙manwa2》防走失网页版链接2025  知音漫客官网首页入口_知音漫客热门漫画推荐  firefox火狐浏览器最新官网主页_ firefox火狐浏览器平台入口直达官方链接  《气泡星球》兑换码礼包大全  《磁力猫》最好用的磁官网  Go语言中方法接收器的选择：值类型还是指针类型？  漫蛙manwa漫画官网链接_漫蛙manwa最新可用网址推荐  QQ邮箱手机版网页版 QQ邮箱登录入口地址  在Django单元测试中优雅处理信号：基于环境的条件执行策略  极兔快递官网查询入口手机版 手机极兔快递登录查询入口官方  CSS过渡与滚动滚动事件结合应用_scroll与transition动画  使用VS Code调试Python代码：从入门到精通  Go Goroutine调度与并发执行深度解析  b站如何剪辑视频_b站必剪app使用教程  如何使用 composer 和 aop-php 实现 AOP 编程？  《友玩*》创建群聊方法  英雄联盟争者留名活动介绍  圆通快递官方入口不需要登录 在线查询入口快速查询  Vue 3中独立响应式实例的创建与应用  mysql怎么导入sql文件_mysql导入sql文件的方法与技巧  《健康大兴》注册方法介绍  向日葵客户端怎么进行语音通话_向日葵客户端语音通话功能使用方法  PHP odbc_fetch_array 返回值处理：如何正确访问嵌套数组元素  使用AI在VS Code中将代码从一种语言翻译成另一种  在Spring Boot Thymeleaf中利用布尔属性实现容器的条件显示  京东快递物流信息不更新怎么办_物流停滞原因与处理方法  漫蛙app官方版手机正版入口-漫蛙漫画manwa在线漫画正版入口  QQ网站入口直接登录 QQ官方正版登录页面  win11关机几秒又自己开机 Win11关机自动重启问题修复  解决 Vue 3 组件未定义错误：理解 createApp 与根组件的正确使用  PHP魔术方法__set与__isset：设计考量、性能权衡与静态分析的视角  VBA Outlook邮件自动化：高效集成Excel数据与列标题的策略  CodeIgniter 3 连接 SQL Server：正确获取查询结果的教程  德邦物流在线查询系统 德邦快递货物运输追踪  msn官方入口2025登录 msn官网2025直达首页入口  安居客移动经纪人怎么设置自动回复？-安居客移动经纪人设置自动回复的方法  cad加载的线型看不见怎么办_cad线型不可见问题解决方法  苹果自助维修计划支持哪些设备机型  Microsoft Edge网页字体太淡看不清怎么办_Microsoft Edge字体渲染优化技巧  路由器DNS怎么设置最快 优化DNS提升上网速度教程  《华夏千秋》龙女试炼功法获取方法  折叠屏手机充不进电是什么问题？ 特殊结构带来的维修难点  Go反射进阶：访问内嵌结构体中的被遮蔽方法 

 2025-11-28