基于信息论的校准技术，CML让多模态机器学习更可靠

多模态机器学习在各种场景下都取得了令人瞩目的进展。然而，多模态学习模型的可靠性尚缺乏深入研究。「信息是消除的不确定性」，多模态机器学习的初衷与这是一致的——增加的模态可以使得预测更为准确和可靠。然而，最近发表于 ICML2025 的论文《Calibrating Multimodal Learning》发现当前多模态学习方法违法了这一可靠性假设，并做出了详细分析和矫正。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

• 论文 Arxiv：https://arxiv.org/abs/2306.01265
• 代码 GitHub：https://github.com/QingyangZhang/CML

当前的多模态分类方法存在不可靠的置信度，即当部分模态被移除时，模型可能产生更高的置信度，违反了信息论中 「信息是消除的不确定性」这一基本原理。针对此问题，本文提出校准多模态学习（Calibrating Multimodal Learning）方法。该方法可以部署到不同的多模态学习范式中，提升多模态学习模型的合理性和可信性。

图片

该工作指出，当前多模态学习方法存在不可靠的预测置信度问题，现有多模态机器学习模型倾向于依赖部分模态来估计置信度。特别地，研究发现，当前模型估计的置信度在某些模态被损坏时反而会增加。为了解决这个不合理问题，作者提出了一个直观的多模态学习原则：当移除模态时，模型预测置信度不应增加。但是，当前的模型却倾向于相信部分模态，容易受到这个模态的影响，而不是公平地考虑所有模态。这进一步影响了模型的鲁棒性，即当某些模态被损坏时，模型很容易受到影响。

为了解决上述问题，目前一些方法采用了现有的不确定性校准方法，例如 Temperature Scaling 或贝叶斯学习方法。这些方法可以构建比传统训练 / 推理方式更准确的置信度估计。但是，这些方法只是使最终融合结果的信心估计与正确率匹配，并没有明确考虑模态信息量与信心之间的关系，因此，无法本质上提升多模态学习模型的可信性。

作者提出了一个新的正则化技术，称为 “Calibrating Multimodal Learning (CML)”。该技术通过添加一项惩罚项来强制模型预测信心与信息量的匹配关系，以实现预测置信度和信息量之间的一致性。该技术基于一种自然的直觉，即当移除一个模态时，预测置信度应该降低（至少不应该增加），这可以内在地提高置信度校准。具体来说，提出了一种简单的正则化项，通过对那些当移除一个模态时预测置信度会增加的样本添加惩罚，来强制模型学习直观的次序关系：

上面的约束为正则损失，当模态信息移除信心上升时作为惩罚出现。

实验结果表明，CML 正则化可以显著提高现有多模态学习方法的预测置信度的可靠性。此外，CML 还可以提高分类精度，并提高模型的鲁棒性。

多模态机器学习在各种情境中取得了显著的进展，但是多模态机器学习模型的可靠性仍然是一个需要解决的问题。本文通过广泛的实证研究发现，当前多模态分类方法存在预测置信度不可靠的问题，违反了信息论原则。针对这一问题，研究人员提出了 CML 正则化技术，该技术可以灵活地部署到现有的模型，并在置信度校准、分类精度和模型鲁棒性方面提高性能。相信这个新技术将在未来的多模态学习中发挥重要作用，提高机器学习的可靠性和实用性。

以上就是基于信息论的校准技术，CML让多模态机器学习更可靠的详细内容，更多请关注其它相关文章！

# 中国  # 怎么做开发网站推广平台  # 安徽网新网站建设  # seo权威  # vue单页面应用seo  # 全民推广网站  # seo优化就是网络营销推广吗  # 白坭网站推广渠道  # 宝坻网站建设哪里好  # 云南seo编辑培训班  # 山东网站建设报告模板  # 模型  # 上海  # 不可靠  # 丰田  # 中国科学院  # 这一  # 移除  # 提出了  # 模态  # 多模  # 机器学习 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 优化推广96088 】 【 技术知识133117 】 【 IDC资讯59369 】 【 网络运营7196 】 【 IT资讯61894 】

相关推荐： Nature封面：量子计算机离实际应用还有两年  学生作文评分的新趋势：教师与AI的合作模式  特斯拉门店可能启动机器人卖车？也许不是你想的那样  GPT-4不能在麻省理工学院获得计算机科学学位  上影节直击 | AI技术降低了短片拍摄门槛？金爵奖评委不赞同  特斯拉机器人面世 未来将大幅提振磁材需求，引领人工智能时代  选对AI智能写作软件，让创作游刃有余！  热点资讯：家乐福推出聊天机器人；米哈游2025年营收273.4亿元…  大疆 DJI Mini 4 Pro 无人机曝光：流线设计，有望迎来功能性提升  谷歌计划在上海举办开发者大会，重点关注机器学习和生成式AI领域  吴恩达、Hinton最新对话！AI不是随机鹦鹉，共识胜过一切，LeCun双手赞成  微软在 Build 大会上宣布的新 Microsoft Store AI Hub 现已开始推出  V社谈AI制作游戏被ban：为确保开发者有素材所有权  测试框架-安全和自动驾驶  V社悄悄封禁使用AI生成美术素材的游戏  商汤科技：元萝卜 AI 下棋机器人新品发布会 6 月 14 日举行  月薪6万，哪些AI岗位在抢人？  两架海燕号无人机交付中国气象局 助力建设国家级机动气象观测业务  微软大牛加入ZOOM，AI人才大战打响  Prompt解锁语音语言模型生成能力，SpeechGen实现语音翻译、修补多项任务  田渊栋新作：打开1层Transformer黑盒，注意力机制没那么神秘  甲骨文与Cohere合作为企业提供生成式人工智能服务  如何成功实施人工智能？  人工智能：解决劳动力短缺的关键策略  真全息产品，亮相深圳文博会——dipal数伴拓展元宇宙非沉浸式体验  五个出色的人工智能应用实例  构建AI绘画网站的方法：使用API接口和调用步骤  新华社联合北大发布AI大模型评测：安全可靠成重点，360智脑表现优异  无需照相馆，AI证件照生成软件即将推出  IBM CEO克里希纳：人工智能潜在创新无法被监管  禁止艺术家使用 AI 创作《龙与地下城》游戏插图的决定已在 D&D Beyond 生效  赋能金融新生态，多家银行创新应用成果亮相世界人工智能大会  英伟达CEO宣称生成式AI已迎来“划时代时刻”  “可用”“有用”的讯飞星火认知大模型将亮相世界人工智能大会  “直击”AI新世界，智能机器人再次“火出圈”了  AI 大模型重塑软件开发，有哪些落地前景和痛点？| ArchSummit  首家承认ChatGPT影响其收入的公司Chegg选择拥抱AI ，裁减4%员工  一文看懂基础模型的定义和工作原理  对话无界AI创始人长铗：AI的创业机会在应用层丨创新者Innovator  社区里，孩子们体验“机器人竞技”  普林斯顿大学推出Infinigen AI模型 可生成真实自然环境 3D场景  食品分销跨国企业Sysco CIDO：我们的增长秘诀是以IT为中心  时隔 4 年：谷歌更新安卓机器人 LOGO，形象更立体  优地网络助力新媒体拥抱人工智能时代  AI创作广告文案等同2.47年工作经验，且消费者无法区分｜AI营销前沿  Xbox游戏工作室负责人：VR/AR领域的用户规模还不足够  Win11 的画图应用将包含 Windows Copilot 的 AI 工具整合  爱设计 AI 一键生成 PPT 工具上线：输入标题即可生成 PPT  定义人工智能的十个关键术语  云深处科技绝影 Lite3 与 X20 四足机器人亮相 

 2023-06-27