微软提出预测铰接对象姿态技术,用于AR/VR身体姿态捕捉的专利


(映维网Nweon 2025年09月18日)为了准确地表示人类用户的真实世界姿态,通常需要相对详细的关于用户身体部位位置和方向的信息,但这些信息并不总是可用。例如,当使用头戴式设备提供虚拟现实体验时,系统可能只能获取与用户头部和手部相关的空间信息。然而,在大多数情况下,这是不足以准确地重现人类用户的真实姿态的

所以在名为“Pose prediction for articulated object”的专利申请中,微软提出了一种预测铰接对象的姿态的技术。特别地,机器学习模型接收到铰接对象的n个不同关节的空间信息,其中n个关节小于铰接对象的所有关节。

在人类用户的情况下,n个关节可以包括人类用户的头部关节和/或一个或两个手腕关节,它们与详细说明用户头部和/或手的参数的空间信息相关联

机器学习模型已训练为接收铰接对象的n+m个关节的输入空间信息,其中m大于等于1。例如,在初始训练期间,机器学习模型会接收到与铰接对象的几乎所有关节相对应的输入数据。所述n+m个关节可包括所铰接对象的每一个关节。

在其他示例中,可能存在少于铰接对象的所有关节的情况下,有n+m个关节。在训练过程中,输入给机器学习模型的数据可能会逐渐被隐藏。可以用预定义的值来替换特定节点在m个节点中对应的输入数据,或者干脆省略

换句话说,机器学习模型训练成基于关于铰接对象的各种可移动部分的位置/方向的逐渐减少的信息来准确预测铰接对象的姿态。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

微软提出预测铰接对象姿态技术,用于AR/VR身体姿态捕捉的专利

使用这种方法,机器学习模型能够在运行时准确预测铰接物体的姿态,而且只需稀疏的输入数据。微软指出,这项技术可以精确地再现人类用户铰接物体在真实世界中的姿态,而无需大量关于每个关节方向的信息

换句话说,通过更准确地再现人类用户的真实世界姿势,发明可以提供改进人机交互的技术优势。这些技术优势包括提高虚拟现实体验的沉浸感,以及提高手势识别系统的准确性

另外,所述技术可以通过减少必须作为姿态预测过程的输入而收集的数据量,从而在准确地重现人类用户的真实姿态的同时减少计算资源的消耗。

示例方法200展示了用于预测铰接对象姿态的图2

微软提出预测铰接对象姿态技术,用于AR/VR身体姿态捕捉的专利

在第202处,接收n个关节的空间信息,这些关节是用于铰接对象的。系统接收到铰接对象的n个关节的空间信息,其中包含的关节数量少于铰接对象的所有关节。将关节的空间信息表示为连接身体部分的六个自由度的位置和方向,这可以用来推断关节的状态

作为一个示例,所述n个关节可包括人体的头部关节,所述头部关节的空间信息可详细描述人体头部的参数。另外,所述n个关节可包括人体的一个或多个腕关节,所述一个或多个腕关节的空间信息可详细描述人体的一只或多只手的参数。

微软提出预测铰接对象姿态技术,用于AR/VR身体姿态捕捉的专利

图3显示了人类用户。人类用户有一个头300和两只手302A和302B。计算系统可以接收人类用户的一个或多个关节的空间信息,其可以包括头部和/或手腕关节。

所述铰接对象的n个关节的空间信息可由一个或多个传感器输出的定位数据导出。传感器可以集成到一个或多个由人类用户的相应身体部位持有或佩戴的设备之中。

例如,传感器可以包括一个或多个集成到头戴式显示设备和/或手持控制器中的惯性测量单元。作为另一个例子,传感器可以包括一个或多个摄像头。

图3示意性地说明了不同类型的传感器,其中来自传感器的输出可以包括或可用于导出空间信息。具体地,人类用户在其头部300佩戴头戴式显示设备304。

另外,人类用户手持位置传感器306A和306B,所述位置传感器可配置为检测并向头显 304和/或配置为接收空间信息的另一计算系统报告用户手部的运动。

在图2中,我们回到了204的情境。我们将n个关节的空间信息传递给之前进行过训练的机器学习模型。这个模型接收n+m个关节的空间信息作为输入,其中m的值大于等于1。换句话说,相较于之前的训练模型,这个机器学习模型接收的关节空间信息要少一些

在206中,从机器学习模型接收作为输出的关节对象的姿态预测,所述预测至少基于n个关节的空间信息,并且不包含它们的关节的空间信息。换句话说,即便没有提供m个关节的空间信息,机器学习模型都可以预测关节对象的完整姿态。

示意图4展示了一个示例机器学习模型400,以说明这个过程

微软提出预测铰接对象姿态技术,用于AR/VR身体姿态捕捉的专利

在图4中,机器学习模型接收到空间信息402,对应三个不同的关节J1、J2、J3。关节的空间信息可以采用任何合适的计算机数据的形式,而所述数据指定或可用于导出与关节相连的身体部位的位置和/或方向。

例如,空间信息可以直接指定身体部位的位置和方向,和/或空间信息可以指定关节相对于一个或多个旋转轴的一个或多个旋转。在图4中,关节J1、J2、J3对应于人类用户的头部关节404A和两个手腕关节404B/404C,如图用户身体上叠加的阴影圆圈所示。

在本例中,n个关节包括三个关节,分别对应人体的头部和手腕关节。基于所述输入空间信息402,所述机器学习模型输出所述铰接对象的预测位姿406。

另外,机器学习模型可以输出与虚拟铰接表示的关节相对应的预测空间信息。人类用户可以由具有卡通或非人类比例的虚拟化身Avatar表示。例如,预测的空间信息可能对应于SMPL表示的关节。

换句话说,铰接表示的虚拟表示的关节不必与铰接对象的关节具有1:1的对应关系。因此,机器学习模型预测的空间信息输出可以是针对与铰接对象的n+m个关节不直接对应的关节。例如,虚拟表示可能比铰接对象具有更少的脊柱关节。

机器学习模型可以用任何合适的方式进行训练。在一个实施例中,机器学习模型可能先前使用具有铰接对象的ground truth标签的训练输入数据进行训练。

换句话说,可以为机器学习模型提供铰接对象关节的训练空间信息,并标记为指定空间信息所对应的铰接对象的实际姿态的ground truth标签。

如上所述,可以训练机器学习模型以接收n+m个关节的空间信息作为输入。这包括,在第一次训练迭代中,为机器学习模型提供所有n+m个关节的训练输入数据。在随后的一系列训练迭代中,m个关节的训练输入数据可以逐渐被屏蔽。

例如,在第二次训练迭代中,m个关节中的第一个关节可以被屏蔽,其中训练数据集中关节的空间信息替换为表示被屏蔽关节的预定义值,或者干脆省略。

作为示例。在第三次训练迭代中,m个关节中的第二个关节可以被屏蔽,以此类推,直到m个关节都被屏蔽,并且只向机器学习模型提供了n个关节的空间信息。

这一过程用图5a-5d说明。具体而言,在图5A中,为机器学习模型400提供了一个训练输入数据集。在本实施例中,训练输入数据包括与所述铰接对象的多个不同姿态相对应的空间信息,包括第一姿态502A和第二姿态502B。

微软提出预测铰接对象姿态技术,用于AR/VR身体姿态捕捉的专利

在图5A中,我们提供了n+m个关节的空间信息,用于机器学习模型的铰接对象。在人体的简化表示中,每个代表关节的圆圈都用白色填充模式来表示。然而,在图5B中,我们屏蔽了504A,如图所示,用黑色填充图案来表示接头504A的圆圈

换句话说,图5A表示了训练过程的初始迭代,其中提供了所有n+m个关节的空间信息给机器学习模型。而图5B则表示了训练过程的第二次迭代,其中屏蔽了m个关节中的第一个关节504A

微软提出预测铰接对象姿态技术,用于AR/VR身体姿态捕捉的专利

在图5C中,所述铰接表示的m个关节中的第二关节504B被遮挡。同样,在图5D中,m个关节中的第三个关节被遮挡。可以持续进行多次训练迭代,直到m个关节中的每个关节的空间信息被屏蔽,并且只向机器学习模型提供n个关节的空间信息。

在上述场景中,我们描述了铰接对象为人体全身的情况。然而,铰接对象也可以采用其他形式

微软提出预测铰接对象姿态技术,用于AR/VR身体姿态捕捉的专利

如图7所示,铰接对象是人手,而不是整个人体。具体而言,图7显示了一个示例机器学习模型700。

机器学习模型700接收关节J1、J2和J3的空间信息,它们对应于一个铰接物体的三个关节704A-C,在本例中采用人手706的形式。

在这种情况下,具体来说,n个关节包括人手的一个或多个手指关节。一个或多个手指关节的空间信息详细描述了人手的一个或多个手指或手指段的参数。例如,空间信息可以指定手的手指的位置/方向,和/或应用于手关节的旋转

可以使用任何合适的方法来收集关节空间信息,例如通过位置传感器708。举个例子,位置传感器可以采用配置为对手部进行成像的摄像头形式。另一个例子是,位置传感器可以包括适当的射频天线,其配置为将手部表面暴露在电磁场中,并评估导电人体皮肤的运动和接近对天线处电磁场阻抗的影响

根据输入的空间信息702,机器学习模型会输出一组预测的空间信息710。空间信息710可以用来构建预测的铰接对象的位姿。正如前面所述,这些空间信息可以表示铰接对象身体部位的位置和方向

相关专利:Microsoft Patent | Pose prediction for articulated object

微软最初在2025年6月提交了一份名为“Pose prediction for articulated object”的专利申请,并且该申请近日被美国专利商标局公布

以上就是微软提出预测铰接对象姿态技术,用于AR/VR身体姿态捕捉的专利的详细内容,更多请关注其它相关文章!


# 语言障碍  # 清楚冗余代码 seo  # 贵港网站建设升级项目公示  # 广东百度seo策略  # 珠海网站推广优化网站建设公司  # 细分市场seo  # seo优化要学什么  # 咖啡豆 seo  # 珠海网站怎样推广的视频  # 中山专业网站优化公司  # 长沙seo学院  # 第一个  # AR/VR  # 相对应  # 手部  # 被屏蔽  # 迭代  # 十大  # 微软  # 所述  # 多个  # 身体姿态捕捉  # 微软专利 


相关栏目: 【 Google疑问12 】 【 Facebook疑问10 】 【 优化推广96088 】 【 技术知识133117 】 【 IDC资讯59369 】 【 网络运营7196 】 【 IT资讯61894


相关推荐: 海柔创新携手SAP,以机器人技术助力全球客户升级数智化竞争力  引领AI变革,九章云极DataCanvas公司重磅发布AIFS+DataPilot  人形机器人概念集体爆发,能买吗?  Meta 为打造元宇宙不惜下血本:VR 开发者年薪高达百万美元  五个出色的人工智能应用实例  AI 冥想应用 Ogimi.ai 推出,可为用户提供教练级个性化指导  学界业界大咖探讨:AI对数字艺术创新的推动力  1.6亿美元收购Singularity AI,昆仑万维布局通用人工智能  江永:精准施训提升通信无人机应急救援能力  一次购买全年省心,入手科沃斯这几台机器人,省下时间就是金钱  美版贴吧8000小组自爆停摆!拒绝数据被谷歌OpenAI白嫖,CEO被网友骂翻:背刺第三方应用  两架海燕号无人机交付中国气象局 助力建设国家级机动气象观测业务  无人机自主巡检为高海拔输电线路运维添“新彩”  李开复:未来几年,人工智能会革了所有人的命,除非你这么做  传Meta 2025年推出首款AR眼镜,采用军用级别材料,计划生产1000台  亚马逊确认今年不会举办 re:MARS 机器人和人工智能大会  令人惊叹!AI模型能够以iPhone照片为基础创作诗歌  探展WAIC |万向区块链杜宇:不存在单一技术的iPhone时刻,Web3.0核心将基于AI+区块链+物联网  央视报道!星纪魅族集团车载人机交互技术成世界移动通信大会焦点  传字节内测对话式 AI 产品,代号「Grace」;马斯克嘲讽苹果 头显;比亚迪 F 品牌定名「方程豹」  换流站无线物联网络为新型电力系统铺设“数字之路”  真全息产品,亮相深圳文博会——dipal数伴拓展元宇宙非沉浸式体验  这款在《自然通讯》发表的机器人,为变形金刚来到现实创造可能性  Goodnotes 6推出,带来多项全新AI功能,让电子笔记更智能  从医疗康复外骨骼到通用人形机器人,傅利叶智能推动核心技术升级  美妆行业在AI时代蓬勃发展  国宝级文物“铜兽驮跪坐人顶尊铜像”完成模拟拼接,腾讯AI立功  360°/180°双模式,佳能公布可折叠小体积的VR全景相机  软银、淡马锡、沙特阿美突击入股,“协作机器人第一股”节卡股份:强敌环伺,持续失血是常态  华为小艺AI助手将实现强大的大模型能力  一公司推出喷火机器狗,可喷出 9 米长火焰  亲身体验鸿蒙4:AI大模型带来的便利,告别单纯的旁观者状态  ChatGPT 可以设计机器人吗?  智能机器人正在彻底改变客户服务  Vision Pro 太贵,苹果基于 iPhone 的 VR 头显专利曝光  对艺术家拒绝置若罔闻,Stability AI 将推出适应多种画风的开源模型  英特尔张宇:边缘计算在整个AI生态系统中扮演重要角色  如何提高集群协作效率?中外团队合作研发基于均值偏移的机器人队形控制策略  助力人工智能产业高质量发展 龙岗区算法训练基地正式启用  Meta Quest订阅服务每月7.99美元畅玩两款VR游戏应用  调查显示:实际上没有那么多人在用 ChatGPT  鸿蒙生态带来了哪些新的流量可能性,包括AI、服务分发和原生智能等方面?  酒店业将如何受益于人工智能的改变?  学生作文评分的新趋势:教师与AI的合作模式  卫星通信牵引物联网竞争升维,模组厂商如何决胜百亿市场?  改动一行代码,PyTorch训练三倍提速,这些「高级技术」是关键  携程发布旅游行业垂直大模型 梁建章:AI策略是做可靠的内容 放心的推荐  2025 WAIC|美团无人机发布第四代新机型  鸿蒙OS 4将实现AI大模型集成,余承东表示坚持AI辅助而非AI取代  AYANEO AIR 1S 掌机 7 月 9 日发布:R7 7840U + OLED 屏 

 2023-09-18

了解您产品搜索量及市场趋势,制定营销计划

同行竞争及网站分析保障您的广告效果

点击免费数据支持

提交您的需求,1小时内享受我们的专业解答。

运城市盐湖区信雨科技有限公司


运城市盐湖区信雨科技有限公司

运城市盐湖区信雨科技有限公司是一家深耕海外推广领域十年的专业服务商,作为谷歌推广与Facebook广告全球合作伙伴,聚焦外贸企业出海痛点,以数字化营销为核心,提供一站式海外营销解决方案。公司凭借十年行业沉淀与平台官方资源加持,打破传统外贸获客壁垒,助力企业高效开拓全球市场,成为中小企业出海的可靠合作伙伴。

 8156699

 13765294890

 8156699@qq.com

Notice

We and selected third parties use cookies or similar technologies for technical purposes and, with your consent, for other purposes as specified in the cookie policy.
You can consent to the use of such technologies by closing this notice, by interacting with any link or button outside of this notice or by continuing to browse otherwise.