会模仿笔迹的AI,为你创造专属字体


笔迹模仿 AI 的研究背景

俗话说,见字如面,字如其人。相比呆板的打印字体,手写体更能体现书写者的个人特点。相信很多人都曾设想过,拥有一套属于自己的手写字体,用在社交软件中,更好的展示自己的个人风格。

然而,不同于英文字母,汉字数量是极其庞大的,想要创造一套自己的专属字体代价十分高昂。例如,最新发布的国标GB18030-2025中文字符集包含8万多个汉字。有报道称,某视频网站博主花了18个小时写完了7000多个汉字,中间耗费了足足13支笔,手都写麻了!

上述问题引发了论文作者的思考,能否设计一个文字自动生成模型,帮助解决专属字体创造代价高的问题呢?为了解决这一问题,研究者设想提出一个会笔迹模仿的 AI,仅需用户提供少量的手写样本(大约 10 几张),就能提取笔迹中蕴含的书写风格(例如字符的大小、倾斜程度、横宽比、笔画的长短和曲率等),并且临摹该风格去合成更多的文字,从而为用户高效合成一套完整的手写字体。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

会模仿笔迹的AI,为你创造专属字体

进一步地,论文作者从应用价值和用户体验两个角度出发,对该模型的输入和输出模态做了如下思考:1. 考虑到序列模态的在线字体 (online handwritings) 比图像模态的离线文字 (offline handwritings) 包含更丰富的信息(轨迹点的详细位置和书写顺序,如下图所示),将模型的输出模态设置为在线文字会有更广泛的应用前景,例如可以应用到机器人写字和书法教育上。2. 在日常生活中,相比通过平板和触摸笔等采集设备获取在线文字,人们利用手机拍照获取离线文字更加方便。因此,将生成模型的输入模态设为离线文字,用户使用起来会更加方便!

会模仿笔迹的AI,为你创造专属字体

总结起来,本文的研究目标是提出一个风格化的在线手写文字生成模型 (stylized online handwriting generation method)。该模型既能临摹用户提供的离线文字中所蕴含的书写风格,又能根据用户需要在线生成内容可控的手写笔迹。

会模仿笔迹的AI,为你创造专属字体

  • 论文地址:https://arxiv.org/abs/2303.14736
  • 代码开源:https://github.com/dailenson/SDT

主要挑战

为了实现上述目标,研究者们分析了两个关键问题:1. 由于用户只能提供少量的字符样本,能否仅从这些少量的参考样本中学习用户独特的书写风格呢?换句话说,根据少量的参考样本临摹用户的书写风格是否可行?2. 本文的研究目标不仅需要满足生成的文字风格可控,还需要内容也可控。因此,在学习到用户的书写风格后,如何将该风格与文字内容高效的结合,从而生成满足用户期望的手写笔迹?接下来让我们看看这篇 CVPR 2025 提出的 SDT(style disentangled Transformer)方法是怎样解决这两个问题的吧。

解决方案

研究动机 研究者发现,个人笔迹中通常存在两种书写风格:1. 相同书写者的笔迹存在着一种整体上的风格共性,各个字符呈现出相似的倾斜程度和宽高比,且不同书写者的风格共性各不相同。由于这种特性可以用于区分出不同的书写者,研究者们称其为书写者风格。2. 除了整体上的风格共性,来自同一书写者的不同字符间存在着细节上的风格不一致。例如,对于 “黑” 和 “杰” 两个字符,二者在字符结构上具有相同的四点水部首,但该部首在不同的字符中存在微弱的书写差异,体现在笔画书写的长短、位置和曲率上。研究者们将这种字形上的细微的风格模式称为字形风格。受启发于上述观察,sdt 旨在从个人笔迹中解耦出书写者和字形风格,期望提升对用户笔迹的风格模仿能力。

会模仿笔迹的AI,为你创造专属字体

在学习到风格信息后,不同于以往的手写文字生成方法简单的将风格和内容特征进行简单的拼接,SDT 将内容特征作为查询向量,自适应的捕获风格信息,从而实现风格和内容的高效融合,生成符合用户预期的手写笔迹。

会模仿笔迹的AI,为你创造专属字体

方法框架 SDT 的整体框架如下图所示,包含双分支风格编码器、内容编码器和 transformer 解码器三部分。首先,本文提出两个互补的对比学习目标来引导风格编码器的书写者分支和字形分支分别学习对应的风格提取。然后,SDT 利用 transformer 的注意力机制 (multi-head attention) 对风格特征和内容编码器提取到的内容特征进行动态融合,渐进式的合成在线手写文字。


会模仿笔迹的AI,为你创造专属字体

(a) 书写者风格对比学习 SDT 提出面向书写者风格提取的有监督对比学习目标(WriterNCE),将属于相同书写者的字符样本聚集在一起,推远属于不同书写者的手写样本,显示地引导书写者分支关注个人笔迹中的风格共性。

(b) 字形风格对比学习 为了学习更加细节的字形风格,SDT 提出无监督的对比学习目标 (GlyphNCE),用于最大化相同字符不同视角间的互信息,鼓励字形分支专注学习字符中的细节模式。具体如下图所示,首先对同一张手写字符做两次独立的采样,获取一对含有笔画细节信息的正样本

会模仿笔迹的AI,为你创造专属字体

会模仿笔迹的AI,为你创造专属字体

,然后从其他字符中采样得到负样本

会模仿笔迹的AI,为你创造专属字体

。每次采样时,随机选择少量样本块作为包含原始样本细节的新视角。样本块的采样服从均匀分布,避免字符的某些区域被过度采样。为了更好的引导字形分支,采样过程直接作用于字形分支输出的特征序列上。

会模仿笔迹的AI,为你创造专属字体

(c) 风格和内容信息的融合策略 获取了两种风格特征后,如何将其与内容编码器学习到的内容编码进行高效融合呢?为了解决这一问题,在任意的解码时刻 t,SDT 将内容特征视作初始点,然后结合 q 和 t 时刻之前输出的轨迹点

会模仿笔迹的AI,为你创造专属字体

形成新的内容上下文

会模仿笔迹的AI,为你创造专属字体

。接着,内容上下文被视为 query 向量,风格信息作为 key & value 向量。在交叉注意力机制的融合下,内容上下文与两种风格信息依次完成动态聚合。

实验

定量评价 SDT 在中文、日文、印度文和英文数据集上都取得了最优异的性能,尤其是在风格分数指标上,相比之前的 SOTA 方法,SDT 取得了较大突破。

ChatGPT Writer ChatGPT Writer

免费 Chrome 扩展程序,使用 ChatGPT AI 生成电子邮件和消息。

ChatGPT Writer 106 查看详情 ChatGPT Writer

会模仿笔迹的AI,为你创造专属字体


会模仿笔迹的AI,为你创造专属字体

定性评价 在中文生成方面,相比以前的方法,SDT 生成的手写字符既能避免字符的崩坏又能很好的临摹用户的书写风格。得益于字形风格学习,SDT 在字符的笔画细节生成方面也能做的很好。

会模仿笔迹的AI,为你创造专属字体

在其他语言上 SDT 也表现良好。尤其在印度文生成方面,现有主流方法很容易生成崩溃的字符,而我们的 SDT 依旧能够维持字符内容的正确性。

会模仿笔迹的AI,为你创造专属字体

不同模块对算法性能的影响 如下表所示,本文提出的各个模块具有协同作用,有效提升了对用户笔迹的临摹性能。具体来说,书写者风格的加入提升了 SDT 对字符整体风格的模仿,例如字符的倾斜程度和长宽比等,而字形风格的加入改善了生成字符的笔画细节。相比已有方法简单的融合策略,在各项指标上 SDT 的自适应动态融合策略全面增强了字符的生成性能。

会模仿笔迹的AI,为你创造专属字体

会模仿笔迹的AI,为你创造专属字体

两种风格的可视化分析 对两种风格特征进行傅里叶变换得到如下的频谱图,从图中观察到,书写者风格包含更多的低频成分,而字形风格主要关注高频成分。事实上,低频成分包含目标的整体轮廓,高频成分则更加关注物体的细节。这一发现进一步验证和解释了解耦书写风格的有效性。

会模仿笔迹的AI,为你创造专属字体

展望

大家可以通过笔迹 AI 创造自己的专属字体,在社交平台上更好的表达自我!

以上就是会模仿笔迹的AI,为你创造专属字体的详细内容,更多请关注其它相关文章!


# 很好  # seo快排入门  # 榕诗专业定制网站建设  # 怎样做网站推广工作内容  # 松江区智能家居网站优化  # 瓷砖关键词排名入门  # 公众号小程序seo  # 松原公司网站建设项目  # 兰州seo排名套餐  # 学网站建设要学什么  # 黄山网站优化照片制作  # 如下图  # ai  # 模态  # 所示  # 这一  # 离线  # 两种  # 开源  # 自己的  # 为你  # stylized  # writer  # 笔迹 


相关栏目: 【 Google疑问12 】 【 Facebook疑问10 】 【 优化推广96088 】 【 技术知识133117 】 【 IDC资讯59369 】 【 网络运营7196 】 【 IT资讯61894


相关推荐: 创作音乐/音频的Meta开源AI工具AudioCraft,让用户通过文本提示实现  AI拉动PCB发展|行业发现  业内领先 四川大学华西第四医院甲状腺乳腺外科成功进入手术机器人时代  AI数字人业务频频获点赞,谦寻积极引领示范作用  猿辅导发布最新SaaS业务进展公告:Motiff UI设计工具推出三项新的AI功能  鹅厂机器狗抢起真狗「饭碗」!会撒欢儿做游戏,遛人也贼6  「电子果蝇」惊动马斯克!背后是13万神经元全脑图谱,可在电脑上运行  视觉中国推出AI灵感绘图功能  工信部信通院发布《2025大模型和AIGC产业图谱》 360智脑覆盖全产业链  “五年内人类程序员将消失”预言引争议,AI真的那么强大了吗?  IBM 与 NASA 携手开源地理空间 AI 模型,促进气候科学研究进步  首届全国体育人工智能大会在首都体育学院召开  大语言模型的视觉天赋:GPT也能通过上下文学习解决视觉任务  亲身体验鸿蒙4:AI大模型带来的便利,告别单纯的旁观者状态  加州用AI监测野火:1032个摄像头联网扫描森林异常  调研海尔智家:AI名,家电命?  郭帆导演成功利用AI技术制作的《流浪地球3》预告片在央视热播,引发巨大反响  上海发布大模型政策 打造AI“模”都  Xbox游戏工作室负责人:VR/AR领域的用户规模还不足够  磐镭发布全新 GeForce RTX 4080 ARMOUR 显卡,售价为 9499 元  不止“文心一言”,消息称百度将推出全新 AI 对话软件“万话”  真全息产品,亮相深圳文博会——dipal数伴拓展元宇宙非沉浸式体验  MiracleVision视觉大模型功能介绍  人工智能助力林草行业高质量发展  成功孵化首个大型模型解决方案的重庆人工智能创新中心  OpenOOD更新v1.5:全面、精确的分布外检测代码库及测试平台,支持在线排行榜、一键测试  推动企业数字化转型升级!“松江智造”摘世界人工智能大会重磅奖项  AI+游戏首度大范围公布实际应用成果,AI全面来临还有多远?  北京市元宇宙产业创新中心筹建工作正式启动  Databricks 发布大数据分析平台 Spark 用 AI 模型 SDK:一键生成 SQL 及 FySpark 语言图表代码  百度文心一言App上架苹果商店,人工智能创作引发热议  1分钟做出苹果Vision Pro「官网」?上班8小时搞出480个网页,同事被卷疯了  AI创作广告文案等同2.47年工作经验,且消费者无法区分|AI营销前沿  消息称 Meta Quest 将推 VR 游戏订阅:每月 7.99 美元,任选两款  百亿量化私募:量化投资进入“精耕细作”时代 AI带来行业新变革  V社谈AI制作游戏被ban:为确保开发者有素材所有权  斑马推出全新升级版思维机:以人工智能为核心的交互式学习体验  字节、网易相继入局,AI之后大厂又找到下一个风口?  AI大模型产品集体奔赴高考考场,教育赛道的讯飞星火能赢吗?  人工智能和神经网络有什么联系与区别?  OpenAI限制网络爬虫访问以保护数据免被用于AI模型训练  云南首例达芬奇机器人微创心脏手术成功开展  BLIP-2、InstructBLIP稳居前三!十二大模型,十六份榜单,全面测评「多模态大语言模型」  腾讯企点客服接待与营销分析能力升级!企业操作更高效、人机交互更智能  AI与5G的强强联合:唤醒数字时代的无尽潜能  衡水市冀州中学机器人社团在世界机器人大赛中斩获佳绩  构建AI绘画网站的方法:使用API接口和调用步骤  一公司推出喷火机器狗,可喷出 9 米长火焰  如何提高集群协作效率?中外团队合作研发基于均值偏移的机器人队形控制策略  Meta 推出 Quest 超级分辨率技术,让 VR 画面更清晰 

 2023-06-16

了解您产品搜索量及市场趋势,制定营销计划

同行竞争及网站分析保障您的广告效果

点击免费数据支持

提交您的需求,1小时内享受我们的专业解答。

运城市盐湖区信雨科技有限公司


运城市盐湖区信雨科技有限公司

运城市盐湖区信雨科技有限公司是一家深耕海外推广领域十年的专业服务商,作为谷歌推广与Facebook广告全球合作伙伴,聚焦外贸企业出海痛点,以数字化营销为核心,提供一站式海外营销解决方案。公司凭借十年行业沉淀与平台官方资源加持,打破传统外贸获客壁垒,助力企业高效开拓全球市场,成为中小企业出海的可靠合作伙伴。

 8156699

 13765294890

 8156699@qq.com

Notice

We and selected third parties use cookies or similar technologies for technical purposes and, with your consent, for other purposes as specified in the cookie policy.
You can consent to the use of such technologies by closing this notice, by interacting with any link or button outside of this notice or by continuing to browse otherwise.