线性扩散模型LiT来了，用极简线性注意力助力扩散模型AIPC时代端侧部署

---

香港大学与上海人工智能实验室、华为诺亚方舟实验室合作，推出高效扩散模型lit，该模型在架构设计和训练策略上均有创新，实现了在普通windows笔记本电脑上离线生成1k分辨率高清图像。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

LiT的核心突破：

为提升扩散模型效率，LiT采用极简线性注意力机制替代计算成本更高的自注意力机制。线性注意力的优势在于简洁性和高并行化能力，这对于大型模型至关重要。研究团队总结了以下关键经验：

1. 极简线性注意力足够： 无需复杂的线性注意力变体，简化版即可满足图像生成需求。
2. 权重继承策略： 建议从预训练的Diffusion Transformer模型继承权重，但需排除自注意力模块的权重。
3. 混合知识蒸馏： 采用知识蒸馏加速训练，同时蒸馏噪声预测和方差预测结果，以获得更佳效果。

性能表现：

LiT在ImageNet基准测试中，仅需DiT模型20%-23%的训练迭代次数，即可达到相当的FID分数。在文本生成图像任务中，LiT-0.6B可在离线状态下，于Windows笔记本电脑上快速生成1K分辨率的逼真图像，展现出强大的端侧部署能力。

论文及项目信息：

Health AI健康云开放平台

专注于健康医疗垂直领域的AI技术开放平台

113 查看详情

• 论文名称：LiT: Delving into a Simplified Linear Diffusion Transformer for Image Generation
• 论文地址：https://www.php.cn/link/523f43693bfa6c607d2fe43b43ba96fd
• 项目主页：https://www.php.cn/link/2d6c3e4023165b5a99515b9bf87cb41d

研究背景：

Diffusion Transformer在文生图领域展现出巨大潜力，但自注意力机制的高计算复杂度限制了其在高分辨率场景和端侧设备的应用。LiT通过线性注意力机制有效解决了这一问题，并通过高效的训练策略进一步降低了训练成本。

(后续内容可根据原文目录，对架构设计、训练方法、实验结果等章节进行类似的改写，保持原意不变，并保留图片格式和位置)

以上就是线性扩散模型LiT来了，用极简线性注意力助力扩散模型AIPC时代端侧部署的详细内容，更多请关注其它相关文章！

# 内测  # 外卖网站建设费用  # 深圳360seo服务商  # 岳麓优化seo  # 安徽网站建设的过程包括  # 济阳seo业务培训  # 红安景区网站建设建议  # 旅游新媒体营销推广  # 电商商城网站建设方案  # 年度营销推广分析  # 山城啤酒网站建设方案  # 这一  # 华为  # 祝福语  # 产业  # 诺亚方舟  # 生命科学  # 多家  # 来了  # 离线  # 一言  # Simplified  # ai  # 电脑  # windows  # git  # lit  # 扩散模型 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 优化推广96088 】 【 技术知识133117 】 【 IDC资讯59369 】 【 网络运营7196 】 【 IT资讯61894 】

相关推荐： 苹果机器学习关键人物 Ali Farhadi 离职，回归 AI2 担任 CEO  技术如何使人变得懒惰？  构建人机交互创新模式，微美全息研究AIGC智能交互界面生成技术  湖北科技职业学院举行工业机器人及智能制造技术专精特新产业学院建设启动仪式  五项人工智能尚未能够实现的任务  上海发布“元宇宙关键技术攻关行动方案”，加快 AIGC 等突破  微软大牛加入ZOOM，AI人才大战打响  图像生成过程中遭「截胡」：稳定扩散的失败案例受四大因素影响  全国体育人工智能大会举办，专家聚焦体育人工智能领域人才培养  如何利用AI工具写好本科论文：科技助你一臂之力  AI生成会议纪要 百度如流升级推出超级助手、智能编码等功能  报道称亚马逊正在测试AI生成产品评价摘要  一文读懂自动驾驶的激光雷达与视觉融合感知  爱设计 AI 一键生成 PPT 工具上线：输入标题即可生成 PPT  Meta将VR头显最低年龄限制从13岁降至10岁  旷视入选北京市通用人工智能产业创新伙伴计划  WHEE安装教程  应对算力挑战，亚马逊云科技发力AI基础设施建设  微软在 Build 大会上宣布的新 Microsoft Store AI Hub 现已开始推出  你大脑中的画面，现在可以高清还原了  AI大举入侵内容行业，哪些上市*及动漫公司进行了布局？  城市在采用人工智能方面进展如何？  联合国秘书长称支持建立全球人工智能监管机构  站在社会的高度理解人工智能  280万条多模态指令-响应对，八种语言通用，首个涵盖视频内容的指令数据集MIMIC-IT来了  全新升级的广州麦当劳：面积最大餐厅正式引入智慧机器人  微软Xbox称VR和AR还需要时间 先玩大的  如布AI口袋学习机S12 将亮相综艺节目《好样的！国货》  十个AI算法常用库J*a版  兆讯传媒率先全面拥抱AI 数智广告内容焕发新生机  OpenAI CEO 山姆・阿尔特曼呼吁 AI 领域中美应当合作  企业软件行业更将被AI全面重构！Moka李国兴：未来优秀组织和个人将一定是善于使用AI生产力的  AI智能室内效果图设计软件效果，确实惊到我了！  写出优质文章的妙招：利用"稿见AI助手"的实用指南  鹅厂机器狗抢起真狗「饭碗」！会撒欢儿做游戏，遛人也贼6  如何成功实施人工智能？  再度重仓 AI 赛道，SaaS 巨头 Salesforce 扩大 AIGC 风投基金规模  可按用户语气自动回复消息，Zoom 推出基于生成式 AI 的新功能  Meta发布"类人"AI图像创建模型，能解决多出手指等Bug  花16000元买四款扫拖机器人！科沃斯追觅石头小米谁能笑到最后？  国内阅读行业首款对话式AI应用“阅爱聊”封闭内测  优傲机器人的人机协作技术 助力中小企发展  “痴迷”元宇宙，魔珐科技想做什么？  日入400万，第一批AI骗子已上岗  人工智能领域，突破难题：国产大模型“无源之水”问题得到解决。  石头扫拖机器人 G20 618 福利来袭：4999 元，超值配件领到手软  参议院司法听证会：AI 不易管控，有可能被恶意分子利用来研发生化武器  从数据中心到发电站：人工智能对能源使用的影响  周鸿祎：360智脑开放API接口 AI大模型将赋能百行千业  京东 AI 大模型官宣 7 月 13 日发布，还有重磅合作 

 2025-01-31