AI大模型时代,数据存储新基座助推教科研数智化跃迁


生成式AI(AIGC)开启了人工智能通用化的新纪元,围绕大模型的百舸争流蔚为壮观,算力基础设施是首要的竞逐焦点,而存力觉醒也日益成为业界共识。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

AI大模型时代,数据存储新基座助推教科研数智化跃迁

在新的时代,大模型从单模态走向多模态,参数和训练数据集的规模呈几何级数增长,海量的非结构化数据需要高性能混合负载能力的支撑;与此同时,数据密集型范式大行其道,超算、高性能计算(HPC)等应用场景迈向纵深,既有的数据存储基座已难以满足不断升级的需求。

如果说算力、算法、数据是驱动人工智能发展的“三驾马车”,那么在外部环境发生巨大变化的背景下,三者亟需重新达成动态的平衡。算法模型完善带来的“软实力”提升,算力供给优化引发的“硬实力”增强,需要得到进一步的加持——数据传输的“运力”和数据存储的“存力”即是尚待改进的动力源,新型的数据存储基座将在应对诸多挑战的过程中破茧成蝶。

需求复杂且持续进化的应用场景,是数据存储新基座最好的试金石。从这个意义上讲,教科研行业就是其中的典型代表:算力与数据是该领域数字化转型的关键要素,学科融合的科研计算与基于数据的决策支撑同等重要。从HPC迈向HPDA(高性能数据分析)是改善教学及科研效率的一大步,而AI的赋能则有助于解决过往算不了、算不准、算不动的难题。

AI大模型时代,数据存储新基座助推教科研数智化跃迁

在近日举办的2025世界人工智能大会上,华为OceanStor Pacific分布式存储助力上海交通大学构建的HPC+AI存力底座正式上线,“交我算”统一数据基座将在今年再扩充25PB,其有望成为教科研数字化、智能化转型的新标杆,也为数据存储新基座的探索之旅树立了一座里程碑。

数据与算力的关系演变与衍生挑战

伴随千行百业的数字化转型进入深水区,以及人工智能、大数据等新兴技术的协同爆发,数据与算力的关系正在发生微妙的变化。

AI大模型时代,数据存储新基座助推教科研数智化跃迁

教科研领域身处数字经济的风口浪尖,对这一变化颇为敏感。过去,数据必须跟着算力跑。为了应对复杂科学和工程问题的快速数值求解,教科研界在很长一段时间里更多关注如何打造最强大的算力,而数据仅作为算力的配套设施来考虑。

如今,“算力围着数据转”逐渐成为新的趋势。新兴应用的涌现、数据体量的膨胀、数据安全问题的凸显,让数据本身的价值备受重视。基于AI、大数据等技术的突破,传统超算正向数据密集型超算演变,多元异构算力需要围绕同一个数据存储基座进行构建。

上海交通大学网络信息中心副主任林新华认为,数据与算力的主导权发生逆转,既是建设数据密集型超算平台的契机,也给统一数据存储基座的构建带来不少新的挑战。

首先是数据爆发式增长,对存储容量的需求显著提高。据统计,“交我算”平台的数据规模增长幅度达到每年7PB,气象海洋、能源勘探、卫星遥感、基因测序、冷冻电镜、AI自动驾驶、制造CAE、动画渲染等应用场景的数据量都达到PB级,用一套数据基础设施容纳如此庞大的数据量殊为不易。

其次是新业务不断涌现,对存储性能要求更高。AI通用化进程的提速,特别是大模型、多模态的批量输出,对IO性能构成严峻挑战。在百TB级数据集成为常态的情况下,自然语言处理、多模态应用加剧了数据量的增速,小文件训练数据集的高效访问更要求存储性能再上新台阶。

再次,跨校区多集群存储共用,数据在异构集群间的流动可能造成数据丢失、运行缓慢等问题。“交我算”平台提供多种异构算力,拥有ARM集群、X86集群以及AI集群等。在众多集群中,只有做到全数据流动和数据融合,才能释放算力和数据的最大价值。

最后,传统AI本地盘训练,伴随高并发数据分析,打破IO墙迫在眉睫。数据多次搬迁过程中的IO瓶颈非常突出——传统的读写流程冗长,加载数据涉及三次数据搬迁,checkpoint也有两次数据搬迁,其间产生的效率损失不容忽视。

分布式存储统一融合数据基座的突围路径

为了应对上述挑战,自2019年起,上海交通大学与华为存储展开深度合作,共同打造“交我算”数据密集型超算平台。依托在技术和应用创新方面的深厚积累,华为OceanStor Pacific分布式存储产品助力“交我算”建设统一数据基座,支撑起全校多种异构算力平台。

AI大模型时代,数据存储新基座助推教科研数智化跃迁

构建分布式统一融合数据基座,是“交我算”拥抱新兴数据应用的必由之路。基于横向扩展分布式存储架构,“交我算”平台的存储容量和带宽可按需扩展。一是性能容量线性增长,单集群可达EB级容量;二是借助高密大容量硬件,节省机柜空间;三是采用大比例EC,以场景化压缩提升磁盘利用率。

据了解,“交我算”平台从初始的2PB容量、6GB/s带宽,到2025年增至20PB容量、60GB/s带宽,2025年又扩容至40PB容量、120GB/s带宽,预计2025年容量将再扩充25PB。与此同时,华为OceanStor Pacific分布式存储拥有5U 120盘位的超高密设计,结合超大比例EC数据冗余保护算法,在满足高可靠性的基础上将硬盘空间利用率提升至91.6%。

分布式全闪硬件加持是“交我算”应对存储性能难题的基石。在华为OceanStor Pacific的助力下,“交我算”平台采用全闪硬件加速,显著提升带宽与IOPS性能,每节点80万IOPS、带宽20GB/S能够满足混合负载条件下的高性能要求。

全局分布式存储跨校区统一管理是“交我算”解决多集群存储共用难题的良方。通过采用全局文件系统跨域多套存储管理的方式,“交我算”平台构建起跨校区的统一数据基座,在华为OceanStor Pacific分布式存储产品的支撑下,达*局文件视图、数据管理与调度、全域数据流动、统一流式元数据等多重目标。

数据分析加速、多种协议访问无损互通、免搬迁高效用是“交我算”打破IO墙的利器。基于华为面向AI的存储方案,以及华为OceanStor Pacific分布式存储“一份数据,多种协议访问”的能力,“交我算”平台实现外置存储减少数据搬迁,并大幅提升分析效率、节省存储空间。

大模型时代HPDA+AI的未来图景

透过“交我算”平台携手华为存储打造分布式统一融合数据新基座的演变轨迹,不难看出数据密集型场景正在加速进化。

从早期的HPC到后来的HPDA,再到HPDA+AI的比翼齐飞,教科研行业的应用场景不断丰富,对存储产品和数据基座的需求也持续跃迁。事实上,教科研只是千行百业数字化进程的冰山一角,数据存储的大时代已呼啸而来。

大模型时代的到来,将进一步重塑包括存力在内的IT基础设施,带有崭新AI基因的存储产品有望成为行业数字化升级的新宠。7月14日,主题为“数据新范式 释放AI新动能”的大模型时代华为AI存储新品发布会将在线举行。无论您正在企业内部署AI,还是让开发的应用具备AI能力,此次发布的方案都将提供更优的技术架构与产品,帮您踏准时代的节拍。

人工智能通用化的大幕已经开启,存储行业的领头羊率先吹响了冲锋的号角,后面的每一个乐章都值得期待。

以上就是AI大模型时代,数据存储新基座助推教科研数智化跃迁的详细内容,更多请关注其它相关文章!


# 基础设施  # 邳州360seo  # 江西视频推广营销厂家电话  # 望京模板网站建设  # 万源网络营销推广哪家好  # 富宁网站优化价格  # 济南企业网站优化推广特点  # 上海外贸网站优化  # 张掖网站推广怎么做  # 商城新媒体推广营销方案  # 湛江网上建设网站  # ai大模型  # 丰田  # 存储产品  # 异构  # 中国科学院  # 开源  # 高性能  # 华为  # 基座  # 教科研数智化  # 数据存储 


相关栏目: 【 Google疑问12 】 【 Facebook疑问10 】 【 优化推广96088 】 【 技术知识133117 】 【 IDC资讯59369 】 【 网络运营7196 】 【 IT资讯61894


相关推荐: 抖音在Android平台获得VR|直播|软件著作权  李开复官宣新公司「零一万物」,进军 AI 2.0  乐天派AI桌面机器人提供的正能量情绪价值直接拉满,妥妥的治愈系  国网辉南供电:无人机空中巡检 全力护航端午佳节  讯飞星火大模型实现升级 助力通用人工智能人才培养  马斯克的幽默“现实”:AR眼镜与20美元“增强现实”哪个真实?  谷歌StyleDrop在可控性上卷翻MidJourney,前GitHub CTO用AI颠覆编程  七大主流AI企业包括OpenAI、谷歌等联合承诺:引入水印技术,并允许第三方审核AI内容  阿里云AI绘画创作大模型通义万相发布 已开启定向邀测  小米又拿下国际比赛第一:AI翻译立功  人工智能在交通领域的革新:智能解决方案彻底改变交通方式  麦肯锡:到 2045 年左右,将有 50% 工作被 AI 接管  微软在 Build 大会上宣布的新 Microsoft Store AI Hub 现已开始推出  北交大推出国内首个开源交通大模型TransGPT,可免费商用  马斯克称未来机器人数量将多于人类,特斯拉愿共享自动驾驶技术  J*a与人工智能结合:构建智能云服务  研究发现AI聊天机器人ChatGPT不会讲笑话,只会重复25个老梗  首届全国体育人工智能大会在首都体育学院召开  AI生成会议纪要 百度如流升级推出超级助手、智能编码等功能  AI新视野,增长新势能,伙伴云受邀出席笔记侠创业讲真话AI峰会  宇宙探索下一阶段,机器代替人类,AI会在太空探索中取代人类吗?  陈根教授:离人形机器人时代还有10年吗?  郭帆导演成功利用AI技术制作的《流浪地球3》预告片在央视热播,引发巨大反响  会模仿笔迹的AI,为你创造专属字体  2025年贵州省青少年机器人竞赛在安举行  猿辅导发布最新SaaS业务进展公告:Motiff UI设计工具推出三项新的AI功能  人工智能时代的科幻译者怎么办?“做好翻译工作的高端10%”|文化观察  国内阅读行业首款对话式AI应用“阅爱聊”封闭内测  2025 年开发者必须知道的六个 AI 工具  生成式AI与云结合,机遇与挑战并存  OpenAI高管:AI能创造新的就业机会 但也会淘汰一些  中国气象局预测:到 2030 年,中国人工智能气象应用将达到国际领先水平  站在社会的高度理解人工智能  机构:边缘AI或是当前预期差最大的AI方向  九号公司主导制定短途交通和送物机器人领域首个国际标准,标志着零的突破发布  电力人工智能数据集目录首次发布  到中国科技馆体验“一滴油的奇妙旅行”,线上元宇宙展厅同步开启  微软和谷歌面临的人工智能困境:需要投入大量资金才能获得盈利  美图影像节演讲实录:191次提及AI,发布7款影像生产力工具  零数科技CTO兰春嘉:区块链与人工智能的结合点在数据  第四范式「式说」大模型入选《2025年通用人工智能创新应用案例集》  北京市元宇宙产业创新中心筹建工作正式启动  智能化解决方案:保障数据安全阻击泄露和丢失  马斯克发推讽刺人工智能:机器学习的本质就是统计  丰田汽车研究院推出生成式人工智能汽车设计工具  甲骨文与Cohere合作为企业提供生成式人工智能服务  AI立法迫在眉睫,如何看对行业影响?  谷歌旗下 DeepMind 开发出 RoboCat AI 模型,能控制多种机器人执行一系列任务  美图秀秀发布7款AI产品:支持用户创作、商业创作  一文看懂基础模型的定义和工作原理 

 2023-07-21

了解您产品搜索量及市场趋势,制定营销计划

同行竞争及网站分析保障您的广告效果

点击免费数据支持

提交您的需求,1小时内享受我们的专业解答。

运城市盐湖区信雨科技有限公司


运城市盐湖区信雨科技有限公司

运城市盐湖区信雨科技有限公司是一家深耕海外推广领域十年的专业服务商,作为谷歌推广与Facebook广告全球合作伙伴,聚焦外贸企业出海痛点,以数字化营销为核心,提供一站式海外营销解决方案。公司凭借十年行业沉淀与平台官方资源加持,打破传统外贸获客壁垒,助力企业高效开拓全球市场,成为中小企业出海的可靠合作伙伴。

 8156699

 13765294890

 8156699@qq.com

Notice

We and selected third parties use cookies or similar technologies for technical purposes and, with your consent, for other purposes as specified in the cookie policy.
You can consent to the use of such technologies by closing this notice, by interacting with any link or button outside of this notice or by continuing to browse otherwise.