曙光存储携业内首创技术,攻克大模型存储三大痛点


正版化服务
正版化技术交流 2023-07-20 09:41:04 51577
分类专栏: 资讯 标签: 信创硬件
国内大模型百花齐放,据统计,中国10亿以上参数大模型已发布79个。
大模型海量计算,对存储提出了更高要求。而三大存力痛点,制约大模型计算发展:一是数据加载慢,导致训练时间长;二是数据访问协议多样性,要求数据访问效率更高;三是数据生命周期管理不完善,数据安全风险亟需关注。
基于这些存储痛点,曙光存储大模型解决方案升级迭代,携全新业内首创技术XDS,提供增效、降本、安全的体验。
图片

 

增效-首创XDS技术,存算协同优化提升效率

 

此次大模型解决方案升级迭代,曙光ParaStor首创实现XDS多层级智能加速技术,集算力端、存力端各维度各层级加速引擎为一体,打造高效的存算协同。

 

以往AI训练中,智能芯片若想读取数据,则需先将数据存到缓存中,再由CPU发往智能芯片读取。CPU与缓存的转运,导致数据调取速度变慢。而XDS技术可实现将数据直接加载到智能芯片中,提高训练过程中数据集的加载及处理速度。XDS技术创新在于支持多种智能芯片的直接存取,除了GPU,也支持多款算力端智能芯片直接存取数据。XDS技术简化了存取过程,降低了CPU与缓存压力,更节省硬件资源。

 

在存力端,XDS技术内嵌ParaBuffer加速引擎,在AI训练计算节点与存储系统之间构造大内存池,将系统整体I/O性能提升数倍。存算协同优化,使得训练时间大幅降低,可由数十天降低至几天。

 

降本-多存储协议与智能分级,数据管理省心可靠

 

此外,针对数据访问协议多样性痛点,曙光ParaStor同时支持文件、对象等多种存储协议,可为大模型提供统一的存储底座。为实现数据全生命周期管理,曙光ParaStor具备热温冷数据智能分级流动,支持给数据自定义标签,过期后自动删除。

 

对于AI数据存储的安全可靠,曙光ParaStor凭借全栈自研能力,从操作系统、存储架构、软件核心模块、存储介质等多层面保障数据安全。提升存储可靠性,降低数据管理成本,让用户省心省力。

 

目前,曙光存储为国内某AI新经济独角兽大模型平台构建了PB级NVMe全闪存高性能存储池,从硬件设施到软件系统,性能、可靠性、安全性皆满足需求指标,为多个领域带来增效降本、可靠安全的存储方案。

网站声明:如果转载,请联系本站管理员。否则一切后果自行承担。

本文链接:https://www.xckfsq.com/news/show.html?id=26709
赞同 0
评论 0 条
正版化技术交流L3
粉丝 2 发表 67 + 关注 私信
上周热门
如何使用 StarRocks 管理和优化数据湖中的数据?  2944
【软件正版化】软件正版化工作要点  2863
统信UOS试玩黑神话:悟空  2823
信刻光盘安全隔离与信息交换系统  2717
镜舟科技与中启乘数科技达成战略合作,共筑数据服务新生态  1251
grub引导程序无法找到指定设备和分区  1217
华为全联接大会2024丨软通动力分论坛精彩议程抢先看!  163
点击报名 | 京东2025校招进校行程预告  162
2024海洋能源产业融合发展论坛暨博览会同期活动-海洋能源与数字化智能化论坛成功举办  160
华为纯血鸿蒙正式版9月底见!但Mate 70的内情还得接着挖...  157
本周热议
我的信创开放社区兼职赚钱历程 40
今天你签到了吗? 27
信创开放社区邀请他人注册的具体步骤如下 15
如何玩转信创开放社区—从小白进阶到专家 15
方德桌面操作系统 14
我有15积分有什么用? 13
用抖音玩法闯信创开放社区——用平台宣传企业产品服务 13
如何让你先人一步获得悬赏问题信息?(创作者必看) 12
2024中国信创产业发展大会暨中国信息科技创新与应用博览会 9
中央国家机关政府采购中心:应当将CPU、操作系统符合安全可靠测评要求纳入采购需求 8

加入交流群

请使用微信扫一扫!