业界首个《分布式融合存储研究报告》正式发布，探索智算时代新存储底座

haha
haha 2023-12-08 15:07:48 52108
分类专栏： 资讯

2023年11月30日，中国电子技术标准化研究院、存储产业技术创新战略联盟联合华中科技大学、中山大学、之江实验室、浪潮信息、天翼云和柏科数据等20多家学研机构、企业和用户代表，共同撰写的业界首个《分布式融合存储研究报告》（以下简称：《报告》）正式发布。《报告》首次系统梳理并深入分析了分布式融合存储的概念、技术架构和应用场景，为融合存储产业发展提供参考和指引。 

 

图片

⇓

 

图片

中国电子技术标准化研究院领导表示，“数据成为重要的生产要素，数据存储和数据管理在信息技术变革中的作用更加显著。分布式融合存储作为存储新技术，在数据存储领域将会发挥更大作用。”
中国计算机行业协会信息存储与安全专委会会长、华中科技大学教授谢长生表示，“存储作为数字技术底座之一，既得到空前发展也面临巨大挑战，分布式融合存储就是迎接这种挑战的关键技术，该报告汇聚了学术界、产业界和用户的集体智慧和经验，描述了一副全景视图。”
中国工程院院士、清华大学教授郑纬民指出，“数字化和智能化催生数据量爆炸式增长，分布式融合存储技术的出现，不仅可以提供数据存储的效率和安全性，还可以实现数据的动态管理和智能优化，为各种应用场景提供更加全面和可靠的数据支持。”
《报告》指出，相较于传统的分布式存储技术，分布式融合存储是在传统的分布式存储架构的基础上，实现了同一存储集群同时提供多种存储服务，并且在非结构化数据协议间实现了协议融合、数据融合互通的存储技术，其能够提供跨模式/格式数据共享互通的能力，并支持块、文件、对象、大数据多协议接入以及多协议关联统一管理，满足多应用跨不同协议实现高效的数据互通访问。
该报告明确了分布式融合存储的四大关键技术：
①统一存储池，保证数据能够均衡地分布在各个存储节点中，支持存储池的横向扩展，以及数据自动修复能力；
②存储服务融合，在一套存储系统中同时提供文件、对象、大数据和块存储服务，同时具备丰富的多协议支持能力；
③数据管理融合，采用统一的非结构化数据和元数据管理架构，保证各协议的原生访问；
④存储协议融合，支持NFS、CIFS、HDFS、S3等非结构化数据协议的融合互通，保证了各种协议共享同一份数据和元数据。
分布式融合存储通过对底层硬件资源进行高通用性且细粒度的管理，可极大地缓解智算时代数据急剧增长所导致的存储资源紧张问题。

 

图片

分布式融合存储架构

 

图片

 

分布式融合存储在海量多源异构数据处理和“通信、感知、计算”一体化的边缘场景方面提供了强有力的存力支撑，使其能够满足不同场景对于存储的需求，为当前的数字化转型时代提供了高效、多维、贯通和定制化的生产要素，让数据驱动向全场景渗透。
《报告》总结了分布式融合存储的五大典型应用场景：
  • 以自动驾驶为代表的深度学习场景：自动驾驶场景中数据量比较大，并且数据类型复杂。在整个数据生命周期中，根据不同阶段的应用，需要使用不同的协议。而分布式融合存储则实现多协议互访互通，并具备极致聚合性能，能够满足数据采集、数据标注、模型训练对于存储带宽、小文件处理、存储 IO 等方面的要求，使业务流程更加简洁高效；
  • 以 AI/AIGC 为代表的大模型应用场景：模型的训练是AI开发的核心，这要求存储系统提供高带宽和高并发性能。分布式融合存储可避免因访问协议不同造成的数据拷贝，并提供海量多源数据、高性能、低延迟的存储基础设施，为AI应用的训练和推理提供强大存储能力的支撑；
  • 以湖仓一体为代表的数据智能应用场景：湖仓一体的架构，数据来源多种多样，面向的服务和存储协议多种多样，所以融合存储是必然趋势。分布式融合存储为该场景提供了更高的计算扩展性，可为各类计算引擎同时提供存储需求，并实现协同合作和数据共享；
  • 金融风控场景：金融风控场景的特殊性意味着，其对于存储系统的可用性、数据一致性、可扩展性、数据安全性、性能都提出了很高的要求。分布式融合存储通过高可用、高安全、高扩展、高性能设计，能够支撑系统实时数据访问和灵活扩容，满足大规模数据存储与分析的需求；
  • HPC高性能计算场景：在高性能计算领域，分布式融合存储技术的应用作用愈发重要，它通过将多种存储业务资源集成为一个整体，以满足对文件、对象、块功能的需求，以及性能和容量的要求，并提供高可靠性和可扩展性，为科学计算和数据分析提供了可信赖的数据基础。

 

图片

 

《报告》预测，分布式融合存储这一新兴技术目前正处于发展早期阶段，仍面临多服务融合的高性能挑战，新存储形态的标准化挑战和智能化的运维管理挑战。
同时，分布式融合存储拥有广阔前景，首先分布式融合存储有助于“存力”构建，符合政策方向；其次，分布式融合存储在一套存储架构有效组织管理不同存储介质、存储协议和存储服务，使得“一套存储架构支持一个数据中心”成为可能；以AI大模型为基础技术，未来涌现的各类新应用需要更强大的数据基础设施和数据平台能力，带来不可估量的市场空间，注定分布式融合存储未来大为可期。

图片

存储产业技术创新战略联盟秘书长李仁刚表示，“云计算、大数据和人工智能等技术的快速发展，将推动分布式融合存储的进一步应用、推广，成为越来越多行业用户的首选存储底座。”

网站声明：如果转载，请联系本站管理员。否则一切后果自行承担。

本文链接：https://www.xckfsq.com/news/show.html?id=29286
赞同 1
评论 0 条

相关文章

  • 创纪录！浪潮云海OS完成业界首个“一云多芯”SPEC Cloud基准测试 2023-06-16 52588 浏览

    ■■近日，浪潮云海OS完成业界首个面向一云多芯场景的SPECCloud基准测试，在三种处理器节点混合部署集群测试中，相对可扩展性、平均实例配置时间等指标均达到全球领先水平，验证了云海OS在业务应用跨处理器架构场景下的高效率、高性能和高扩展能力。云海OS在成功完成全球最大规模单一集群云数智融合实践，建立“大规模云集群参考设计规范”后，又一次引领私有云发展趋势，建立了以“一云多芯”为核心的云平台参考基

  • 创纪录！浪潮云海OS完成业界首个“一云多芯”SPEC Cloud基准测试 2023-06-16 50340 浏览

  • 浪潮信息突破浸没式液冷服务器设计极限！业界首个支持50℃进液温度 2024-04-02 52700 浏览

    近日，浪潮信息旗下产品NF5180G7成为业界首个可支持浸没式液冷50℃进液温度的服务器。NF5180G7是一款超高密度服务器，在1U空间内达到了性能、密度、扩展性最大化设计，支持2颗最高64核心350W最新英特尔至强可扩展处理器，最大支持32个DDR5内存，业界最高性能并行存储，支持4个单宽GPU，整机功率可达1300W，提供超高密度、超强算力与存力。同时，NF5180G7通过浸没式液冷散热，解

  • 统信UOS携手感动科技打造江苏首个高速云收费站丨标杆100 2024-09-19 76 浏览

    面对信息安全与产业安全新挑战，交通信创建设备受瞩目。近年来，国家政策的强力扶持已促使交通信创进入加速发展期，特别是高速公路，作为关键基础设施，其系统的自主可控成为焦点。推动高速公路全面融入信创生态，不仅是确保我国交通行业在新科技浪潮中占据领先地位的关键举措，更是引领全球交通领域加速数字化转型、激发创新活力的强有力引擎。鉴于此，一场交通信息技术创新研讨会如期而至。近日，2024交通行业信息技术创新关

  • 苹果发布iOS 16.1首个公开测试版 加入实时活动通知功能 2022-09-16 52383 浏览

    站长之家(ChinaZ.com)9月16日消息:苹果公司今天向公众测试者发布了即将到来的iOS16.1更新的第一个测试版，向公众开放了测试过程。今天的测试版是在苹果向开发者提供测试版一天后推出的。参加

  • “双减”后首个黄金周遛娃数据，对文旅教育行业意味着什么？ 2022-09-20 49515 浏览

    文|亲子商业志 “十一也没什么作业，就给两个小朋友报了一个‘军事训练营’，其实就是夏令营性质的，看家长群里老师发来的照片，真是玩得‘不亦乐乎’。 ” 南京市民崔先生育有一对已经上三年级的龙凤胎

  • 上海数据交易所设立全国首个数字资产板块，明日免费发售首款数字资产 2022-09-20 51931 浏览

    记者 | 杨舒鸿吉 2022年8月24日，上海数据交易所在全国率先设立数字资产板块。同日，上海数据交易所联合华谊集团旗下国有老字号“回力”和“哔哩哔哩”首发数字资产 “回力DESIGN-元年”，该数

  • 诺瓦瓦克斯公布首个新冠和流感联合疫苗临床数据：初步发现二合一疫苗可能安全有效 2022-09-20 50367 浏览

    英国《金融时报》4月21日报道，诺瓦瓦克斯（Novavax）公布了首个新冠和流感联合疫苗的临床数据，初步发现二合一疫苗可能是安全有效的。 该试验在澳大利亚进行，对近650名50至70岁的人进行了联合

  • 海南：全球首个商用海底数据中心示范项目开始实施 2022-09-20 49680 浏览

    文丨海南日报 王培琳 5月21日下午，全球首个商用海底数据中心示范项目推进会在海口召开。海南日报记者从会上获悉，该项目总规划为100个数据舱，在“十四五”期间分三期建设，截至目前，项目总体设计、

  • 中国首个金融数据港在上海浦东开港 2022-09-20 52358 浏览

    记者 | 杨舒鸿吉 2021年7月27日，“全力打造城市数字化转型示范区——金融数据港开港仪式”在上海浦东张江鑫智汇金融科技产业园隆重举行。 建设金融数据港是浦东贯彻落实中共中央、国务院《关于支持

haha
hahaL0
粉丝 0 发表 13 + 关注 私信
上周热门
如何使用 StarRocks 管理和优化数据湖中的数据？  2944
【软件正版化】软件正版化工作要点  2863
统信UOS试玩黑神话：悟空  2823
信刻光盘安全隔离与信息交换系统  2717
镜舟科技与中启乘数科技达成战略合作，共筑数据服务新生态  1251
grub引导程序无法找到指定设备和分区  1217
华为全联接大会2024丨软通动力分论坛精彩议程抢先看！  163
点击报名 | 京东2025校招进校行程预告  162
2024海洋能源产业融合发展论坛暨博览会同期活动-海洋能源与数字化智能化论坛成功举办  160
华为纯血鸿蒙正式版9月底见！但Mate 70的内情还得接着挖...  157
本周热议
我的信创开放社区兼职赚钱历程 40
今天你签到了吗？ 27
信创开放社区邀请他人注册的具体步骤如下 15
如何玩转信创开放社区—从小白进阶到专家 15
方德桌面操作系统 14
我有15积分有什么用? 13
用抖音玩法闯信创开放社区——用平台宣传企业产品服务 13
如何让你先人一步获得悬赏问题信息？（创作者必看） 12
2024中国信创产业发展大会暨中国信息科技创新与应用博览会 9
中央国家机关政府采购中心：应当将CPU、操作系统符合安全可靠测评要求纳入采购需求 8
热门标签更多

加入交流群

请使用微信扫一扫!