- 智能云存储系统 您现在的位置 :首页 -- 技术论坛 -- 智能云存储系统
- 上一篇:如何让冷数据更好存储
- 下一篇:大数据时代,视频监控对存储新需求
分布式存储--冷数据存储的较优方案
发表于:2018-11-15 浏览410次 |
为了满足海量数据存储需求,存储系统需要将多块磁盘整合为一体化的存储资源池,并提供必要的存储容错能力。
磁盘阵列(Redundant Array of Independent Disk,RAID)是此前常用的磁盘系统,它是由众多独立的磁盘按照不同的方式组合而成的容量巨大的磁盘组。其中,组成磁盘阵列的不同方式被称作RAID级别,不同的RAID级别能够提供不同的存储性能和数据冗余能力。磁盘阵列技术将多个磁盘组织在一起构成一个逻辑卷提供跨磁盘存储能力,数据可以被划分为多个数据块并行写入/读出到多个磁盘以提高访问磁盘的速度,并通过镜像或校验操作提供容错能力,因而在容量、性能、可用性等方面存在优势。但是磁盘阵列的问题在于其设备专用化导致架构封闭,不同厂商、型号的设备间互操作性差,而且价格较高,影响系统的兼容性和扩展性,难以满足冷数据存储的海量、低成本需求。
随着分布式软件中间件技术的发展,分布式存储正在成为存储领域的发展方向。分布式存储利用x86服务器作为存储节点,通过软件将多个节点上自带的磁盘存储资源整合为统一的资源池,对外提供存储服务。分布式存储系统依托于标准化架构的通用服务器设备,而无需引入专用设备,有利于成本的降低和互操作性的提升,在扩展性方面具有优势。同时,分布式中间件能够在软件层面消除通用服务器在可靠性等方面的不足,例如通过数据多副本冗余的方式提升数据的可用性,并在存储节点间进行自动的负载均衡。分布式存储系统能够提供文件、对象、块等多种类型的数据访问接口,其数据多副本机制还有助于支持数据的并行读写,有效提升数据的访问性能。因此,分布式存储日益成为核心存储系统,在当前的大数据等创新领域发挥重要作用。
分布式存储较好的在成本、容量、性能等方面进行权衡,是当前用于冷数据存储的较优方案。与价格高昂的磁盘阵列相比,分布式存储的低成本源于它构筑在标准硬件存储基础设施之上,只需要普通的x86服务器和SATA硬盘,而无需采用 RAID和存储交换机就能够提供足够的性能和可靠性;与只支持离线数据访问的磁带相比,分布式存储能够保证存储在其中的数据被近线/在线访问,满足大数据等新兴业务对部分冷数据进行偶发存取的性能要求。当前,分布式存储系统还在持续发展中,压缩、去重等有助于降低存储资源消耗的技术被广泛应用,利用基于纠删码(Erasure Coding,EC)的数据容错技术降低多副本冗余存储造成的资源占用是重要发展方向。
金钱猫科技