技术

云卷云舒,坐看分布式云存储(Distributed Cloud)

By 2021年03月25日 22 4 月, 2021 No Comments

在如今这个大数据时代里,人们的工作与科技的关系也愈加紧密。你是否也遇到过类似的问题呢?公司有一批老旧的电脑设备需要淘汰更换,好几台都是压箱底的货,设备老旧、运行速度慢、很多文件数据都已经打不开了,图片数据更是损毁严重,大量的数据转移工作可难倒了公司的IT:拆硬盘、换主板、识别数据内容,花了好几个月时间才把这些数据存到了公司的服务器上,但还是有很多重要资料已经不可考。

下载图片

现实生活中,我们会碰到很多类似的问题——文件丢失损毁,硬盘不够大文件存不下,旧设备兼容性差资料读取困难、设备丢了文件也丢了……

有没有一种办法,能解决这些问题,实现信息安全、永久的存储呢?

答案就是分布式云存储

在分布式云存储出来之前,云存储已经被广泛应用,如搜狐企业网盘,百度云盘,360云盘,新浪微盘,腾讯微云,cStor等。根据前瞻产业研究院整理的数据报告显示,亚马逊的云存储在2019年全球云计算市场份额中拔得头筹,在国内,阿里云与中国电信一起分走了半壁江山。

下载图片

《云接入业务发展监测报告(2020年)》

下载图片

任何一个接触互联网的人都或多或少接触过云存储功能,但你是否发现过,云盘里存的文件经常会消失?
在云存储中,你的文件是被集中储存在某个运营商的服务器上,这些数据除了你自己,还有其他人可以通过服务器读取你的数据。就算私钥加密后,管理员其实也可以从服务端的平台中直接查看和删除用户上传的文件。原本就高昂的运营成本,已经让云存储的服务商不堪重负,前几年大批云存储服务商因为长期亏损宣布关停,一旦停止服务,原有的数据又要该何去何从?
现在是不是能理解为什么早年间很多大型企业,特别是国企和外企,很少使用云盘来进行文件传输?因为他们不知道,这些数据是不是真的可以被长期安全储存,直到2008年区块链的概念被提出,人们将区块链的技术运用在了云存储上,很多大型企业才开始使用云存储服务。
考虑到集中化存储有被盗风险,云存储专家们开始采用去中心化的分布式存储方式,这就诞生了分布式云存储。

什么是分布式云存储?

碎片资源合理化使用

碎片资源合理化使用
你可以理解为现在的共享平台——例如拼车服务,人们在平台上共享空余的座位给到有需要的乘客,并收取相应的费用,平台则抽取少量的服务费。分布式云存储就是共享个人硬盘空间,将数据分散存储在不同的硬盘上,实现了碎片资源的合理化运用。

大众广泛参与

公有区块链上的数据是开放的,所有人都可以进行参与。

高效低成本运营

分布式云存储不需要通过任何的机构及组织,可以随时随地上传、下载所需要的信息。比起购买昂贵的存储设备及配套的人力来说,租用硬盘空间更经济、实惠。

较高的安全性

传统的云存储公司使用RAID1 方案或多数据中心的方式进行加密,但不论如何加密,所有的数据都是在他们现有的服务器上的。而区块链技术让文件加密并分布在虚拟分散的网络中。我们拿3.14159举例,在分布式云存储的时候,这个数字将被拆分为7个部分,“3”,“.”,“1”,“4”,“1”,“5”,“9”,这7个部分被加密存储在不同的硬盘空间中,当我们需要完整读取这个数据时,首先要收集齐这7个部分,再分别对其进行解密。在实际应用的过程中,这些数据会被拆的更零散。

分布式云存储目前主要应用场景有哪些?

根据美国联合市场研究公司(Allied Market Research)数据显示,2015年全球云存储市场规模已经达到了211.7亿美元,2019年全球云存储市场规模达到了425亿美元。预测到2025年,全球云存储市场规模有望达到1373亿美元,2026年全球云存储市场规模将接近1700亿美元。

 

1RAID也称为“磁盘阵列”,它将多个硬盘用某种逻辑方式联系起来,作为逻辑上的一个硬盘来使用。简而言之,多个硬盘当一个硬盘使用,提升N倍于单个硬盘的速度,但需要区分清楚是逻辑上的,不是物理上的。

根据调查发现,2016年云存储业务在游戏企业中使用情况最多,而到了2018年,公共事业和教育开始大幅增长。

下载图片

随着“互联网+”行动的积极推进,我国云计算应用正从互联网行业向政务、金融、工业、轨道交通等传统行业加速渗透。我国电子政务先后经历了无纸化办公、“三金工程”、政府上网工程和电子政务工程四个阶段,目前我国电子政务建设已经取得一定成就。

分布式云存储的现实意义

2019年10月18日,在IDC中国数字转型年度盛典上,IDC与浪潮联合发布了《2019年数据及存储发展研究报告》,报告指出,2019年,中国将迈入新数据时代元年,分布式云存储具有巨大的现实意义。

下载图片

1、VR等高科技创新产业得以更好发展
分布式云存储解决了VR产业的数据存储和运算问题。
2、云盘服务让商业行为更有安全保障
商业机密影响着一个企业的核心竞争力,在转移的每一个环节中,都有可能被劫持或泄露,采用分布式云存储则可以解决这一痛点,这些商业机密被条条加密后分布式存储,痕迹更是可以追溯源头,绝对保障了商业机密的安全性。
3、金融、保险、医院、物流等产业可溯源
分布式云粗存储技术的区块链模式让每一个环节都可以追溯,所以很多互联网企业开始通过分布式云存储记录交易的各个环节,并逐渐延伸至养老保险、信托、基金、银行等地方。
4、隐私问题更有保障
我们浏览百度、Google、微信微博时,总是会留下隐私痕迹,这些痕迹被统称为大数据,Google的工作人员表示,有不少不法分子会利用Google用户的浏览痕迹进行分析。现在Google等行业龙头已开始逐渐使用IPFS,增加用户隐私的安全性。

云存储的三种类别

随着云计算的发展,大型企业都在计划和使用云存储,但并不是每个企业都使用相同类型的云模式,我们一般有三种不同的云模式——公共云、私有云和混合云。根据RightScale 2019年云状态报告,有84%的受访企业采用了多云战略。

下载图片

下载图片

如何在分布式云存储中分得一杯羹

资料存储的未来终将是分布式云存储,云存储的市场份额已超过1万亿美金2 ,基于区块链技术的分布式云存储一定能超过中心化云存储的市场份额。
SK海力士半导体以超卓的技术和持续不断的研究投资为基础,每年都在开辟已步入纳米级超微细技术领域的半导体技术的崭新领域。为了处理海量数据,数据服务器通常需要使用高带宽存储器(High Bandwidth Memory, HBM)。以往DRAM中传递数据的I/O请求数量为4或8个,最多为16个,而HBM可处理1024个I/O请求。这意味着 HBM 可以同时操作大量数据,有助于提高服务器的数据处理速度。

 

2http://www.infoobs.com/article/34036/fen-bu-shi-yun-cun-chu-jiang-yu-2020-nian-ying-lai-da-bao-fa.html


下载图片

DRAM产品规划部PC Client/Embedded团队的Technical Leader郑炳珍表示:“像HBM产品这样能够处理超过1024个I/O的DRAM会在数据中心中得到更大规模的运用。一般来说,DDR4 DRAM会成为主流产品,但预计几年后将逐渐被DDR5所取代。”
在服务器上处理游戏数据的过程中,图形DRAM在帮助加速器处理数据方面发挥着非常重要的作用。作为图形处理单元(GPU)的一种,加速器具有多个内核,因而可以同时进行多次运算,这与使用一个内核高速处理数据的计算处理单元(CPU)有所不同。鉴于此,加速器也在处理云服务器中大量数据方面也能发挥出重要作用。

下载图片

在加速器内各个内核进行运算的同时,图形DRAM可保存所需数据,接收和传输运算数据。即便使用目前市面上已有的、级别较低的GDDR6显卡,也可以完全云游戏服务所需的运算。
5G网络环境是云存储的前提条件。面向网络的DRAM安装在各个网络设备中,设备系统决定将接收到的数据包数据移动到哪里,首先处理几个数据包数据中的哪个,并负责在操作过程中存储数据包数据。
有了这些半导体的参与,云存储的发展必将超出我们的想象。

// // wechat qr 현재 URL 로 변경 // https://github.com/mkdynamic/jquery-popupwindow /*! * Display popup window. * * Requires: jQuery v1.3.2 */ // weibo show