风君子博客6月11日消息,根据国际调研机构 IDC 发布的《数据时代2025》预测,全球数据总量将从 2018年的33ZB 增至 2025 年的175ZB,增长超过5倍。
中国电子信息产业发展研究院发布的《中国数字经济发展现状与趋势洞察》显示,中国已成为数据量最大、数据类型最丰富的国家之一。预计到2025年,中国数据总量在全球占比将接近30%。
数据总量、数据类型如此之多,可谓“横看成岭侧成峰,远近高低各不同”。面对纷繁的数据,存储能力作为云厂商的基本功如何创新升级?近期,亚马逊云科技大中华区产品部总经理陈晓建分享了亚马逊云科技在存储领域的实践创新。
在陈晓建看来,数据快速增长给存储带来三方面新挑战:
第一、敏捷和成本之间的平衡。市场上更快的数据存取服务往往需要更高的费用来获取,如何应对海量数据增长所带来的成本急速上升与数据存储服务敏捷性能之间根深蒂固的矛盾。
第二,数据本身多样化的需求。企业业务数据来自于各个渠道,各业务数据本身性质不同,使用方式也不一样,如何设计不同的存储服务满足不同业务的需求?
第三,数据安全与合规的问题。
面对这三个挑战,亚马逊云科技通过三种不同对策来解决:
第一,智能分层。通过智能分层彻底解决数据的成本和数据的可用性、敏捷性之间的矛盾。
第二,专门构建。开发多种针对于不同场景下数据应用的存储产品来解决企业应用多种多样,需求各有不同的问题。
第三,统一数据保护。通过一站式云服务备份系统,解决数据安全合规的问题,同时也解决数据备份所带来成本增加的问题。
数据有冷热 智能分层
从8层对象存储Amazon S3 到4层文件存储Amazon EFS
2006年3月14日亚马逊云科技推出第一个对象存储产品Amazon S3,至今已经整整16年。
陈晓建称:“谈到数据存储,每个用户都会关心成本。16年来Amazon S3非常重要的工作就是不断优化成本,为用户节约存储所需要花的钱。16年间,整个存储成本降低了大约7倍,一份数据在2006年的时候如果需要100块钱存储的话,到今天只需要花15块钱。”
Amazon S3如何做到节省成本的同时又不能影响到用户的数据存储体验?
陈晓建介绍,将数据按照访问频度,即冷热程度(访问越频繁则越热)进行智能分层来存储,是数据存储“降成本”和“保敏捷”非常重要的一个解决方法。
在过去一年,亚马逊云科技进一步细化其对象存储服务Amazon S3的存储层级。2021年12月份推出了革命性新产品Amazon S3 Glacier Instant Retrieval。它的价格和普通Glacier产品相当,但是它的用户数据的取回速度升级至毫秒级。
“我们估算发现,客户如果将每年仅访问几次的数据从 Amazon S3 Standard-IA 迁移到Amazon S3 Glacier Instant Retrieval ,可节省高达近70%的存储成本”,陈晓建举例表示,有了Amazon S3 Glacier Instant Retrieval,用户数据存储可以兼顾低成本和高性能。
随着Amazon S3 Glacier Instant Retrieval的推出,至此,Amazon S3的存储层级达到8级。
Amazon S3存储层级如此之多,新的问题随之而来:对于普通用户而言又该如何因应自身业务需要来选择最合适的存储层级呢?
为了帮助用户判断数据的温度,实现根据数据温度的变化进行存储策略调整,2018年亚马逊云科技推出Amazon S3智能分层服务,它会对每一份数据的实际访问频率做智能分析,再自动判断把数据分到合适的存储层级,彻底解决用户的存储选择困惑。
另外,亚马逊云科技还将这一“智能分层思路”扩展至云原生文件存储Amazon EFS。
据陈晓建介绍,目前Amazon EFS提供了四种存储等级分层,客户可以制定数据生命周期策略,将数据移动到非频繁访问层,需要访问时可以自动移动数据到标准层,通过这项分层存储功能,可帮助客户节省高达72%的存储成本。
专门构建
不同数据类型的来源不同、使用方式不一样、用户需求也不同。陈晓建表示,亚马逊云科技的应对策略是专门构建不同的云存储服务。目前,亚马逊云科技存储服务已经覆盖了对象存储、块存储、文件存储、数据备份、数据容灾、以及数据传输与边缘处理各个方面,用户可根据自身需求灵活选择。
为了帮助用户应对不同工作负载,在云端轻松且经济地启动和运行主流的文件系统,亚马逊云科技在过去一年不断丰富“专门构建”的Amazon FSx文件存储系列服务,在Amazon FSx for Windows File Server基础上,新推出新一代Amazon FSx for Lustre、基于开源OpenZFS 文件系统构建的Amazon FSx for OpenZFS以及云上首个完整且全面托管NetApp ONTAP文件存储系统的Amazon FSx for NetApp ONTAP。
其中新一代Amazon FSx for Lustre跟上一代相比,能够更好地支持HPC计算密集型工作负载,可提供5倍于前一代服务的单位存储吞吐量,每TB存储的吞吐量高达1GB/秒。Amazon FSx for OpenZFS基于开源的OpenZFS 文件系统构建,适用于对可扩展性、性能和成本效率要求较高的工作负载,如机器学习、电子芯片设计自动化、应用程序构建环境、媒体处理和金融分析等。
统一数据保护
在存储数据的保护方面,Amazon Backup可统一保护用户应用程序的数据,跨越亚马逊云科技的计算、数据库以及文件,对象和块存储服务。
陈晓建称,在过去一年,亚马逊云科技将Amazon Backup扩展至Amazon S3和VMware工作负载,让用户使用统一的数据保护策略,即可配置、管理和监督数据的备份与恢复,此外还涵盖Amazon Elastic Compute Cloud Amazon EC2)、 Amazon EBS、Amazon Relational Database Service Amazon RDS)、Amazon Aurora、Amazon DynamoDB、Amazon DocumentDB、Amazon Neptune、Amazon FSx、Amazon EFS和Amazon Storage Gateway。用户还可以使用Amazon Backup Audit Manager生成审计报告来帮助其满足合规要求,并使用Amazon Backup中内置的细粒度访问控制以及Amazon Backup Vault Lock,保持备份不变,防止意外或恶意删除。
“2006年到今天整整16年时间,我们持续了解客户诉求并进行科技创新。仅2021年一年亚马逊云科技在存储方面就颁布了130多项新的特性和功能”,陈晓建总结道,亚马逊云科技存储服务已经成为IT行业的“水”和“电”,让各行各业的业务都能从存储服务中获得价值。