选择多如牛毛,为你的应用选择最佳的云存储系统并非易事。但是对象存储系统是一个选择,尤其是如果你的应用要求访问控制。而那些使用云进行大数据分析的则要考虑Hadoop.

对象存储系统,比如AWS S3、微软Azure Blob和谷歌云存储,可以在一个持久稳固且高度可用的系统中存储任意的对象,且独立于虚拟机实例之外。应用和用户可以在对象存储中使用简单的API访问数据;这些通常都基于表属性状态转移(REST)架构,但是也有面向编程语言的界面。

对象存储提供了数据上受限操作的访问控制。数据管理员可以在bucket层级上(类似于目录)或者对象层级上(类似目录中的文件)应用访问控制。存储对象的授权/认证通过云提供商的身份认证管理系统或者你的目录服务来管理。通过后者,你可能有一个本地的目录,同基于云的目录服务同步,巩固所有的访问控制角色和进入单一注册库的特权。

提及存储,对于那些使用云进行大数据分析的还有额外的选择考虑。比如AWS提供了弹性Map Reduce (EMR),这是一项Hadoop服务。Hadoop旨在同期文件系统工作,以HDFS著称。

当用户用EMR创建了一个Hadoop集群,他们可以从AWS S3或者一些其他的数据存储复制数据到集群上的HDFS,或者也可以直接从S3访问数据。HDFS使用本地存储,而且通常提供了比从S3恢复更好的性能,但是在运行Hadoop工作之前,也需要时间从S3复制数据到HDFS.如果EMR集群要运行一段时间,且针对多项工作使用相同的数据,可能值得额外的启动时间来从S3复制数据到HDFS.

云存储选择适用于广泛的需求,但是要针对你的需求找到正确的存储类型,也意味着要找到延迟、易用性、数据完整性和成本之间的合适的平衡点。

控制归档成本

云存储的另一个常用用例是归档。这个程序要需要较长时间复制数据来进行持久的存储。下面是在控制归档成本时需要考虑的三个内容:

1、归档数据一次写入且很少读取。因此,最优先考虑的就是受限的归档成本。

2、对象存储可以用来归档,但是除非你需要低延迟检索,开支可能要比所需高。

3、AWS提供的Glacier归档存储服务成本比S3大幅减少。从Glacier检索数据用时数小时,因此并不适用于大多数应用。

关注中国IDC圈官方微信:idc-quan 我们将定期推送IDC产业最新资讯

查看心情排 行你看到此篇文章的感受是:


  • 支持

  • 高兴

  • 震惊

  • 愤怒

  • 无聊

  • 无奈

  • 谎言

  • 枪稿

  • 不解

  • 标题党
2023-07-11 09:08:58
云资讯 中国消费者协会:云存储逾期会永久删除
7 月 10 日,中国消费者协会发布提示,云存储逾期会导致内容永久删除,消费者要增强数据安全意识,在收到云存储服务到期的信息时必须采取措施,避免造成不可弥补的损失;经 <详情>
2022-08-18 09:35:57
云资讯 降本增效!数据存储新格局
IBM结合其原有优势,加上并购、优化产品服务等“操作”,软硬件两手抓,并秉持着开放的态度,构建生态,充分调动产业上下游资源,为用户提供优质服务的同时,确保了自身业 <详情>
2022-02-07 09:50:00
国内资讯 数据中心:数字经济风口下的核心赛道
现阶段的数据中心是整合了服务器资源,凭借带宽优势,集中建设大型数据中心,同时利用先进的云计算、云存储技术提高服务器使用效率,从而实现单机成本降低以及使用效率的迅 <详情>
2021-12-07 11:35:00
大数据技术 ClickHouse vs StarRocks选型对比
一般来说,ClickHouse适合于维度变化较少的拼宽表的场景,StarRocks不仅在单表的测试中有着更出色的表现,在多表关联的场景具有更大的优势。 <详情>
2021-11-30 09:27:04
云资讯 混合云存储新突破,以“不变”应万变
面对新趋势和新需求,Commvault推出HyperScale™ X高性能集群一体机,助力客户提升数据存储能力和治理水平,驱动企业创新变革,获得数字化转型“捷径”。 <详情>