中国IDC圈10月19日报道,据国外媒体报道,Facebook正在研发“冷存储”技术,能够在低能耗、低成本的条件下保证海量数据的响应速度。

以下为文章全文:

每个月,Facebook的用户平均要上传总容量高达7PB的图片,面对这些海量数据,Facebook正在考虑全新的存储方式。该公司负责基础设施工程的副总裁杰伊。帕里克(Jay Parikh)表示,随着图片数量的增长,Facebook需要寻找价格和能耗都较低的存储途径。

帕里克周三在阿姆斯特丹的一个行业会议上表示,Facebook用户每天要上传约3亿张图片,在某些特别的日子里还不止这么多。“万圣节算是一年里照片上传的高峰日。这一天里的照片上传量可能会达到10到20亿张。”

拍摄于万圣节的照片很快就将不再引起人们的注意,过了几天,最多几周,人们就不会再去查看它们,但是“根据用户协议,即使人们不再查看这些照片,我们也不能把它们删除,我们必须保存这些图片,”帕里克说。由此引发了一个构想,对这些照片进行“冷存储”,他说。

他说,为了做到这一点,Facebook计划建设一个新型数据中心,在其中采用相对现有数据中心能耗更少、成本更低的存储方式、服务器和网络设备——同时还不能降低服务器的响应速度。

但Facebook能让冷存储的效率达到何种程度呢?在降低数据中心成本和能耗的同时,存储读取速度往往也会受到影响。

以磁带存储方式为例,它能降低能耗,但却会严重影响数据读取速度。

亚马逊网络服务系统(Amazon Web Services, AWS)的Glacier云存储服务走了一条中间路线,他们称之为磁带之外的新选择。这一服务专门针对那些无需经常读取的数据进行了优化,前提是可以接受数小时的检索时间。

按照帕里克的说法,这个时间对Facebook而言太长了。“当用户想要查看5到10年前上传的图片时,我们绝对不能在页面上拉出一个横幅,写着‘嘿,过24小时再来试试看吧’。我们的图片读取仍然需要相对而言接近实时的响应,”他说。

更低的能耗

现在使用中的数据中心往往都针对那些需要大量计算能力同时能耗很大的任务进行优化的。Facebook计划中的冷存储则走向了另外一个极端,帕里克说。他说,“你需要非常非常大的存储空间,但却并不需要那么大的计算能力。”他还指出,数据中心各个方面的问题都需要重新考量,以保证能应对Facebook目前所面对的庞大数据规模。

帕里克说,总体而言,Facebook正在研发能够在内容创作时间较久之后,自动判断在数据中心的什么位置以何种方式储存该内容的软件。“这意味着随着时间的推移,数据会在数据中心当中不断移动,以更好地利用为久远数据而优化的存储设施的各个部分。”他说,软件层面的一些创新能够保证Facebook在以低能耗储存数据的同时实现较快的响应速度。

他说,在未来一两年里,冷存储将成为Facebook基础设施的一部分。Facebook计划通过开放计算项目(Open Compute Project)来公开并分享冷存储项目中与之相关的内容。开放计算项目由Facebook于2011年4月发起,旨在把开源软件协作模式应用到数据中心硬件领域

关注中国IDC圈官方微信:idc-quan 我们将定期推送IDC产业最新资讯

查看心情排 行你看到此篇文章的感受是:


  • 支持

  • 高兴

  • 震惊

  • 愤怒

  • 无聊

  • 无奈

  • 谎言

  • 枪稿

  • 不解

  • 标题党
2019-07-02 09:02:06
云资讯 未来的Kubernetes将效仿Facebook的做法
如果你想知道Kubernetes容器管理系统的未来会是什么样子,那么Facebook自2011年以来一直在使用和发展的封闭源代码、自主研发的Tupperware容器控制系统(Docker容器以及Kuber <详情>
2019-06-13 09:41:00
国际资讯 太阳能协议敲定,Facebook7.5亿美元数据中心即将启用
这一装机容量为122兆瓦的太阳能发电设施正在犹他州Iron County的Enterprise附近建造,计划于2020年开始运行。它位于58兆瓦的Cove Mountain发电厂附近,该发电厂还将为Faceb <详情>
2019-04-04 12:21:31
云资讯 FB再现数据泄露!上亿用户记录在亚马逊云计算服务器上曝光
据外媒报道,网络安全公司UpGuard的研究人员声称,他们在亚马逊云云计算服务器上可公开访问的地方发现了数亿Facebook用户的个人信息记录。 <详情>
2019-03-14 18:43:00
国际资讯 泄露8700万用户数据资料,它将面临刑事调查......
Facebook涉嫌数据交易,正面临刑事调查。去年对剑桥分析公司泄露用户信息的披露将Facebook推入了其历史上最严重的危机。有新闻报道称,去年6月和12月,Facebook向包括智能 <详情>
2019-03-12 22:17:38
国际资讯 Facebook公司搁置丹麦第二个超大规模数据中心的计划
据报道,尽管花费数百万丹麦克朗对Esbjerg数据中心建设进行了调查,但Facebook公司已决定不继续实施该项目。 <详情>