中国IDC圈6月14日报道:前段时间Facebook的新版消息系统发布,Facebook对HBase的成功使用也使得很多的HBase案例得以出现,下文是Facebook的Hadoop工程师Dhruba Borthakur发表的Hadoop系列文章中的一篇,对Facebook选择Hadoop和HBase的原因做了一个说明。

Dhruba Borthakur首先总结了Hadoop和HBase的优势。他认为HBase横向扩展性强。对Facebook这种少量数据存储场景来说,扩容几乎是家常便饭,HBase能够使数据扩容非常容易。并且支持很高的写吞吐。Facebook的消息数据很庞大,每天的写量也很大。同时在同一个数据中心,能够保证有较强的一致性。Facebook用HBase来存储消息数据,业务上需要一个能够保证一致性的数据存储(这也是Facebook并没有采用Cassandra的原因之一)。HBase还具有良好的随机读性能。消息系统的业务逻辑导致会有很多穿透缓存层的随机读操作。

由于数据量大,分布的机器也可能很多,出故障或者进行一些日常升级工作会比较频繁。所以高可用性和故障可恢复性也显得极其重要。错误隔离性是指一个结点的错误不会影响到其它结点,磁盘故障只会对相应的小规模的数据产生影响。同时提供原子性的read-modify-write操作。原子性的increment或者对比后修改的操作,对很多业务上的处理非常方便。最后提供获取某个范围的数据的功能。比如像获取某人最近100条消息这样的功能,在消息系统里也是很常见的需求。

当然,下面几个Hadoop和HBase不太擅长的方面也值得一说。首先是同一个数据中心网络割裂下的容灾性。同一个数据中心的网络出现问题了,导致各结点之间无法正常沟通,这种情况通常可以通过配置一些备用的网络设备来避免。其次某个数据中心故障不会影响服务。这个情况更是少之又少。最后在多个数据中心间的实时数据交换。这个不太现实,通常这一点是用Cache层来实现用户对无端数据的实时访问的。

关注中国IDC圈官方微信:idc-quan 我们将定期推送IDC产业最新资讯

查看心情排 行你看到此篇文章的感受是:


  • 支持

  • 高兴

  • 震惊

  • 愤怒

  • 无聊

  • 无奈

  • 谎言

  • 枪稿

  • 不解

  • 标题党
2025-02-25 14:34:54
2025-01-14 16:51:00
2024-12-04 11:45:49
云资讯 亚马逊推出新一代基础模型Amazon Nova
亚马逊的新一代基础模型提供前沿智能和行业领先的性价比,Amazon Nova模型扩展了Amazon Bedrock中针对企业客户提供的丰富且强大的基础模型选择。 <详情>
2024-11-19 19:22:36
国内资讯 政策驱动下“AI + 云网安”服务发展:第一线的战略布局与实践
针对企业大模型训练与推理,第一线正探索构建AI原生超互联总线架构。 <详情>
57亿算力大单落地(哈密28、德令哈15、百度8.4)、阿里143亿将交付、润泽238亿港元重仓香港、16项目15智算6备案、中移50亿1.5万P中心封顶
2026-03-11 14:25:00
“算力绿洲”——中东地区数据中心及云项目盘点
2026-03-11 11:33:28
数据中心她力量:AIGC 浪潮下,八位领军者原声解构算力新周期
2026-03-11 11:31:08
深度|泰国算力交付全面提速,AWS、Google、微软、阿里云、TikTok五大巨头押注EEC走廊
2026-03-11 11:23:00
总金额超9.6亿元,同一联合体连中宁夏两大算力项目
2026-03-10 11:40:29
1.2亿,廊坊市云风数据中心机电EPC项目公布中标结果
2026-03-10 11:38:22
Oracle与OpenAI放弃星际之门旗舰数据中心扩建计划
2026-03-10 11:36:30
中兴通讯2025年营收1339亿元,算力营收同比增150%,构筑AI端到端全栈竞争力
2026-03-06 21:37:00
定档 6 月 25 日,2026中国智算产业大会火热招商中~
2026-03-06 10:32:00
维谛技术(Vertiv):雅砻江畔,智算新篇|全国首个高海拔岩洞智算中心如何点亮绿色算力新纪元
2026-03-04 16:52:20
“不明物体撞击” AWS阿联酋数据中心受损起火
2026-03-03 09:50:56
算力租赁行业涨价潮持续 或于2027年缓解
2026-03-03 09:48:36
某银行巨资「爆改」老机房;智算大单惨遭「弃标」;某大厂110亿购AI服务器;某公司高价托管「液冷机柜」丨算力情报局Vol.05
2026-03-03 09:46:00
白宫:AI巨头有义务自行解决电力需求
2026-03-02 10:17:52
4.4亿元,兴业银行上海张江机房改造项目公开招标
2026-03-02 10:10:03