信息爆炸的时代,智能推荐已经被应用到各类互联网产品中,但为千万级甚至亿级规模的用户实时做精准的推荐难度极高。这一难题已经被阿里攻克了:双11的第1分钟,数千万人同时涌进天猫,点开APP的一瞬间,心仪的宝贝就已经出现在屏幕上,这种一秒都没延迟的体验来自阿里云的“计算王牌”——实时计算平台Blink。
1月28日,阿里云正式宣布,将这一技术开源,要让所有计算在线、实时,帮助人类追赶时间。
Blink是一项典型的“传火于薪”开源技术,传承自Flink开源框架,后者最早适用于小流量互联网场景的数据处理。
由于看好实时计算,阿里率先对Flink进行改造,并将Flink的计算能力推向巅峰,推出内部版Blink,将计算延迟降低到人类无法感知的毫秒级:浏览网页的时候,你只是眨了一下眼睛,但在淘宝、天猫处理的信息已经刷新了17亿次。
实时计算到底有多重要?2004年,谷歌开启了离线计算时代,可以针对海量数据进行定时计算,但随着电商、金融等行业的发展对大数据计算提出了新的需求,在金融交易场景里,风控系统如果不能实时观察每一个账户的行为动态,就可能因为1秒的延迟遗漏风险,无法阻断危险交易,造成消费者损失。但实时计算突破了这一技术瓶颈。
现在,阿里巴巴集团的全部核心业务已经用上Blink。除了技术大考双11之外,ET城市大脑实时计算着杭州1300个信号灯路口、4500路视频,保障着交通动脉的通畅;淘宝、天猫每天为数亿用户展现实时的“专属”页面。
未来,这项技术还会被应用到社会的各个场景:工厂设备的物联网设备能实时分析数据、提高生产良品率;物流派送平台能第一时间下单,把商品及时送到消费者手中;导航软件时刻紧随出行轨迹,不再错过转弯口……
关于这次开源,Data Artisans(Flink创始公司)的 CTO Stephan Ewen兴奋地表示:“阿里巴巴是Flink大的贡献者之一,很高兴阿里能将内部优化的Flink版本开源给社区,让开发者享受到更先进的计算能力。”
阿里巴巴集团副总裁周靖人说:“我们一直密切关注并积极参与前沿的计算技术。Flink过去几年在计算领域获得了很大成功,阿里、Uber、Netflix等都是Flink的受益者,我们希望通过这次开源进一步服务整个社会。”
在此之前,阿里已经为Flink社区贡献近20万行代码改动,参与建立了首个Flink中文社区,推动了这项实时计算技术在国内的发展。
据了解,在各大开源社区,阿里表现活跃,已有400多个开源项目,涉及中间件、框架、组件、数据库、存储等,包括滴滴、网易、Netflix、Uber在内的互联网公司都是阿里开源项目的使用者。在GitHub贡献排行榜上,阿里是唯一一家入围顶尖贡献名单的中国公司。
相关阅读