飞机又晚点了,咱们在火车站看春晚直播吧!顺便抢X东的特价大黄鱼......
小张刚才约我一起去抢除夕的抖音红包......
听说老王他老婆正在闹离婚,因为昨天晚上老王给小网红打赏了一艘20万的游艇!
如果笔者贸然谈及云计算,大数据,5G这些关键词,可能大多数人都不知道。但如果是讨论上述的这些场景,估计所有人都经历过。现如今,移动支付、短视频,还有各种线上活动已经塞满了我们的生活。但你是否知道,所有这些都离不开云计算,大数据,人工智能等技术的暗中支持......
流量暴增令诸多互联网平台爱恨交加
当我们举家团圆,尽情享受科技给生活带来便利的时候,事实上也正是各家云平台神经最紧张的时候。因为这时候他们要面临流量洪峰,网络堵塞等诸多严峻课题。
举例来说,2019年9月24日国庆前夕,腾讯新闻曾经搞了“迎国庆换新颜”活动,由于参与用户太多,短时间之内流量暴增,差点连腾讯的服务器都差点没抗住。流量这东西,真是让人“痛并快乐着”……
随着移动互联网的带宽提速,视频已经成为网络流量的主力军。根据Sandvine的报告显示,2019年全球流量中视频占据了61%,国内流量中视频占比甚至超过80%。在节假日期间,尤其是重大活动,更是网络流量的高峰期。在这样的背景下,流量真的是让互联网平台爱恨交加。
有些人看跨年盛典 有些人却在积极应考
最后说到本文的主题!就在2019年12月31日到2020年1月1日的央视跨年盛典上,诸多明星献唱,阵容十分强大。据相关数据显示,超过500万用户观看,其中手机用户占比达到46%。但是你有没有想过,这么多人同时观看一台长达数小时的高清晚会,而观看途径又各不相同,其背后的保障压力会有多大?要知道,1秒钟的4K视频,如果不经压缩,其容量高达1.7GB......
带着这些谜团,我们中国IDC圈特地请走访了执行央视元旦跨年晚会重保任务的金山云相关负责人鹏彬(化名)。
鹏彬虽然年轻,但确是金山云的老员工了,经历过很多次重保任务,经验非常丰富。他风趣的说“每执行一次重保任务,都能让他重温一次当年的高考”......
之所以比作高考,鹏彬说,要想保障这样一台海内外上亿观众同时观看的高清节目,压力着实不小。一般来说,高清视频节目需要强大的计算力作为依托,所以遍布全国的数据中心是首要资源。与此同时,足够的网络分发节点和带宽储备也必不可少。
除此之外,还得根据历史数据,预估峰值。目前金山云是依托于一套AI预测平台,不仅根据用户的历史数据,还要参考其他类似活动的相关数据,要把数据的分析和预测做到分钟级。在完成预测之后,还要帮助用户进行资源弹性扩容。
拿这次元旦央视的跨年盛典晚会来说吧,金山云在全国各地的30个大型数据中心,以及1000多个网络分发节点都经过反复调试,在晚会开场前全部如临大敌。为了保障网络畅通,我们还准备了超过30TB的带宽资源。实现了全国所有区域的覆盖和运营商的全覆盖。即便如此,团队也丝毫不敢松懈,还针对不同险情制定了多种紧急预案。
十面埋伏,顶峰而上
除了国内的用户,如何承受得住海外华人的流量压力?鹏彬告诉笔者,为了解决这个问题,金山云主要是通过在海外自建节点以及和第三方合作,目前已经实现了对一带一路沿线主要国家和区域、南北美洲主要国家和区域的覆盖,确保了海外用户视频观看的流畅体验。
虽然硬件设施完善如此,但中国作为拥有数亿网民的互联网大国,暂且不说海外,仅就国内而言,地域差异和网络条件相差悬殊,怎么保障那些网络不畅通的山区地带用户观看节目呢?而且人员的流动性会使得网络压力形成区域波浪变化?比如火车站,机场......
看到笔者有这样的疑惑,鹏彬微微一笑说到,你这算问到点上了......先说网络方面,为了保障这次晚会,金山云采用了智能调度策略,和传统的视频云相比,智能调度是其关键所在。它可以根据用户的位置和当时的网络情况,自动调用最近和最快的资源提供服务。与此同时,还可以根据全网压力智能调度资源,确保不会出现个别节点负载过重的情况。
“山区地带的用户也能和我们一起云跨年吗?”鹏彬对这个问题似乎也颇为胸有成竹,“对于一些偏远山区和宽带普及较弱的地方,一方面我们尽量把分发节点进行下沉建设,另一方面,我们也通过技术创新,保障弱网下的用户体验。比如我们和小米一起发布的1KM产品,该产品通过在用户家庭端设备上进行网络加速,在弱网情况下提升30%的传输效率,我们和国内头部的视频厂商进行合作,通过优化移动端到分发节点之间的传输协议,用户的卡顿率降低超过了10%。可以说,近些年来流量来源的复杂化,也对节日重保提出了很高要求。”
除了在流量洪峰到来时,保证网络的流畅外,如何帮助客户节省带宽成本,也是一个难题。目前市面上广泛使用的视频编码算法H.264,属于第二代编码技术;2014年,金山云推出完全兼容第三代编码技术的产品KSC265,压缩比提高了50%左右,大幅降低了视频的码率,使得用户在移动网络下可以流畅观看高清视频;2019年,金山云又推出了符合第四代编码技术的产品KAV1,该产品通过和视频前处理技术相结合,可以再次把压缩比提高30%以上,达到了业界领先水平。
红包雨,有奖答题,你的新年礼我们都给你
鹏彬表示,虽然我们经历过诸如国庆阅兵,两会直播一类的重保任务,也服务过很多用户超过2亿的短视频和自媒体平台客户。但面对昨天多个平台的跨年活动或者晚会直播,我们依然不敢松懈。在晚会开播前几个月就开始准备,成立由技术专家和一线操作人员组成的重保小组,活动前进行全面分析和预案准备,活动过程中系统自动处理和人员保障相结合,活动结束后进行总结复盘。确保万无一失......
“人无完人,在如此长时间、高强度的重保任务下,你们如何保证每一次流量突发处理得都天衣无缝,游刃有余呢?”笔者对金山云的硬件和技术已经深信不疑,只是好奇什么力量能支持这个团队万无一失的连轴转。“除了硬实力,我们还有软实力,这全靠我们完善的重保机制——实时数据保障,鹰眼质量保证(数据支撑,鹰眼系统平台),DNS灾备,自动调度灾备,直播源站灾备,转码灾备等六大预案,” 鹏彬自信地说到。
“不过说实话,即便如此,昨天也还是出现了一些小插曲。比如在接近凌晨0点时候,全网流量出现一个用户快速涌入的现象,部分地区的流量洪峰出现变化,致使我们的个别节点负载压力达到了预警线。发现情况以后,我们的智能调度系统启动,立即调配资源,稳定了险情。类似的小紧张现象,每次重保都会出现好多次。后来我们打趣的说,来一个洪峰最少得死几千万脑细胞......”
笔者和鹏彬的聊天前后持续了2个小时。或许是刚刚完成了一次重大任务,这位年轻的工程师显得还有些兴奋。当笔者问及他对节日重保的感悟时,他说了两个字“责任”!随后又补充到“能让亿万观众顺利观看节目,而这其中有我和团队同事的一份功劳。虽然他们也许不知道我们的存在,但每当重保任务结束,我们依然会感觉心中畅然”。
据悉,金山视频云平台自15年开始至今,已经服务保障了多项重大的网络视频直播活动。像和头条合作的15年9.3阅兵网络直播,和央视合作的2018俄罗斯世界杯网络直播,2019年春晚网络直播,国庆70周年阅兵网络直播等,服务人数均过亿级,带宽峰值达到TB级。
而所有这些,背后都有太多鹏彬一样的幕后人员在默默付出......