当前,流媒体视频、电竞直播和在线游戏充斥着网络,虚拟现实(VR)电影等技术开始兴起,社交媒体网站每次推送内容几乎都包含着视频,越来越多的用户开始观看流媒体,上传视频并寻求身临其境的体验。由此可见,消费者对视频内容的需求正在飞速增长,给视频云的发展带来了大好的机遇。不过,高速增长的视频尤其是直播、短视频等视频内容,给视频云架构带来了严峻的挑战!互联网企业如何利用新技术优化视频云架构,解决高并发、大流量带来的计算资源、网络资源、存储资源不足的难题?如何降低延迟、节省成本、并提高用户体验?成为他们面临的主要难题。
为此,51CTO策划了主题为《视频云架构技术挑战与实践》线下研讨会活动,并力邀来自英特尔、金山云、网易、爱奇艺、51Talk等有视频场景企业的技术专家和互联网架构师共聚一堂,分享、交流和探讨了媒体和娱乐经济大潮下,视频云架构技术挑战与突破。
媒体和娱乐经济大潮下,视频云发展迎来大好机遇
当前,基于视频直播、视频点播、AR/VR等的视频应用越来越丰富,在提高用户互动体验的同时,给视频云业务带来了巨大的发展机遇。
英特尔 CB Lee在主题为《视频云技术架构探讨》分享中提到,从2016年到2021年,互联网直播视频流量将会增长15倍,年复合增长率为72%。 云DVR市场将在2017年至2022年的预测期内以接近27%的年复合增长率增长,预计到2023年全球视频分析市场将达到13B,从2017到2023年复合增长率为25.7%。
笔者得到的一组数据显示,未来十年(2019-2028年),媒体和娱乐服务提供商将有机会争夺总计近3万亿美元的无线业务收入。5G网络提供的体验将占到这一收入机会的近一半(接近1.3万亿元)。另据金山云视频技术架构师陈金介绍,金山视频云业务已经覆盖了90%以上的直播和短视频APP。来自网易的高级开发工程师王磊也同样表示,网易媒体处理平台的服务业务对象已经包括了新闻客户端、公开课、咕噜视频以及小程序等等,包括音频与视频的上传服务、音频处理和视频转码。由此可见,众多视频业务为视频云的发展带来大好机会。
虽然,媒体和娱乐服务将给云服务商带来巨大的机遇,但是视频云也将面临着日益复杂的编解码器和5G网络驱动下如海啸般涌来的内容需求。而老旧的基础设施无法满足不断增长的客户的期望,无法经济高效的满足现代媒体和娱乐工作所需要的计算、存储和网络需求,重塑IT架构势在必行。
重塑IT架构,突破视频云技术瓶颈
面对海量视频,视频云将面临着哪些挑战?哪些新技术能够解决视频处理高并发、大流量等需求?在运用视频云新技术时企业都遇到了哪些难点和挑战?在针对视频云优化以及整体IT架构的重构方面,企业都采取了哪些应对策略?针对这些话题,在线下研讨会的现场,众多技术专家进行了交流与探讨。
来自快狗打车高级经理胡显波表示,视频业务主要面临的挑战来自于成本,包括硬件成本和CDN的成本。此外,在用解码减少整体编码的传输上,例如视频的判重方面需要对视频进行解码,选取200帧进行向量计算,每个视频的处理大概需要10秒钟,这种处理效率显然无法满足大数据量的视频业务需求。他表示,通过高质量的解码器能够有效的减少CDN的成本,而通过边缘计算的方式可以很好的解决硬件成本。
来自凌云教育的联合创始人兼技术总经理王艳铭则认为,视频传输延迟,自适应视频流高峰低谷和视频存储是视频云面临的主要挑战。通过采用增加边缘机房或申请高速光缆带宽,增加策略和调度机制能够减轻视频传输延迟的压力。当然,通过获取用户上传下载的行为习惯,能够降低高并发或者高负荷码流的问题。根据上传的媒质级别,分配到视频解码集群可以解决存储的问题。
网易高级开发工程师王磊表示,相比而言,他们更关注网络的优化,延时和成本的关系,以及在离线转码任务时出现的高并发问题。而解决的方式是通过部署最新的服务器、利用最新的编码技术,提高计算力。随着硬件性能的提高,可以实现成本的缩减优化。未来,网易会采用AI+转码,异构计算和新兴编码格式,不断解决问题,努力实现功能、体验、成本三者之间的均衡。
来自新浪微博系统开发工程师于炳哲认为,视频是有明显波峰波谷的业务,要面对早、中、晚高峰巨大的用户量,面临热点事件带来的突发巨大流量,但由于平时用户量又很少,如果完全按照高峰手段进行资源控制,非常浪费资源。不过,采用混合云服务可以很好的解决流量不均衡的问题,实现灵活的资源扩展;通过底层混合云申请资源、对资源进行监督和调度。此外,借助决策层的多因子打分系统,多个维度如KVS负载,带宽等等打分,判断热点的热度,划分等级,实现弹性扩容。
来自九州云OpenStack研发工程师范桂飓表示,公有视频云具备成本上的效益,能够有效降低建设成本,且高精尖的技术例如AI算法能够降低开发成本。在视频媒体流处理上,边缘计算对CDN可以擦出巨大的火花。我们可以将中心云的管理能力下发到边缘,这给CDN带来很多软件定义的想象空间,加上P2P多方结合,会解决低延时的问题。
英特尔精选解决方案,为视频云架构转型赋能
为了帮助视频云服务商加速IT架构的转型,英特尔提供了一整套的精选解决方案。CB Lee表示,这套解决方案就像CDN或者媒体沉浸式的游戏,硬件和底层的软件都已经通过验证,达到了标准的性能指标要求,用户不需要关注过多的内容,即可直接使用。可以说,英特尔视频云解决方案实现了对软硬件的无缝支持。
CB Lee表示,视频云是支持媒体转型的根本,英特尔通过解码、推理、渲染和编码的四大核心模块支撑媒体处理与交付、媒体分析、沉浸式媒体、云游戏、云图处理分析五大应用,并以软件优先的解决方案,支持跨CPU、GPU和加速器的可移植性,提供端到端参考pipelines,更易于商业化的落地。此外,所有软件采用业界标准框架例如FFMPEG, TensorFlow等,并全部开源,与COSP、CSP、ISV、IHV等设备商紧密合作,构建了健全的生态链。在硬件上,除了第二代至强可扩展处理器外,英特尔还推出了EPU、FPGA等加速器。CB Lee表示,英特尔基于业界框架开发软件,并完善应用,用户只需要加入差异化的功能就能够直接使用。此外,英特尔的软件还支持广泛的产品组合,包括MD、MGA、GPU等等加速器。
金山云视频技术架构师陈金在分享时也表示,任何商业应用落地都要考虑收益和成本的平衡,在对比度增强算法优化上,金山视频云采用Intel MKL和Intel OpenMP方式实现SIMD并行化加速1倍,基于Intel OpenCV库实现加速11.5倍。在颜色增强算法优化上,采用Intel ICC编译和向量化加速8.9倍,采用Intel IPP库函数替换和SOA数据重排加速14倍,采用Intel IPP +分块处理加速17.8倍。
写在最后:面对媒体和娱乐经济带来的机遇和挑战,走在行业前沿的互联网企业必须积极的站出来,勇于探索和尝试,不断利用新技术重构IT架构,突破挑战,降低成本。本场研讨会,各行各业的技术大牛们不止一次提到视频带来的挑战和机遇,也结合自己公司的业务场景分享了他们的技术解决方案,与同行进行了深入的探讨,受益匪浅。
此外,面对视频带来的视频云技术架构挑战,英特尔也提供了非常成熟的整套解决方案。借助英特尔提供软硬件产品,企业能够积极应对新技术应用给IT架构带来的挑战,加速业务创新步伐,以保证在未来长期的市场竞争环境中,获得持续的竞争优势。
【凡本网注明来源非中国IDC圈的作品,均转载自其它媒体,目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。】