2017年4月12-13日,2017亚太CDN峰会在北京隆重召开,大会由亚太CDN领袖峰会、国际CDN论坛、电视新媒体CDN论坛、视频云论坛、未来网络论坛、C未来视频峰会、亚太CDN展览会等7大部分组成。在13日上午的视频云论坛上,百度系统内部副总监刘宁作了题为《云智时代的CDN平台》主题报告。

百度

图为:百度系统内部副总监刘宁

CDN是一个重度依赖硬盘和SSD的服务,对硬盘健康性的把握直接影响CDN的服务质量和可用性。一个CDN节点,当服务器越少的时候,一块硬盘出现质量问题如果没有及时发现,所导致影响就越大。百度云刘宁总监介绍道:百度采用监控故障扇区、磁头马达等硬件错误、设备报错、设备文件不可访问、进程D状态、盘符缺失、SmartFail等数据,运用GBDT(Gradient Boosting Decision Tree)、SVM等算法 + 神经网络构建故障预测模型,不仅可以做到故障不漏发现,还可提前48小时预测故障,准确率>90%,一旦预测到磁盘故障将要发生,会提前迁移盘上的热点数据,同时提前剔除故障磁盘,并自动报修。

百度云的独特优势在于以下几点:1、质量感知:百度用户基数大、使用密集、质量数据实时、细腻,基于访问质量的自动实时调度。2、大数据:数十万太服务器大数据,硬盘故障预测并自动踢出,杜绝带病运行。3、骨干节点:运营商骨干节点数100+,边缘节点200+,三级节点缓存,BGP单线回源。4、BGP接入:BGP接入超过30家运营商。5、节点测试:严格的节点准入测试。

用户需求趋向对CDN提出新的需求

用户需求趋向的改变带给了整个CDN行业发展的动力,用户趋向的改变体现在通信社交、消费需求、革新化包括kill time等已经变成了用户的需求,同时还包括泛信息、泛娱乐。用户需求的通用特点是负媒体化,对于视频点播、视频直播包括短视频行业对这些方面有了更多的需求,也给CDN行业提出了很多的要求。

越来越多的用户无论是内部用户还是外部用户,在用户体验方面都提出了非常高的要求,不光是可用性、质量还有更低的成本、技术上更快更好的研发和对接,用户还对人工智能、大数据提出了相应的要求。

ABC+CDN:云+智+数+CDN合力为企业发展赋能

百度云的CDN平台实际上在推出产品之前也在百度内部打磨了七年多的时间,百度云内部从各个层面上有非常多的经验和技术积累,比如说网络层多级CDN的覆盖、多线的源站、BDT的源站;在软件层面比如流量的调度、GSLB、17层负载均衡以及热点的负载均衡、缓存系统的优化、AI、黄反识别、视频标签等都有非常丰富的经验。通过监控平台可以实时发现百度云上出现了什么问题,及时做调度。百度云的配置管理方便用户快速做配置变更,在基础服务层面包括文件上传、内容刷新、推流、转码以及数据的分析;同时在解决方案上,百度云给用户提供了相对比较全面的解决方案,比如存储的分发、大文件的分发、小文件分发、视频的解决方案等等。

百度的CDN平台以及百度云通过百度的AI和BIG DATA可以给用户提供更高的价值。高品质的CDN平台通常要满足三点要素:首先是可用性,要求更高的性能、更高的承载能力、更好的速度、更好的用户体验。百度的CDN平台在内部一直承载着搜索业务、图片业务以及网盘类型的业务。

在稳定性方面,百度在做CDN节点选择的时候会做非常严格的节点准入。实际上在运营商不同层级的节点上CDN质量差别非常大,而且即便是一个层级上的节点,比它的级别还是有很大差别。百度还建立了全国质量感知网络,通过建设全国监控网,在端上监控业务。每天通过千亿级PV在服务器后端发现问题,也可以通过百度做业务的错误检测。通过这样的前网可以比较实时发现问题在哪儿然后做及时的调度切换。

在性能方面,一方面从网络以及节点的布局设计上考虑,在运营商骨干节点上建立了大量的超级节点,单个节点存储超级结点可以达到3个P的存储,有助于缓存持久化。同时单个节点带宽达到160G或者更高的级别的时候就可以应对云时代业务中很多突发、攻击,应对较为复杂的情况。这样的结构超级节点加上更广泛覆盖的边缘节点,可以提升命中率。另外还在自研的负载均衡、DNS、自研交换机上做了大量的工作,百度在负载均衡上基于DBDK开发了40级的负载均衡,它可以帮助用户建设一个超级大的节点。

在速度优化方面,百度云做了非常多调优。一方面是通过节点的覆盖,通过精准的CDN角度302调度,同时在算法上做了大量工作。百度云在做各方面技术的打磨、产品的打磨的时候,更多是希望给用户提供更好的产品和解决方案以及更好的性能。

百度云的解决方案

1、安全解决方案

演讲中,刘宁跟大家分享了几个百度的解决方案。整个中国的互联网劫持非常严重,通常业务可以达到1%以上的劫持率,所以搜索业务前几年就开始做全站的切换,百度在很早就开始做全站的HTP(HDS)的切换。在这个过程中,一方面高校团队做了优化,另一方面百度也开发了SSLoffload,通过硬件加速的集群降低性能开销,最终达到了理想的效果。百度能够提供中速托管服务业、HDS的服务,同时解决在HDS请求方面的劫持。

2、存储分发方案

百度在提供CDN分发的同时也提供了很完整的存储分发解决方案。百度的存储分发解决方案是基于网盘近些年产品的积累和技术的打磨,百度网盘实际上是为解决过亿用户千PB的存储问题。文件存储给用户提供数据的上传、备份、存储和处理的工作,用户可以简单的开启其数据分发同时进行智能数据分级,大规模降低用户存储的成本。

3、P2P加速解决方案

P2P加速解决方案能够节约30%带宽费用,降低企业成本。体验:用户体验好,卡顿比小于5%,首画面时间小于1s;SDK:支持多平台的SDK,资源占用少,丰富的控制接口;分享率:全天分享率大于35%,热门文件的分享率达到80%以上;成本:降低30%以上。

4、视频解决方案

百度的视频云解决方案是提供基础视频云服务,也提供基于百度深度学习算法、百度大脑CAI的能力,百度大数据也提供视频索引系统、视频搜索系统。百度的视频基础云是基于百度自研的视频电波VOD及视频直播系统研发的,百度在视频点播、直播上做了大量优化工作,从推流、脱流到源站,整个链路上没有采用开源的方案,而是采取百度自己的feed协议做了大量的优化工作。百度视频直播云在1-3毫秒延时的情况下可以提供3%以内的卡顿率。百度的视频点播云一方面为客户提供视频播放、视频分发网络、转码以及存储,另一方面直播平台也给用户提供单向的LSS直播以及双向的互动直播,还可以做直播录制。

百度的视频基础云背靠百度AI和大数据,致力于给用户提供精准的内容理解。百度在内容审核方面可以给用户提供非常精准的色孔的审核,包括人物的审核,政治敏感度人物的审核,版权审核、波控审核、智能缩略图、字幕的生成等等。结合百度视频大数据的能力可以帮助用户快速构建起视频推荐系统以及视频内容的索引系统,利用视频AI提供的视频结构化标签。如果用户没有清晰的用户画像,百度大数据也会为其提供用户画像,从而快速构建他的视频推荐系统,建设用户视频模型及视频特征模型。

关于在内容生产方面百度可以帮用户做什么,刘宁答道一方面是用户的生产辅助,比如长精彩片段的提取、字幕的辅助生成,百度视频结构化标签的主招率非常高,通常结构化标注范围比较少、标签的维度也比较少,但是用百度的AI则可以做到甚至几十个这样的标签。

在视频流量方面,百度竭力帮助用户解决两个关键的问题:一个人找视频的场景,另一个是视频找人的场景。人找视频场景通常是广电侧的场景,可以结合视频的输出和百度搜索帮助用户快速构建起站内搜索能力;视频的推荐主要侧重于UGC的场景,在视频内容模型和用户行为上帮助用户快速构建起站内更为精准的推荐。

用户还可以结合百度的百家号和百度视频提供更好的内容的曝光。在营销方面可以帮助UP主以及内容生产方快速建立起来粉丝和舆情管理、用户画像。比如一个UP主肯定非常想关注到他所有的粉丝是什么样的年龄群体、年龄段,什么样的职业背景、什么样的家庭背景,更喜欢什么方面的内容,这样才有助于再指导,从而生成内容。在视频流量变现方面,一方面百度云可以帮助用户快速搭建广告平台,另一方面也可以通过视频(SDP)、流量广告快速帮助用户实现变现。

关注中国IDC圈官方微信:idc-quan或微信号:821496803 我们将定期推送IDC产业最新资讯

查看心情排 行你看到此篇文章的感受是:


  • 支持

  • 高兴

  • 震惊

  • 愤怒

  • 无聊

  • 无奈

  • 谎言

  • 枪稿

  • 不解

  • 标题党
2017-07-07 14:53:00
云资讯 百度云通过国际最权威个人数据安全标准认证
随着网络安全事件的不断出现,个人数据保护越来越重要。7月6日,英国标准协会(BSI)正式向百度云颁发了最新版ISO/IEC27018:2014国际认证,百度云成为国内首家获得此项证书 <详情>
2017-05-08 17:49:00
云技术 除了压测,还有深入骨髓的分析,只为帮你找到好的云数据库!
三家在功能上差距并不是很大,但是需要注意的是,阿里云和腾讯云都对 MySQL 进行了深度的内核开发,阿里云更是将其开发后的数据库开源,发布至 Github ,可见其对 AliSQL <详情>
2017-04-24 18:19:06
互联网 百度云张发恩:高性能的百度云深度学习平台为企业赋能
TEF科技娱乐季(上海站)之2017亚太人工智能峰会于4月21日在上海市世博展览馆隆重召开,大会由AI科学创新与未来、AI深度学习专场、AI语音与视觉识别技术、AI无人驾驶引领汽 <详情>
2017-04-20 14:23:00
云资讯 多云连接,云计算落地的最后一公里之争
进入2017年就走进了云计算的第十一个年头。一个多云的格局已经形成,以多云格局为标志,云计算产业正式进入下半场。 <详情>
2017-04-19 17:59:29
互联网 百度云推出行业首创视频智能分析技术,挖掘多媒体全场景需求
每天60秒知识语音的罗辑思维,以爆款鸡汤文撩拨读者的咪蒙,星座写出百种花样的同道大叔,自媒体无疑正在改变我们获取知识和信息的方式。同时,伴随移动终端传播门槛大幅降 <详情>