7月3日上午,2019云计算开源产业大会在北京国际会议中心隆重开幕。2019云计算开源产业大会以“计算无处不在,开源引领未来”为主题,由中国信息通信研究院主办。在上午的主会场,深信服科技云计算CTO曹心驰带来了主题为“超融合技术与云架构创新”的演讲。
深信服科技云计算CTO曹心驰
大家好!我是深信服科技云计算曹心驰,很高兴在这里跟大家做交流。2015年信通院组织的云计算开源产业联盟创办的时候,我就参与这个组织,到今天看到整个开源产业这几年快速地发展,觉得信通院和开源产业联盟这几年的工作做得非常好,我也觉得很开心这几年能够参与到这方面的工作中。今天跟大家分享的是我对云计算这几年的研究,深信服在此方面的战略探讨及思考。
这几年整个产业变化,数字经济驱动数字化转型,各个企业都在探索新的技术演进,新技术驱动整个产业的发展,像云计算、大数据、人工智能等带来了机会。在这样的情况下,企业的IT建设不断从过去以生产为中心的IT模式向以用户为中心的模式转换,很多企业在完成了自己生产中心的内部办公协作和信息化基础设施后,更多的是用信息化技术探讨数字化运营,探讨面向互联网打通产业上下游等一系列体系。这样的体系让整个IT进入到新的阶段,在这个新的阶段里是什么在驱动?更多的开源技术在驱动着整个事情的演进。
我早在大学就玩Linux,从我个人经验来,在2005年左右整个开源产业还是围绕着Linux生态玩一些最基础的技术,当时的技术栈主要是IBM、ORACLE、微软。到了2015年,我就职于深信服,那个时候老板跟我说这个时代变了,我们的时代到了,因为云计算虚拟化技术来了以后,大家看到开源的技术广泛被应用。
在当时那一年更多的精力在做虚拟化,到了2015年做虚拟化、OpenStack。我记得云计算开源产业联盟也是2015年成立的,那时候我们在研究OpenStack,通过OpenStack把Linux产业生态向上层应用,向业务层进一步靠近,在这里起了很重要的作用。同时容器的技术、业务的编排,开源的组件也开始慢慢地出来,整个开源技术从底层操作系统到虚拟化平台,到编排平台,到调度平台,到计算相关应用框架都被开源技术替代。此时传统的微软、IBM或者ORACLE的技术栈已经份额缩小,慢慢脱离到原来的闭源体系。
到了现在,五年后的2019年,基本上现在的开源技术已经涵盖了从最底层的操作系统内核到数据的处理,到应用架构,到开发框架,到测试工具、项目管理流程、自动化的编排和调度,以及整个开发语言的架构的变化,都驱动开源产业快速发展。
很多企业面对这样的变化,特别是大量开源技术涌入后,觉得很迷茫。这些企业以非互联网行业的企业、非头部大型企业为主,我们深信服此类中部规模客户数量非常多。互联网公司和头部企业可以用自身的团队解决这个问题。但数字化转型的驱动下,80%中等规模以下的客户如何去应对解决?他们如何做这个市场挑战很大,工作量也很大的工作?
在这种架构下Gartner提出双模IT能力模型应对这种复杂性,分成两种:一种是稳态IT,跑传统数据库、中间件的模型。另一种更多的新业务里完全靠新的技术战解决,这里包括计算存储、网络,包括刚才华为讲的底层的开源技术来支撑数据管理、计算的管理,这样一套能力。同时在业务层面有一套基础架构的平台管理虚拟化层和容器层。通过虚拟化层和容器层我们可以看到,它跟物理环境的隔离彻底隔开。刚才腾讯的专家也介绍了他们在私有云的探索,在那一层建设里就已经把计算资源和应用的调度模型彻底隔开。在这之上我们通过PaaS、DevOps、云、大数据构建新的业务架构和新的模式。
这样的一套架构指导了我们探索怎么帮助企业、帮助客户解决这些问题,帮助他们按照这套模式实现。
我们自己也规划了一些路径。企业在数字化转型过程中,他要做几种融合,在最开始,我们做的是将计算存储网络能力通过开源技术进行整合,在开放技术基础上屏蔽掉风险问题和可靠性及性能的问题。做开源的项目有一个很大的问题,大家在开源项目里面比较在意创新,但因为市场驱动,很少关注具体落地以后的可靠性保障、安全性。这些问题就由我们这样的厂家基于开源的架构把它实现。
所以我们首先帮助客户把它的资源进行整合,同时彻底统一掉整个底层资源池的建设模型。在2013年开始我们投入虚拟化建设,经过2013年、2015年在2016年的时候推出超融合。我们深信服在超融合是比较领先的,在腾讯认证中,我们的超融合证书是001,最早推出超融合。深信服在超融合领域不断发展,构建技术战略的完整性和可靠性,这几年我们大部分精力都投在基础架构的超融合模型的可靠性、安全性。
我们发现整个管理模型如果可以用超融合替换掉传统的服务器存储网络模型,同时还可以替换掉云的底层的建设,因为云建设里大部分厂家也在走,。OpenStack之所以框架比较重,是因为底下能够对接各种企业生态的存储、计算,这些模型都能够很好地承载,这样的情况下OpenStack也成就了整个产业的模型。但一旦有了超融合的技术以后,实际上已经在最底层把复杂的架构屏蔽掉了,所以现在很多的厂家都投入到这个产业里面。做云计算的厂家,无论是做OpenStack还是不是做OpenStack都在做超融合,包括安全厂家都做超融合,大数据厂家也做超融合。
从技术的本质上讲,超融合核心是降低成本,简化复杂度,能为未来更大规模的标准化实施提供标准基础组件的能力的模型,这也被市场所接受。这几年超融合的发展还是蛮快的,从我们开始做这个品类,到这个品类被广泛接受是三年时间,比我们认为的五六年时间快。
今年我跟客户聊的时候,很多客户说的是我要什么时候把它切换成超融合的架构,在这个项目切还是下一个项目再切,但是已经不是要不要切的问题,大家讨论的是什么时候做,落地的思维也很快。原因是本身技术核心的东西并没有特别复杂,它的复杂度和风险比较低的,所以它其实就是基于虚拟化的技术实现。这样的情况下我们可以快速地从传统多虚拟化的场景直接进入到超融合的模型,但是有了超融合模型之后还不够,还需要更多地支持业务创新的理念。我们需要把PaaS和大数据的能力整合起来,基于这样的思路,我们在未来的框架上面应该怎么做?
我们当时就设计了一套整体架构,在整个投入上会打造一套云计算的整体架构,架构像冰山一样,露出来给用户使用的部分和用户层、业务层能感受的部分是业务模型、应用模型和服务,底下的组织、流程、技术、运维、资源、安全都像冰山水下部分要变成底层的能力。
为什么做这个事情?原因是我们前面看到大量的开源技术引进以后,这些技术对于头部的客户和互联网公司——有强大研发能力和创新能力的公司来说是有能力控制和管理这些事情的,但是对于80%,甚至90%的企业,他们是没有能力做这个事情的。对这部分用户来说,他们需要的是把这些复杂度的东西简化下来,把它封闭在底层,变成我们不需要知道的东西,这个产业才能更快速地发展。所以我们在做这个事情的时候,希望把更多技术平台层的东西、技术平台层到中台之下的东西,把它封闭起来,让用户不用知道这个事情。你不需要关心这个事情,你只需要关心上面的事情。
我们把底层的平台更关注在基础设施的融合、平台的完整性、服务的定义、模型框架的完整性上。定义三个框架,一个是开放的框架,一个是应用服务的框架,还有运营管理的框架,在这个框架之上做应用开发。
在这样的框架指导下,我们从2016年开始做超融合,现在基本上是一个技术栈比较成熟的市场,生态接口的东西可能还需要补。这样的情况下将传统的安全、管理、大数据、计算、存储、网络融合到X86里面,硬件模型来承载这样的模型,最重要的是深信服将管理能力和安全能力也融入到这样的体系里面去。
等保现在是复杂的事情,里面需要有一定的安全组件,VPN、防火墙等等,这些东西都打包在超融合体系里,把超融合和安全的模型融合在一起,过去计算、存储融合完了以后,分布式架构把安全体系也放进去,这是超融合所做的事情。这个好处是大量地加速了整个稳态架构的IT的交付效率,并且降低了成本,让企业有更多的资金和钱、时间去做稳态的架构体系。
用超融合的架构,我们在模型上面,从边缘计算到私有云,到托管的IDC的机房,甚至是我们自己的公有云的模型里面,都是用这种超融合构建。过去我们有一个子公司是做公有云服务的,今年把它合并过来,合并过来的原因是什么?过去用OpenStack做的,今年合并过来以后,将OpenStack底层的资源全部替换掉,用超融合模型来做,让我们的租户从他的分支到他的边缘,从边缘到分支,到私有云的数据中心,到公有云,能用统一的数据架构,让业务的可迁移性更强因为数据迁移对企业客户来说是很大的挑战。这样的模型之上去打造统一的管理的体系和框架来去实现运营,并且我们通过这种线上线下托管,以及线下自运维、线上托管、线上线下自运维这些方式来为用户提供选择。
开发团队过去做这块开发的时候,大家已经是非常成熟地在使用,甚至走到微服务框架的客户起来很多。从开发本质上来讲,开发的团队从立项、项目管理到持续集成、持续交付、持续运维,这几块流程从开发的角度来讲,可以按照技术的演进不断地获得能力,随着技术的发展只要去做就能够掌握。但是这里面东西的复杂性很多。
最底层的资源。首先我们对计算资源的模型提供了容器云的平台,其次在容器云平台之上,我们特供一个DevOps的调度工具,最上面实现微服务,我们认为在容器里面会沉淀到更底层,跟IaaS这一层沉淀在一起。作为IaaS层的补充,作为DevOps这一层,只要做这样的客户就有这样的能力,在微服务这一层,开发团队只要做他就能做出来。这里核心的并不是我们真正能够提供一套完全按照我的东西做、客户根据他的特点引进的工具。在这个体系里,我们希望提供一套工具来降低这样的复杂性,把这些错综复杂的开源组件管理起来。基于这样的思考,我们做了一套开发流水线,好处是我们将现在CI、CD、CO过程里面的组件通过一个自动编排和调度的模型把它组合起来,让这些原来流程化的东西规范、规则,实现自动化的流转,通过信息化的技术来驱动,这是IT FOR IT,通过技术的模型驱动技术。
这样的情况下帮助开发团队从东西向的视角打通,我们发现另外一个问题,开发团队对CI、CD、CO是很了解,但是底层并不关心。如果我们要实现自动化的话,底层资源模型的管理和编排,开发架构的编排,这两个编排是水平方向的集成和纵向的集成,这一块要把它融合起来。开发团队的视角和基础架构人的视角,他们两个人的视角管理的思维方式是不一样的。基于这个,我们在做PaaS这一层,更关注于将SpringCloud打穿,让开发CI、CD这套模型的时候能跟底层资源自动匹配起来,这是我们在做的工作。昨天我们拿了一个容器的创新大奖,就是因为我们这块的工作给予的肯定。
除了这一块以外,我们看到在大数据这一层也是开源新的架构驱动。很多开源技术和数据模型被应用,但是这些技术和组件对于老的开发架构团队来说有很大的挑战,他不知道这些东西到底要怎么用,特别是做业务开发的人用起来的时候,新的技术给他带来的复杂性要求太高了。我们一直在想怎么样把这些技术平台封装在里面,通过简化的方式提炼出来,因此我们做了一个大数据的平台。
大数据平台核心有几个能力。第一个能力,我们不仅仅提供大数据的查询算法,而且直接对SQL语句对接。他写完SQL以后,我们将精准的大数据查询的模型用SQL语言把它做一个转换,让它的查询效率更高。同时我们对于二级索引找到了一些问题,通过二级索引加速它的秒级响应时间,数据规模也会更大,最重要的是整个成本会更低。通过这样一系列的工作,我们现在已经完成了大数据平台的架构产品建设。
从底下的服务器存储这一层,我们用超融合的技术来构建企业的数据中心。通过KVM虚拟机承载这样一个稳态的业务,对于敏态同样还是用超融合的技术构建整个混合云的模型,通过KVM的模型和Docker模型提供计算层的隔离,在这之上通过云管平台和第三方云管平台对接插件的模式实现云管理平台的调度资源管理和运维的模型。同时通过DevOps和刚才讲的微服务治理模型实现PaaS层的管理,并且通过大数据的ABDI将底层支撑起来,帮助企业快速开发新的云原生架构。
从2016年以后,我们公司业务快速增长。我们过去有两个业务,一个是安全,一个是云计算,今年我们把分布式做起来,在开源领域有越来越丰富的产品提供给客户。这几年我们也在生态方面加大了合作,特别是安全——这本来就是一个碎片化的市场,大家合作非常广泛。在云里,这几年之所以走得这么快,我们也是在和大量的开源厂商、厂家一起联合开发、联合创新。
目前我们云计算的业务在三年里已经积攒了四千多家承载关键业务的客户,整个的用户数超过了两万多。后续我们在开源产业方面也会持续投入,会遵照组织的标准把这个事情做得更细,谢谢大家。