近日, 国内中立的云计算服务商UCloud优刻得(以下简称UCloud)在北京召开了以“中立安全、赋能产业”为主题的UCloud用户大会暨Think in Cloud北京站。面对走向纵深的产业互联网,UCloud强调做“不和用户竞争的云”,针对七大重点行业,推出行业定制化解决方案;发布重磅产品与布局全球基础设施,建立云计算底层硬实力;开放云计算差异化核心能力,首次公布“+U合作伙伴计划”;并携手5G、工业互联网等领域合作伙伴,以云计算为基石和底座,共同打造赋能产业的新生态。
下午的技术专场围绕UCloud自身技术、产品及对行业的积累,结合产业互联网下企业上云的痛点,以“云上效率方法论”与“分布式云计算实践”两大主题,为大家奉献了一场技术与实践应用相融合的盛宴。
云上效率方法论专场
在“云上效率方法论”技术专场中,UCloud实验室负责人叶理灯、UCloud技术总监蒙晓净、UCloud产品总监张晓康、UCloud资深研发工程师齐良,带来了题为《基于UK8S打造一站式云上Kubernetes服务》、《利用StepFlow快速可视化的构建新业务》、《基于Serverless的数据湖分析引擎USQL实战》、《云主机并发创建优化实例及用户价值》的精彩演讲。
基于UK8S打造一站式云上Kubernetes服务
Kubernetes这个单词来自于希腊语,含义是舵手或领航员。UCloud用户,元年科技CTO杨熠表示 “使用UK8S,开发者可以像使用普通云服务器一样迅速搭建K8S环境。在享受K8S带来的便利的同时,能够让开发人员集中注意力在业务实现的细节,而不必在基础架构搭建上浪费太多的精力。”所以,K8S大的优势在于,它能让“专业的人做专业的事”。
UCloud实验室负责人叶理灯首先梳理了UCloud 两大K8S产品:一是内部容器平台KUN,二是UCloud Container Service for Kubernetes (UK8S)。
KUN容器平台提供弹性、分布式的应用托管服务平台,帮助开发者一站式轻松开发并部署应⽤用程序。KUN底层基于 Kubernetes ,提供高可用,在线升级,自动扩缩,负载均衡,日志查看,资源监控,等多种功能。
搭建KUN的原因有三个:首先是运维、软件迭代的速度和软件质量不高,而人力成本偏高。二是解决架构不统一。三是虚拟机的利用率不高,造成了资源浪费。
要解决上述问题,UCloud通过K8S+Docker的方式,构建了内部的容器平台。叶理灯解释说,通过Docker提高运维部署效率和运维环境的一致性,通过K8S本身跨可用区的特性来实现跨可用区容灾和Auto Scaling能力,提供弹性、分布式的应用托管服务平台,帮助开发者一站式轻松开发并部署应用程序。
KUN容器平台架构
接下来,叶理灯分别从基于RBAC实现账号管理隔离、IPv6、Operator管理有状态的服务、监控四个方面,深入讲解了KUN容器平台在搭建中遇到的难题和解决方案。
UK8S是一项基于Kubernetes的容器管理服务。用户可以在UK8S上部署、管理、扩展自己的容器化应用,而无需关心Kubernetes集群自身的搭建及维护等运维类工作。UK8S完全兼容原生的Kubernetes API,以UCloud私有网络为基础,并整合了ULB、UDisk、EIP、VPC等云产品。叶理灯从UK8S集群网络方案、UK8S管理架构、托管方案三个方面对UK8S进行了深入讲解。
UK8S集群网络方案包括自研CNI插件与VPC网络深度集成,利用SecondaryIP API实现IP管理,无overlay性能与云主机一致,Pod网络可与物理云、托管云直接互通。UK8S管理架构如下图所示:
UK8S管理服务特点有:完全的容器化和微服务化;所有管理服务全部运行在K8S上;基于K8S的API对服务模块(job&watcher)进行动态管理;一个集群对应生成一个watcher,容易进行横向扩展;基于watcher+Redis缓存的方式,保证用户在控制台获取集群信息的速度足够快。
UK8S托管方案用UK8S+托管物理机,合理利用存量物理资源。无需运维管理UK8S集群,无需部署外部负载均衡,业务高峰可随时扩容集群,有效利用了存量IT资源。
利用StepFlow快速可视化地构建新业务
本次技术专场的主题是 “效率提升”,那么在实际的业务场景中,在业务构建初期是否就已经花费了很多时间?比如,要实现某一个业务逻辑,以往单人需要用一天的时间去基于SDK开发,并且要构建服务端逻辑(Server)。那么是否能够通过StepFlow,将开发时间降低到一小时,并且无需Server?当业务逻辑流程需要改变时,是否可以通过StepFlow快速应对? UCloud技术总监蒙晓净在接下来的演讲中为大家做了深入分析。
StepFlow是一个通过可视化的方式去编排API和微服务的服务平台,应用开发的时候可以在不写代码的情况下完成新功能的组装、新服务接口的发布。在解释了Activity、Decision等基本概念后,蒙晓净现在演示了串行流程、并行流程、实现调用子工作流、如何更新及快速发布几个场景应用。
在演示过程中可以发现,操作中并没有申请任何一个物理资源,甚至也不需要关心底下的物理资源使用情况如何,这表示StepFlow是一个Serverless的服务,物理资源的调动和使用都是StepFlow服务在后端进行动态的管理。在这样的前提下,用户就可以集中精力在业务上,优化产品,获得更大的价值,这也是StepFlow所期望实现的价值。
同时,UCloud期望通过StepFlow为用户带来一种新的研发路径,即首先要想清楚要做的事情,需要经过怎样的流程,之后进行流程图的可视化编辑,然后保存、发布、运行,最终实现业务需求。UCloud相信这样的研发路径能带来更高的效率。
基于Serverless的数据湖分析引擎USQL实战
Serveless的完善给云计算带来了一次完美进化。UCloud基于Serverless,开发出了扩展性强、成本低廉的无服务器SQL分析计算引擎——USQL,可以轻松完成面向海量数据的数据建模工作,大幅度减少对大数据工程师的依赖。随后,UCloud产品总监张晓康详细讲解了基于Serverless的数据湖分析引擎USQL实战。
USQL是一款Severless的数据分析产品,拥有一键启动、开箱即用的特性,帮助用户摆脱运行后端应用程序所需的服务器搭建、设置和管理工作。只需根据数据分析量费,不使用不收费,为用户节约成本和人力支出。相较原有数仓ETL分析及自建Hadoop集群分析,USQL可将计算成本降低99%,将分析效率提升21.6倍。USQL采用存储、计算相分离的模式,支持在用户读取数据时灵活定义、修改数据结构,解决了传统数据仓库写入时定义数据结构带来的局限性。并且,用户无需掌握Hadoop、Spark等大数据技术,只需学会使用SQL就可完成数据查询、提取工作。
UCloud的客户爱普新媒表示,使用USQL后,从之前的需要研发人员进行约一周的开发、测试、发布,降低到了现在不需要任何技术人员的投入。大数据月消费降低了92.85%。需求完成周期,从原来的43.2小时降低到了2小时。
云主机并发创建优化实例及用户价值
说到“云上效率的提升”,就不能不提到云主机创建。目前云主机创建有两种方式,一种通过镜像下载来创建,另一种是通过快照回滚来创建。在诸如电商大促、动画渲染、营销活动、教育培训等极端场景下,进行批量云主机创建、进行并发优化创建应对业务需求,对业务达成起着至关重要的作用。UCloud资深研发工程师齐良,带来了关于云主机并发创建优化的详细解读。
概括的说,云主机并发创建优化包括三个方面:
一是单台云主机优化:虚拟化Block Streaming、UDisk实现P2P分发镜像,实现创建时间从5分钟减少到6S。
二是批量创建接口:通过优化创建流程,实现创建100台的时间从10分钟减少到2分钟。
三是软件架构设计思考:应对极端创建需求,利用空间资源池,为了系统稳定性将系统做简单。
分布式云计算实践专场
在“分布式云计算实践”技术专场,来自UCloud的四位优秀技术人,带来了理论与实践相结合、内容夯实的技术干货。
云计算基础组件—RSSD块存储的应用场景和技术详解
面对信息化程度不断提高带来的PB级海量数据存储需求,传统的存储系统在容量和性能的扩展上存在瓶颈。而云存储凭借扩展性强、性价比高、容错性好的优势,得到了业界的广泛认可。
UCloud技术总监彭晶鑫,结合UCloud自有产品带来了《RSSD块存储的应用场景和技术详解》的主题演讲。
块存储是为云服务器提供的可随机读写的块设备存储,具备持久化存储,高可靠,低时延的特性。块存储采用多副本冗余的方式,防止网络,硬件故障而导致的数据不可用。并且使用方式和硬盘一致。利用分布式块存储,可以实现计算和存储分离。
由于计算和存储分离,将虚机从一台宿主机在线迁移至另一台宿主机时,只需迁移CPU和内存,可在几十秒内完成在线迁移。如果宿主机宕机,由于计算和存储分离,可以快速在另外一台宿主机上拉起。宕机恢复速度可提速10倍。
通过分布式,可以发现节点故障并剔除,从而避免节点硬件故障,网络故障等带来的存储数据问题和可用性问题。存储组成较大池化容量,按需分配存储空间,避免本地存储碎片过多问题,可提供大容量量存储,例如40TB,100TB。UCloud目前提供2种类型的云盘,即普通云盘和SSD云盘。普通云盘后端利用机械硬盘介质,SSD云盘后端利用NVME固态硬盘介质。
UCloud思考的是能否将网络的时延控制的更低?能否压榨出NVME固态盘的时延和IOPS能力?能否整体IO上更好的软件消耗?UCloud推出了RSSD云盘,UCloud的RSSD云盘用四大组件:client,网络,存储读写,用户态和轮询解决了这些难题。利用vhost user技术,实现了虚机到存储client的数据零拷贝。在网络方面,用ROCE 代替 TCP,4K网络包收发10的—20us。用SPDK代替libaio,用户态IO读写,高并发下,依然保持较低的时延。IO路径整体保持在用户态,并使用线程轮询。减少用户态内核态切换,减少中断带来的损耗。
UDB-灵活可变的数据库服务实践
电商大促、双十一等秒杀场景,高并发、高性能的抢红包业务,在类似这种情况下,单机数据库已经到达天花板,如何突破困境,让数据库通过高可用、多主从、分布式等多种手段来对抗,实现“旧业务稳定,新业务上线”的目标?UCloud技术总监罗成对分享了UDB数据库服务实践。
UCloud 的云数据库 UDB 产品在 2013 年正式商用,经过 6 年的成功运营,UDB 产品线越来越丰富。
如 MySQL、MongoDB、PostgreSQL 以及 SQLServer,UCloud 云内存产品 UMem,也涵盖到 Redis 和 Memcache,目前已经广泛支持业内主流数据库。
产品特性包括主从架构、高可用、数据库专区、独享、跨区高可用、跨可用区灾备、读写分离、多维度弹性扩展、备份与恢复、监控与告警等。
在发展过程中,UDB的“不变”是保持着“降低获取门槛、降低使用门槛”的 云数据库愿景。“变”则代表UDB一直在演进。
总结 UDB 的发展历程,有几条路径可循。首先是紧跟开源社区步伐。第二是逐渐从早期的资源型交付,转为增值型交付。第三是从开源到自研,推出了自研分布式 UDB,和读写分离中间件。
秉承着”用户的需求就是 UCloud 下一个产品”的理念,UDB 产品的研发过程也紧密围绕着用户需求点来展开。这些需求点总结为三条时间曲线,分别是“性能或者吞吐量”、“可用性”、“价值或者用户”。UCloud 采用高可用性、高性能、高可靠性来解决这些痛点。
公有云IPv6网络的应用落地
最近,国务院办公厅发布了IPv6相关的行动部署计划,到2020年,我国要基本普及IPv6,到2025年,全面支持 IPv6。由于具备近乎无限的地址空间,更高效、更安全、更优化的网络性能,IPv6可以为进一步发展5G、物联网等新兴产业奠定坚实基础。那么IPv6如何应用落地? UCloud高级技术总监徐亮带来了《公有云IPv6网络的应用落地》的分享。
目前UCloud IPv6外网接入解决方案主要有三种: NAT64、ULB7和VPC,这三种方案各自适用不同的场景。
NAT64产品大的特点是“快”,主要优势是让用户在不修改后端服务的情况下,快速地接入到IPv6网络。UCloud通过标准的NAT64,将IPv6转成IPv4协议之后,再通过NAT64的网关将其接入到IPv4网络。
NAT64有一个缺点,当用户进行IPv6-IPv4的地址转换之后,用户就无法拿到IPv6的源地址。为了帮助这些对源地址有强需求的客户,UCloud推出了ULB7负载均衡产品,因为负载均衡大多数是处理HTTP请求的,所以UCloud将IPv6的源地址嵌在HTTP的X-Forward-For头部里面传给后端客户。而其中所用到的负载均衡产品,就是UCloud自主研发的高可用ULB7。
VPC主要可以解决在多云互通环境下IPv6的支持问题,用户的IPv6请求会直接发送到宿主机,然后宿主机的分布式防火墙再将其发送到虚拟机,整个过程效率高、性能好,可以带来最原生的IPv6体验,但这款产品会要求客户的后端应用已经被改造成支持IPv6方式。据徐亮介绍,这款产品预计在年内正式推向市场。
最后,徐亮介绍了一些具体的实现。并表示,在整个IPV6的设计中,最关键的是不能对用户业务有影响,能够为用户提供稳定可靠的业务。其次是提供可拓展性,保证很长时间内性能都是没有问题的。
Anycast弹性IP——全球视角下的公网加速与安全方案
国内流量红利的消失促使越来越多的企业选择出海,然而企业在享受海外流量蓝海市场带来的商业利益同时,也面临着国际链路的拥塞不稳定、公网抖动带来的高延时以及源源不断的网络攻击等问题。面对这些问题,UCloud 用Anycast技术,做分布式清洗可和网络加速。UCloud产品总监冯业浩从 Anycast的概念、核心场景以及架构原理等方面,对Anycast进行了全面介绍。
UCloud的AnycastEIP,利用UCloud的全球BGP宣告能力、覆盖全球的十余个海外节点以及节点间的专线资源,提供全球网络加速。AnycastEIP能够实现IP传输的质量优化,实现多入口就近接入,减少公网延时抖动带来的影响,提升EIP的全球使用体验。AnycastEIP主要有三个应用:全球服务加速、Global Public DNS、DDoS全球分布式清洗。
目前,由于公网环境异常复杂,Anycast大部分情况下带来的都是优化,少数情况下也可能带来恶化。此外,入向走UCloud专线,出向仍然走的是公网,只能带来单向的加速效果。针对这两个问题,UCloud对AnycastEIP后续产品做了规划:一是Global ULB,用全球Anycast加速的负载均衡,解决单向加速问题,实现全球高可用。二是Global PathX,基于Anycast实现全球加速,解决单向加速问题。
两大技术专场,八个精彩分享,从实践出发,技术和应用相融合,UCloud基于技术创新和突破,致力于让各行各业从云计算的发展中获取更多动能!
【凡本网注明来源非中国IDC圈的作品,均转载自其它媒体,目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。】