“当前,智能(机器学习技术)和数据(大数据技术)在企业业务发展上正产生越来越大的作用。企业希望能够通过融合大数据和机器学习来提供业务产出,以充分发挥数据的价值。”在亚马逊云科技大数据与机器学习媒体沟通会上,亚马逊云科技大中华区产品部总经理陈晓建如是表示,并指出,想要实现这一点,数据与智能必须走向融合和统一。
图:亚马逊云科技大中华区产品部总经理陈晓建
亚马逊云科技认为,数据与智能的统一和融合,意味着数据构建和实施项目更加高效,数据在两者之间能够无缝流转,企业可以快速具备相关能力,推动自身数字化转型迈向新的高度。
不过,数据与智能两者却存在障碍。陈晓建指出,从技术发展趋势来看,大数据和机器学习走的是完全不同的道路,大数据技术的侧重点往往在于怎么样完成海量数据的采集、清洗、查询等能力,机器学习技术则更看重算法本身的优化。
这就使得数据与智能难以进行融合,想要改变此种情况,陈晓建表示,需处理三个问题:
第一,数据和机器学习分而治之,数据及技术孤岛制约敏捷迭代;
第二,数据处理能力不足。在生产制造企业,机器学习帮助客户对产品售后维修需求进行预测,由被动响应变为主动规划。但由于不具备足够的大数据处理能力,模型开发成功后 ,难以有效收集处理海量的运营数据,致使预测不准确,无法达到预期业务目标;
第三,数据分析人员参与度低。相关模型在实验环节可能表现效果良好,但实际使用中却不尽人意。这是因为实验环境只是对真实环境的简单模拟,生产环境要复杂得多,这就导致使用体验差。
这些问题应如何解决?陈晓建认为,企业应在云中打造统一的数据基础底座,实现大数据和机器学习的双剑合璧,为企业发展提供新动力。同时,陈晓建指出,这是实现数智融合最有效的一条途径。
具体来看,首先,应建立统一融合的治理底座,如数据质量、数据权限、数据开发、数据工作流、可视化;其次,大数据和机器学习之间应该是高效充分的双向互动,互为支撑,互为因果,形成正向循环。
想要实现这两点,企业须构建三大核心能力,即统一数据共享:让数据资产化,打破数据孤岛;统一权限管控:因为只有具备完善的权限控制能力,放心的让数据在不同的业务系统之间流转;统一开发及流程编排:融合端到端的大数据和机器学习任务,提升整体的开发效率。
针对此,亚马逊云科技已开发出全面解决方案,并形成了多种符合不同用户需求的差异化产品。
亚马逊云科技能帮助客户构建统一的数据治理底座,实现大数据和机器学习的数据共享,数据权限的统一管控,以及两者统一的开发和流程编排。云中统一的数据治理底座不仅能提升大数据和机器学习的高效融合,还能减少大数据和机器学习重复构建的工作,并且显著降低成本。如Amazon Lake Formation推出的诸多新功能,实现了数据网格跨部门的数据资产共享,以及基于单元格的最细粒度的权限控制机制。
亚马逊云科技可以提供多种灵活可扩展、专门构建的大数据服务,帮助客户进行复杂的数据加工及处理,应对数据规模的动态变化,优化数据质量。其中,Amazon Athena能够对支持多种开源框架的大数据平台,包括Amazon EMR、高性能关系数据库Amazon Aurora、NoSQL数据库服务Amazon DynamoDB、Amazon Redshift等多种数据源,对这些数据源进行联邦查询,快速完成机器学习建模的数据加工。
亚马逊云科技还不断提供更加智能的数据分析服务,赋能业务人员进行智能分析、模型效果验证以及自主式创新。例如,在日常分析工具中集成机器学习模型预测能力,其中深度集成机器学习Amazon SageMaker模型预测能力的Amazon QuickSight 、在分析结果中添加基于模型预测的Amazon Athena ML,可帮助用户使用熟悉的技术,甚至通过自然语言来使用机器学习。
图:亚马逊云科技大中华区产品部技术专家团队总监王晓野
通过此,亚马逊云科技有效推动了数据与智能的融合,提升了客户的数字化能力,并且亚马逊云科技也正通过各种资源来帮助客户进行业务创新。亚马逊云科技大中华区产品部技术专家团队总监王晓野表示:“亚马逊云科技坚持的是以架构,而不是以单一产品帮客户解决问题的理念。亚马逊云科技的产品都是从实践里面,从客户的实际需求总结出来的,合作伙伴的经验和亚马逊云科技自己的经验都是独特的优势。亚马逊云科技将始终致力于和合作伙伴一起去帮助客户切切实实在做上云的探索和创新。”