2.1.2 敏态特征凸显,数据基础设施弹性能力受挑战 早在2014年,Gartner就提出了融合“稳态IT”与“敏态IT”的“双模IT”概念。对于传统行业内的集团型、多分支企业来说,加强“敏态IT”能力建设,是推进数字化转型的重要组成部分。 在“敏态IT”模式下,企业需要更加关注业绩增长、品牌营销与客户体验,大幅增强面对不确定场景的响应能力,这就要求企业IT团队在资源获取、应用迭代、系统运维等方面实现敏捷化转型。 比如,国内某大型航空公司,为了推进全公司的IT敏捷化转型,从团队、工具、方法、实践等四个层面实践敏捷理念。在工具层面,该航司依托云计算IaaS平台,以及基于云数据库、Docker、Kubernetes、AIOps等技术的PaaS平台,构建了一站式敏捷开发管理平台,将过去基于传统IT环境的应用交付过程迁移到云上,有效提升了产品迭代速度,优化了客户体验,促进了业绩增长。 由此可见,具备按需取用、快速弹性、自动化编排等优势的云计算、云原生技术,成为支撑“敏态IT”的新型IT基础设施。 这一趋势对数据基础设施的影响表现为两个层次,第一层是传统业务上云带来的数据的上云,第二层是数字化场景拓展带来的数字化应用上云。 传统业务与数据上云 随着数字化转型的深入推进,企业上云从互联网企业逐步渗透到传统企业,从创新业务、边缘业务逐步渗透到传统业务、核心业务。同时,随着企业上云的推进,全球范围内的数据的产生与存储过程,越来越多地从传统数据中心转移到公共云环境中。 根据IDC报告显示,到2025年,公共云中的数据百分比将接近50%。 数字化应用上云 随着数字化营销与销售、数字化生产制造、数字化采购、数字化协同办公等新兴数字化场景不断出现,企业IT的“敏态”特征不断增强,工作负载量、负载量的波动性相比过去都有明显提升。 因此,数字化应用上云也成为大势所趋。另一方面,来自传统业务、核心业务的交易数据的逐步上云,也为数字化应用的上云铺平了道路。 在这两大背景之下,为了保证数字化应用的高可用性,数据基础设施同样应当具备“敏态”特征,满足资源快速取用、快速启停的弹性能力。因此,对数据基础设施进行云化改造将成为必然趋势。 图 9: 数字化应用的敏态化对数据基础设施的挑战 但是,数据基础设施在进行云化改造时面临的两大挑战。 首先,共享存储、MPP无共享、SQL-on-Hadoop等技术架构对云环境的特性(如弹性能力)、组件(如云存储)适应性不足,存在弹性性能瓶颈,难以充分发挥云的弹性优势。 其次,共享存储、MPP无共享等技术架构的计算、存储节点深度耦合,无法实现计算、存储性能的非等量扩容,对IT资源的高效利用带来障碍。 再如,某制造型企业上线数字化的排产管理系统后,经常会遇到两种情况:首先,随着应用上线时间推移,数据存储量呈快速的线性增长;其次,在生产高峰期内,计算工作负载往往在短时间内会出现波峰,但在生产高峰期结束后则会迅速恢复到正常水平。过去,该企业采用基于MPP架构的Greenplum集群,计算、存储节点完全耦合,不支持存储和计算独立扩容。因此,当该企业处于生产高峰期内,如果选择充分满足计算性能需求,则存储性能容易造成浪费,但如果选择有限满足计算性能需求,则会造成服务可用性不足。 图 10: 计算存储耦合与计算存储分离架构的对比 因此,企业数字化的新阶段下,为了应对应用上云、数字化应用比例增加的趋势,“云数据平台”应具备以下能力:
图 11: 云数据平台应对数字化应用敏态化挑战 2.1.3 数据时效性要求提升,数据基础设施查询性能受限面对激烈的市场竞争,大型企业在决策效率方面的劣势,同样亟需通过数字化手段进行改变。 在金融、零售等具有强烈营销导向的行业内,越来越多的企业决策者和业务人员,都期望能够实现T+1、甚至T+0的数据反馈,从而基于更有时效性的数据进行业务决策,避免因决策周期过长而导致错失商机,这意味着大型企业对数字化应用的时效性要求将持续提升。 从技术原理来看,数字化应用的时效性,主要依托于大数据平台所提供的面向批处理、即席查询等分析型场景(OLAP)的复杂查询能力。但是,数据量的增长带来的数据处理量的增长,以及基于SQL-on-Hadoop的数据基础设施在OLAP复杂查询场景的性能瓶颈,使得数字化应用的时效性越来越难以得到保证。 图 12: 数据时效性要求提升对数据基础设施的挑战 批处理的性能瓶颈:在批处理模式下,数据服务依托于构建好的分层数据模型。Hive、SparkSQL、MPP等查询引擎,对来自ODS(贴源数据层)的数据进行批量计算,分层将数据抽取到DWD(明细数据层)、DWS(聚合数据层)、ADS(应用数据层)/DM(数据集市层)中,最后由ADS或DM来为可视化大屏、报表分析、数据API等数据服务提供数据支撑。因此,批处理性能的瓶颈,将会导致数据基础设施难以在T+1日内完成批处理工作,从而影响数据服务的时效性。 即席查询的性能瓶颈:在即席查询模式下,数据服务不依托于数据模型,而是由用户自行定义查询维度,直接从数据库中进行关联查询。因此,即席查询性能的瓶颈,将会导致用户查询时面临较高的时间延迟,影响用户体验。 例如,某股份制商业银行在Oracle、DB2传统数据仓库上,建设了管理会计系统、绩效考核系统、监管报送系统、数据集市系统等几十个大型分析系统,数据在PB级以上,但是传统数据仓库的性能瓶颈造成了两方面的困扰。一方面,管理会计系统、绩效考核系统等分析系统全部无法全部满足T+1时间需求,严重影响银行领导的决策分析,以及各分行业务部门每日运营工作的安排部署。另一方面,大数据分析人员需要在海量历史数据中进行即席查询,但随着银行数据量快速增加,每运行一条分析SQL都需要10分钟以上时间。 因此,企业数字化的新阶段下,为了应对数字化应用、数据服务的高时效性要求,“云数据平台”应具备以下能力:
图 13: 云数据平台应对数据时效性的挑战 2.1.4 智能化场景逐步成熟,数据基础设施AI支持能力不足近些年来,金融行业作为数字化较为领先的行业,其客户画像、信贷信用评分、反欺诈、反洗钱、合规审计等智能化场景逐步成熟。由此,数据的价值逐步由“数据驱动问题发现”“数据驱动问题分析”走向“数据驱动趋势预测”、“数据驱动业务决策”,这进一步要求数据基础设施能够支撑智能化应用的快速开发。 传统的数据仓库中通常会内置In-Database机器学习库,但对于使用者的AI知识水平要求较高,而许多传统行业企业缺乏AI人才,如果选择从零开始构建AI团队、建设AI平台,投入成本十分高昂。 图 14: 智能化应用对数据基础设施的挑战 因此,企业数字化的新阶段下,为了应对数字化应用的智能化需求,“云数据平台”应具备以下能力:
2.2 新一代数据基础——云数据平台为了满足以集团型、多分支企业为代表的大中型企业数字化转型的新挑战,新一代数据基础设施应当通过底层技术变革,推动技术能力变革,最终满足上层业务的变化。 为此,爱分析从底层技术变革、技术能力变革、业务场景变革三个层次,对新一代数据基础设施“云数据平台”进行定义。 2.2.1 云数据平台的定义爱分析认为,“云数据平台”是新一代的数据基础设施,它能够依托云原生特性、计算存储分离架构、强ACID特性、强SQL标准支持、Hadoop原生支持、高性能并行执行能力等一系列底层技术的变革,实现高弹性、强扩展性、强共享性、强兼容性、强复杂查询能力、自动化机器学习支持等上层技术能力的变革,最终帮助企业有效应对大规模、强敏态、高时效、智能化等愈发明显的数字化趋势。 图 15: 云数据平台的概念
2.2.2 云数据平台对数字化技术的“有机统一”作为新一代的数据基础设施,“云数据平台”实现了两方面的“大一统”,即对多种数据基础设施技术架构、多种数字化技的有机统一。 一方面,“云数据平台”本质上是对传统的数据库、数据仓库、大数据平台阶段遗留的一系列底层技术、技术能力的升级与替代。 图 16: 云数据平台是对数据库、数据仓库、大数据平台的升级与替代 另一方面,“云数据平台”实现了对云、大数据、AI等多种数字化技术价值的有机统一。在实际的数字化项目落地过程中,以云能力、数据能力、AI能力为中心的数字化转型往往相互割裂,未能实现充分协同。
整体来看,“云数据平台”充分整合了云原生特性,更统一、更强大的数据能力,以及对AI应用的支持能力,为企业提供了“更统一、更强大”的数字化技术能力,未来将进一步推动企业数字化深度、广度的全面升级。 图 17: 云数据平台的价值 |