搜索
大数据中国 首页 行业资讯 业界动态 查看内容
数字化转型时代的企业数据新基建 | 爱分析报告
2022-7-22 17:59 | 查看: 1296| 评论: 0


2.1.2 敏态特征凸显,数据基础设施弹性能力受挑战

早在2014年,Gartner就提出了融合“稳态IT”与“敏态IT”的“双模IT”概念。对于传统行业内的集团型、多分支企业来说,加强“敏态IT”能力建设,是推进数字化转型的重要组成部分。

在“敏态IT”模式下,企业需要更加关注业绩增长、品牌营销与客户体验,大幅增强面对不确定场景的响应能力,这就要求企业IT团队在资源获取、应用迭代、系统运维等方面实现敏捷化转型。

比如,国内某大型航空公司,为了推进全公司的IT敏捷化转型,从团队、工具、方法、实践等四个层面实践敏捷理念。在工具层面,该航司依托云计算IaaS平台,以及基于云数据库、Docker、Kubernetes、AIOps等技术的PaaS平台,构建了一站式敏捷开发管理平台,将过去基于传统IT环境的应用交付过程迁移到云上,有效提升了产品迭代速度,优化了客户体验,促进了业绩增长。

由此可见,具备按需取用、快速弹性、自动化编排等优势的云计算、云原生技术,成为支撑“敏态IT”的新型IT基础设施。

这一趋势对数据基础设施的影响表现为两个层次,第一层是传统业务上云带来的数据的上云,第二层是数字化场景拓展带来的数字化应用上云。

传统业务与数据上云

随着数字化转型的深入推进,企业上云从互联网企业逐步渗透到传统企业,从创新业务、边缘业务逐步渗透到传统业务、核心业务。同时,随着企业上云的推进,全球范围内的数据的产生与存储过程,越来越多地从传统数据中心转移到公共云环境中。

根据IDC报告显示,到2025年,公共云中的数据百分比将接近50%。

数字化应用上云

随着数字化营销与销售、数字化生产制造、数字化采购、数字化协同办公等新兴数字化场景不断出现,企业IT的“敏态”特征不断增强,工作负载量、负载量的波动性相比过去都有明显提升。

因此,数字化应用上云也成为大势所趋。另一方面,来自传统业务、核心业务的交易数据的逐步上云,也为数字化应用的上云铺平了道路。

在这两大背景之下,为了保证数字化应用的高可用性,数据基础设施同样应当具备“敏态”特征,满足资源快速取用、快速启停的弹性能力。因此,对数据基础设施进行云化改造将成为必然趋势。

图 9: 数字化应用的敏态化对数据基础设施的挑战

数字化转型时代的企业数据新基建 | 爱分析报告

但是,数据基础设施在进行云化改造时面临的两大挑战。

首先,共享存储、MPP无共享、SQL-on-Hadoop等技术架构对云环境的特性(如弹性能力)、组件(如云存储)适应性不足,存在弹性性能瓶颈,难以充分发挥云的弹性优势。

其次,共享存储、MPP无共享等技术架构的计算、存储节点深度耦合,无法实现计算、存储性能的非等量扩容,对IT资源的高效利用带来障碍。

再如,某制造型企业上线数字化的排产管理系统后,经常会遇到两种情况:首先,随着应用上线时间推移,数据存储量呈快速的线性增长;其次,在生产高峰期内,计算工作负载往往在短时间内会出现波峰,但在生产高峰期结束后则会迅速恢复到正常水平。过去,该企业采用基于MPP架构的Greenplum集群,计算、存储节点完全耦合,不支持存储和计算独立扩容。因此,当该企业处于生产高峰期内,如果选择充分满足计算性能需求,则存储性能容易造成浪费,但如果选择有限满足计算性能需求,则会造成服务可用性不足。

图 10: 计算存储耦合与计算存储分离架构的对比

数字化转型时代的企业数据新基建 | 爱分析报告

因此,企业数字化的新阶段下,为了应对应用上云、数字化应用比例增加的趋势,“云数据平台”应具备以下能力:

  • 云原生特性、计算存储分离架构,及其带来的高弹性:利用云服务器、分布式存储等云原生技术,对数据基础设施的扩展性能进行深度优化,充分适应云上数字化应用对高度弹性、无限扩容能力的要求;采取计算、存储分离的技术架构,充分适应数字化应用对计算、存储分别独立扩展的要求,增强弹性扩展的灵活性。

图 11: 云数据平台应对数字化应用敏态化挑战

数字化转型时代的企业数据新基建 | 爱分析报告

2.1.3 数据时效性要求提升,数据基础设施查询性能受限

面对激烈的市场竞争,大型企业在决策效率方面的劣势,同样亟需通过数字化手段进行改变。

在金融、零售等具有强烈营销导向的行业内,越来越多的企业决策者和业务人员,都期望能够实现T+1、甚至T+0的数据反馈,从而基于更有时效性的数据进行业务决策,避免因决策周期过长而导致错失商机,这意味着大型企业对数字化应用的时效性要求将持续提升。

从技术原理来看,数字化应用的时效性,主要依托于大数据平台所提供的面向批处理、即席查询等分析型场景(OLAP)的复杂查询能力。但是,数据量的增长带来的数据处理量的增长,以及基于SQL-on-Hadoop的数据基础设施在OLAP复杂查询场景的性能瓶颈,使得数字化应用的时效性越来越难以得到保证。

图 12: 数据时效性要求提升对数据基础设施的挑战

数字化转型时代的企业数据新基建 | 爱分析报告

批处理的性能瓶颈:在批处理模式下,数据服务依托于构建好的分层数据模型。Hive、SparkSQL、MPP等查询引擎,对来自ODS(贴源数据层)的数据进行批量计算,分层将数据抽取到DWD(明细数据层)、DWS(聚合数据层)、ADS(应用数据层)/DM(数据集市层)中,最后由ADS或DM来为可视化大屏、报表分析、数据API等数据服务提供数据支撑。因此,批处理性能的瓶颈,将会导致数据基础设施难以在T+1日内完成批处理工作,从而影响数据服务的时效性。

即席查询的性能瓶颈:在即席查询模式下,数据服务不依托于数据模型,而是由用户自行定义查询维度,直接从数据库中进行关联查询。因此,即席查询性能的瓶颈,将会导致用户查询时面临较高的时间延迟,影响用户体验。

例如,某股份制商业银行在Oracle、DB2传统数据仓库上,建设了管理会计系统、绩效考核系统、监管报送系统、数据集市系统等几十个大型分析系统,数据在PB级以上,但是传统数据仓库的性能瓶颈造成了两方面的困扰。一方面,管理会计系统、绩效考核系统等分析系统全部无法全部满足T+1时间需求,严重影响银行领导的决策分析,以及各分行业务部门每日运营工作的安排部署。另一方面,大数据分析人员需要在海量历史数据中进行即席查询,但随着银行数据量快速增加,每运行一条分析SQL都需要10分钟以上时间。

因此,企业数字化的新阶段下,为了应对数字化应用、数据服务的高时效性要求,“云数据平台”应具备以下能力:

  • 高性能并行执行能力,及其带来的强复杂查询性能:采取最新的SIMD指令集,实现指令内并行技术,从而实现更高性能的并行执行器,从而提供面向PB级大数据的,比MPP、SQL-on-Hadoop数据仓库更快的复杂查询性能,从而明显降低批处理、即席查询所需的时间,提升数据服务的时效性。

图 13: 云数据平台应对数据时效性的挑战

数字化转型时代的企业数据新基建 | 爱分析报告

2.1.4 智能化场景逐步成熟,数据基础设施AI支持能力不足

近些年来,金融行业作为数字化较为领先的行业,其客户画像、信贷信用评分、反欺诈、反洗钱、合规审计等智能化场景逐步成熟。由此,数据的价值逐步由“数据驱动问题发现”“数据驱动问题分析”走向“数据驱动趋势预测”、“数据驱动业务决策”,这进一步要求数据基础设施能够支撑智能化应用的快速开发。

传统的数据仓库中通常会内置In-Database机器学习库,但对于使用者的AI知识水平要求较高,而许多传统行业企业缺乏AI人才,如果选择从零开始构建AI团队、建设AI平台,投入成本十分高昂。

图 14: 智能化应用对数据基础设施的挑战

数字化转型时代的企业数据新基建 | 爱分析报告

因此,企业数字化的新阶段下,为了应对数字化应用的智能化需求,“云数据平台”应具备以下能力:

  • 自动化机器学习支持:基于AutoML技术,允许业务人员通过托拉拽、低代码的方式,实现自动化AI建模;融合云数据平台的数据模型,构建从业务理解、数据接入与处理、特征工程、模型选择、优化算法选择、参数调优、模型评估、模型部署与发布、模型优化等AI全生命周期管理流程。

2.2 新一代数据基础——云数据平台

为了满足以集团型、多分支企业为代表的大中型企业数字化转型的新挑战,新一代数据基础设施应当通过底层技术变革,推动技术能力变革,最终满足上层业务的变化。

为此,爱分析从底层技术变革、技术能力变革、业务场景变革三个层次,对新一代数据基础设施“云数据平台”进行定义。

2.2.1 云数据平台的定义

爱分析认为,“云数据平台”是新一代的数据基础设施,它能够依托云原生特性、计算存储分离架构、强ACID特性、强SQL标准支持、Hadoop原生支持、高性能并行执行能力等一系列底层技术的变革,实现高弹性、强扩展性、强共享性、强兼容性、强复杂查询能力、自动化机器学习支持等上层技术能力的变革,最终帮助企业有效应对大规模、强敏态、高时效、智能化等愈发明显的数字化趋势。

图 15: 云数据平台的概念

数字化转型时代的企业数据新基建 | 爱分析报告

  • 云原生特性、计算存储分离架构,及其带来的高弹性:利用云服务器、分布式存储等云原生技术,对数据基础设施的扩展性能进行深度优化,充分适应云上应用对高度弹性、无限扩容能力的要求,并采取计算存储分离架构,进一步提升数据基础设施的扩展灵活性;
  • 计算存储分离架构,及其带来的强扩展性、强共享性:采取计算、存储分离的技术架构,充分适应数字化应用对计算、存储分别独立扩展的要求,增强了弹性能力,并能够支持数千节点的集群规模,尽可能避免多集群部署,并可低成本地支持跨集群的数据共享;
  • 强ACID特性、SQL标准支持、Hadoop原生兼容,及其带来的强兼容性:具备完善的SQL标准、ACID特性的支持能力,兼容过去采用Oracle、DB2等传统交易型数据库、MPP数据库的数字化应用,并支持对接访问Hive、HDFS等Hadoop原生组件,从而兼容过去采用SQL-on-Hadoop数据库的数字化应用,实现数字化应用在数据基础设施间的平滑迁移;
  • 高性能并行执行能力,及其带来的强复杂查询性能:面向PB级大数据,具备比MPP、SQL-on-Hadoop数据仓库更快的复杂查询性能,从而明显降低批处理、即席查询所需的时间,保证数据处理能力的高时效;
  • 自动化机器学习支持:具备对自动化机器学习技术的支持能力,基于AutoML等技术,为业务人员提供自动化AI建模能力,实现AI模型全生命周期管理,降低AI研发与管理成本。
  • 数据资产管理能力:具备数据标准管理、数据质量管理、元数据管理、数据资产目录(敏感数据/业务术语表关联/数据标签/血缘分析)等数据资产化管理能力,从而更好地赋予数据以价值,实现数据的资产化管理与运营。
  • 数据服务管理能力:通过数据API管理模块提供的低门槛、可视化的操作方式,以及分组、权限管理、服务上下线、计量与计费等管理功能,帮助数据分析人员将各类数据查询语句封装为API服务,供各业务部门和业务系统调用,从而实现数据的价值变现。

2.2.2 云数据平台对数字化技术的“有机统一”

作为新一代的数据基础设施,“云数据平台”实现了两方面的“大一统”,即对多种数据基础设施技术架构、多种数字化技的有机统一。

一方面,“云数据平台”本质上是对传统的数据库、数据仓库、大数据平台阶段遗留的一系列底层技术、技术能力的升级与替代。

图 16: 云数据平台是对数据库、数据仓库、大数据平台的升级与替代

数字化转型时代的企业数据新基建 | 爱分析报告

另一方面,“云数据平台”实现了对云、大数据、AI等多种数字化技术价值的有机统一。在实际的数字化项目落地过程中,以云能力、数据能力、AI能力为中心的数字化转型往往相互割裂,未能实现充分协同。

  • 以云能力为中心的数字化转型:通过云基础设施建设及组织架构的变革,推动企业IT资源管理能力的数字化转型;缺乏数字化能力的IT组织难以充分支撑业务部门数字化的需求,同时又是企业更好地沉淀、利用数据的基础;
  • 以数据能力为中心的数字化转型:通过数据基础设施建设及组织架构的变革,推动企业数据利用能力的数字化转型;既是对云基础设施价值的进一步提升,也为AI应用的开发建立良好的数据基础,在整个企业数字化转型中居于承上启下的地位;
  • 以AI能力为中心的数字化转型:通过AI平台建设、智能化应用的落地应用及组织架构的变革,推动企业分析决策能力的智能化转型,也是对数据基础设施价值的进一步挖掘。

整体来看,“云数据平台”充分整合了云原生特性,更统一、更强大的数据能力,以及对AI应用的支持能力,为企业提供了“更统一、更强大”的数字化技术能力,未来将进一步推动企业数字化深度、广度的全面升级。

图 17: 云数据平台的价值

数字化转型时代的企业数据新基建 | 爱分析报告


免责声明: 除非特别声明,文章均为投稿或网络转载,仅代表作者观点,与大数据中国网无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。如果本文内容有侵犯你的权益,请发送信息至ab12-120@163.com,我们会及时删除

最新评论

关闭

站长推荐上一条 /1 下一条

 
 
大数据行业交流
大数据行业交流
大数据求职招聘
大数据求职招聘
站长电话:
15010106923
微信联系:
hb-0310
站长邮箱:
ab12-120@163.com
大数据中国微信

QQ   

版权所有: Discuz! © 2001-2013 大数据.

GMT+8, 2024-3-29 18:50 , Processed in 0.070679 second(s), 23 queries .

返回顶部