搜索
大数据中国 首页 热点综合 热点科技 查看内容
银行数字化转型的思考:“流批一体”实时智能决策与分析体系
2022-11-22 13:19 | 查看: 406| 评论: 0
数字经济时代,数字化转型已成为银行业转型升级的战略手段。数字化转型背景下,技术创新、组织创新、融合创新、跨界创新等快速缔造形成了新的发展趋势。2022年初,中国人民银行和银保监会先后印发了《金融科技发展规划(2022—2025年)》和《关于银行业保险业数字化转型的指导意见》,给银行业未来数字化转型提供了战略蓝图和行动指南。
面对银行数字化转型新阶段与新挑战,商业银行需要把握数字化阶段客观规律,聚焦数字化通用核心能力体系建设,激活数字化内生动能,逐步探索形成符合自身特色的数字化转型之路
银行数字化转型是一个以客户体验为中心,通过数据和技术双要素的驱动,对业务模式和管理模式进行创新和重构,进而持续提升全渠道、无缝式、定制化的金融服务质量和效率的过程。
据有关统计,未来银行半数以上的应用是实时相关的。未来银行的实时化能力是指实时感知和响应客户需求。银行通过场景感知,实时捕捉、识别和判断客户需求,实时从决策引擎中获取风险回报平衡决策,并通过集中的后台服务实时响应客户需求。实时智能决策与分析领域的提前布局,充分挖掘“热数据”价值进而实现“热知识”快速迭代,是银行数字化转型的关键举措。

一、实时决策领域的痛点

从趋势的角度上说:银行业本身是数据密集型行业,在经营过程中积累了大量跨周期的金融交易数据,具备数字化转型的先天优势。结合银行的实际情况,如何进一步充分发挥数据要素价值化和赋能商业决策是一个痛点。
从竞争的角度上说:各家银行产品同质化严重、网点布局重叠、利率价格趋同和获客成本走高,这些都加剧了行业间的竞争程度。如何摆脱竞争中的痛点,需要银行从智慧化、在线化、以及实时化的角度加大投入,寻求差异化。
从市场的角度上说:近些年来,融合互联网和大数据的新金融、类金融迅猛发展,对银行业务产生冲击,银行业正在面临越来越多的跨业竞争甚至无边界竞争的挑战。银行服务需要应对互联网化的冲击,实时决策是一个重要的抓手。
从客户的角度上说:随着90后和00后的陆续出现,他们都是互联网的数字原住民,从小和互联网一起生活和成长。如何能够在激烈的市场竞争中,获得客户的认可和信任,增强客户的粘合度,这是一个大的痛点,了解他们的特性,并赋予合适的场景营销和产品定位。新客户特别是年轻客户的获得需要更实时化,个性化的银行服务能力。
从自身的角度上说:在当下决策驱动的银行业务领域内,知识迭代速度太慢仍是一大痛点,且通常至少要以月为单位进行时间计量。目前大部分银行的业务专家可在已有指标集的基础上配置生产级业务规则并即刻上线,然而指标增删改严重依赖科技人员的配合,难以满足业务规则模型快速迭代的要求。此外,由于需要多部门、多角色协同才能完成业务规则的迭代上线,通常伴随着冗长的开发及上线流程,信息传递的不通畅进一步降低了知识迭代速度。

二、“热数据”与“热知识”

为解决上述问题,我们提出了两个关键概念,“热数据”以及“热知识”。
所谓“热数据”是指那些OLTP系统刚产生(通常在秒级以及毫秒级)的数据,是“热乎乎”的,这时的价值最大,随时间流逝其价值会指数级下降。为让“热数据”直接产生业务价值,需进行两阶段的建设:
(1)初始建设阶段:简单而言,就是让银行的OLTP系统实时(秒级)接上OLAP系统,并具备产生实时业务价值的能力。具体而言,可从实时旁路采集、实时数据加工、实时指标计算以及实时业务决策等不同层级分开建设。
(2)持续强化阶段:随着实时业务开展的不断深入,持续接入各类业务场景,最终形成银行自有的事件体系、指标体系、规则模型体系;持续深入挖掘数据的价值,从复杂计算、时间窗口、多层关联、机器学习算法、深度学习等众多技术领域进行探索,从而达成“热数据价值最大化”的目标。
当然,除了“热数据”以外,通常意义上,还有“温数据”以及“冷数据”的概念,分别是表示一天以内的数据以及一天以后的数据,这部分数据也需要持续存储,为其他业务场景赋能。
所谓“热知识”是指知识在运行过程随着数据不断产生,知识自身在不断回馈修正,整个回馈的过程控制在秒级。同理,也有温知识以及冷知识。热知识是一个趋势,是人工智能技术发展到高阶段的体现。在“热数据”初步建成的基础上,才可以让知识热起来,为达成此目标,需进行三个阶段的建设:
(1)初级阶段:指标层、决策层开放给业务专家使其可自由配置指标及规则模型;建成标签回馈系统,让业务专家可自行打标。在该阶段,业务专家具备周级到天级的知识迭代能力。
(2)中级阶段:在已有指标特征集的基础上,选择有监督机器学习算法,通过实时回馈的标签自动完成模型更新;在特定业务领域的督导下,在时间、算子、关联等维度进行自动化特征枚举,从而让自动化机器学习更进一步;在特定业务领域通过“蜜罐”等技术手段建设自动标签系统。在该阶段,业务专家具备分钟级甚至秒级的知识迭代能力。
(3)高级阶段:通过深度学习、强化学习以及更加强大的算力支持达成完全自动化的实时知识迭代阶段,该阶段是“热知识”的最终形态,尚无先例可供借鉴。
“热数据”及“热知识”提供“一站式”的实时数据应用能力,赋能业务专家,为银行数字化转型提供强大的助力。

三、“流批一体”实时智能决策与分析体系

在“热数据”及“热知识”概念基础上,结合团队十几年在银行业的技术深耕,我们提出了“流批一体”的实时智能决策与分析体系(简称实时智能),具体如下图所示。

该体系把银行业常见的数据资产分为四层,并提出了对应的三层数据处理架构,以知识为媒介,揉合流处理、批处理、决策等多种技术体系,是一种面向业务的流批一体的数据处理体系架构
该体系把数据资产分为以下四层:
(1) 原始数据:OLTP系统流入OLAP体系的原始数据集。
(2) 事件/事实:通过过滤、转换、关联等技术手段对原始数据进行加工处理,从而生成事件/事实层。从原始数据到事件/事实的数据处理过程,我们称为数据加工。
(3) 指标/特征:通过统计计算、时序计算、关联计算等技术手段在事件/事实的基础上进行多维计算而来。对应的数据处理过程,我们称为数据计算。
(4) 信号/标签;通过规则决策、机器学习模型预测以及图模式匹配等技术手段在指标/特征等基础上进行决策而来。对应的数据处理过程,我们称为业务决策。
通过信贷业务举例简单说明该处理体系。以借款、还款行为数据为例,原始数据包括借款时点、应还时点、实还时点、交易地点等,将其进行简单的加工,将会产生大量事件/事实:借款、逾期、提前还款、正常还款等,如果客户在某个应还时点前多次发起借款申请,那么很可能是在“借新还旧”。运用这些事件/事实,根据许多可以热修改的特征工程规则,可以构建出许多指标/特征,如同一地点近若干小时内申请次数、用户最近一次交易消费时间间隔以及最近若干时间内交易总额等,通过这些指标/特征,可以进行决策,比如若客户当前处于逾期状态,则新申请借款则可直接拒绝;比如若在同一地点申请过于频繁,则有可能存在非法风险,将生成风险信号。这就是生成了信号/标签,以进行决策或指导迭代优化特征工程、算法筛选等步骤。
知识是实时智能的媒介,纵向来看分为知识应用以及知识生成两类场景。其中知识应用及知识生成都可细分为在线以及离线两类场景,这四类场景的数据处理都可横向细化为前面提及的四层数据资产。
实际运行过程中,从知识的生成到应用,从知识的离线运行到在线运行,对应的三层数据处理能力,迫切需要“流批一体”的技术能力以提升开发及运维效率。考虑三层数据处理对技术的要求差异巨大,“流批一体”宜分层建设,特别是业务决策层,尚未有相关的决策技术做到“流批一体”的能力;而数据计算层,开源技术中flink以及spark等技术框架对复杂的指标/特征的高性能计算支持度一般。
实时智能的建设并非一蹴而就的,需要银行缜密的筹划以及长期的投入,不同银行处于不同阶段,开展的业务也不尽相同,需进行差异化的建设。
免责声明: 除非特别声明,文章均为投稿或网络转载,仅代表作者观点,与大数据中国网无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。如果本文内容有侵犯你的权益,请发送信息至ab12-120@163.com,我们会及时删除
关闭

站长推荐上一条 /1 下一条

 
 
大数据行业交流
大数据行业交流
大数据求职招聘
大数据求职招聘
站长电话:
15010106923
微信联系:
hb-0310
站长邮箱:
ab12-120@163.com
大数据中国微信

QQ   

版权所有: Discuz! © 2001-2013 大数据.

GMT+8, 2024-4-25 08:26 , Processed in 0.053857 second(s), 22 queries .

返回顶部