网络自助新闻发稿平台，价格低，发稿快

“数流和智流融合不仅仅是趋势,而是正在发生的事情。”谈及数据未来的发展趋势,交通银行软件开发中心总经理刘雷说。金融业数据量爆发式增长,数据挖掘、分析、应用已逐步成为金融业务发展和管理决策的重要支撑手段,数据成为金融机构的核心资产,数据资产的应用管理能力已经成为银行经营能力的重要衡量标准。数据仓库可对异构源数据进行有效集成,面向数据分析场景,支持全局信息共享和决策分析处理,充分释放数据价值,助力构建数据要素市场。因此,金融数据仓库的建设成为大多数银行的选择。银行业究竟需要怎样的数据仓库?新技术的不断演进,不仅为银行搭建新的数据仓库带来了机遇,同时数据仓库建设也面临着新的挑战。

01

数智融合,金融数仓快速演进

真正的“数据为王”时代已来。一方面,爆发式增长的数据已成为银行的核心资产,深度挖掘数据价值成为银行发展关键课题。另一方面,市场以及客户需求快速变化,要求银行业务敏捷决策以应对客户需求。同时,千人千面、个性化、定制化的服务需求深化,也要求银行有智能化数据数仓作为支撑。不过,传统的金融数据仓库存在计算能力、建模能力不足,数据标准不统一、生态环境封闭、维护成本高等诸多问题。而数智化的数据仓库的建设可以帮助金融机构打破数据孤岛、实现全行数据的整合共享,极大程度提升业务决策能力释放数据价值。商业银行是数据仓库建设的主力。近期金融信息化研究所发布的《金融数据仓库发展报告(白皮书)》(以下简称《白皮书》)数据显示,国有大行、股份制银行、直辖市农商行及省联社基本都建设了数据仓库,占比达到100%,而区域性城市商业银行尚有部分机构未建设数据仓库,以数据集市应用为主。

相对于数据库的发展,数据仓库在1991年才被Bill Inmon出版的《Building the Data Warehouse》一书正式提出。金融行业作为数据原生行业,金融数据仓库经历了描述型数仓、探索型数仓、运营型数仓,目前已经发展到智慧型数仓,成为金融行业重要的数智化基础设施。数智融合,已成为当前新一代智慧型数据仓库探索的新趋势。《白皮书》将新一代数仓视为智慧型、预测型数仓,并认为该阶段的核心是数智融合。智慧型数仓与AI 结合将有效解决结构化和非结构化数据跨边界分析的问题。“将人工智能引入数据平台是近几年行业发展的一个趋势,”交通银行软件开发中心总经理刘雷称。随着数据信息大爆炸,银行等金融机构的数据,已经不再只是传统的数字等结构化的数据,音频、文字、图片、视频等非结构性以及外部合作数据越来越多,也越来越关键,如何打通结构化和非结构化数据边界,成为数据仓库的一大挑战。刘雷认为,数智的融合的关键是能力互补,将数据仓库、数据管理能力与AI平台流程生命周期管理结合。“这两种结合方式都需要有数据仓库平台和AI平台具有开放型生态、底层原数据统一性,这在数据仓库做技术选型时就要提前考虑布局”。放眼国内外,领先银行都极为重视挖掘数据的价值,一些银行通过搭建数据湖平台和国产数据仓库,数据整体处理效率大大提升。作为国有行,交行“十四五”金融科技规划中,制定了“POWER”(平台Platform、开放Open、智能Wise、企业级Enterprise、重塑Reinvent)的5年规划,以重塑银行整体的业务。在整个规划中,数据是基础,也是核心。自2005年以来,交行就一直在构建数据仓库。近两年,交行开始搭建基于湖仓一体的架构,从全局视角上汇聚全集团数据,构建不受业务变动影响的稳定、高效的全集团数据模型,从应用视角上以数据使用场景为切入点,构建简洁、灵活、快速的数据使用模型。“交通银行基于湖仓一体的架构,以数据湖为底座,建设了五大主题模型、七大领域模型进行数据分层,基本实现了输出同源、数据模型的统一设计和指标标签的统一管理。”谈及交行数据仓库建设,刘雷表示。金融数仓的技术快速演进,给金融机构数仓建设带来了新的挑战,然而正是在这些挑战之下,银行的数据价值挖掘也有了更多新机遇。

02

解决银行数仓“边打地基边盖房”

新技术不断涌现,使得银行需要调整数据仓库建设的方向。当前,银行面临数据价值深度挖掘的挑战。一是银行大数据要求更大的算力、实施场景越来越多;二是数据范围更广,非结构化数据和外部引入数据,对技术能力提出更高的要求;三是数据需要更多共享,消除大企业各板块、各部门之间的数据的壁垒,打破烟囱式的数据建设。对于这种在银行界普遍存在的情况,刘雷分析到:“银行全力推进数据入仓,这是在打基础打地基,随着越来越多的数据应用需求的产生,在地基还没有完全打完的情况下,基础还没有牢固的情况下,上面就要开始盖房子了,要装修了,必然会存在数据脱节、对不上的问题。”“边打地基边建房”的模式,生动地描述了银行数仓建设所面临的数据供给侧与消费侧对接不平衡的挑战。金融行业面对数据原生、数据量庞大、业务场景复杂等特点,也对数据仓库提出了高算力、高性能、高弹性扩展、高成本弹性等需求。银行如何突围数据仓库“边打地基边建房”?引入第三方厂商的技术力量必不可少。近几年,OLAP厂商向着多元化发展,除了传统数据库厂商、国际厂商外,国内公有云服务商、新兴数据库厂商纷纷推出产品。随着本土厂商不断的技术改进和与用户的深度合作,替代方案趋于成熟。《白皮书》调研数据显示,国有大行和股份制银行使用本土厂商数据仓库产品的机构数量占比较高。其中其使用最多的数据仓库产品是华为云GaussDB(DWS),机构数量占比达到38.89%。交通银行数据中台就选用了华为云GaussDB(DWS)数据仓库,实现了全面提升数据访问能力,减少用数成本,提高用数效率,提升用数质量,建立全行更高质量标准的统一信息视图,打造全面完整的数据分析体系,为业务的经营决策提供全面的支持,最大化地实现数据价值。“银行的业务发展比较快,与之匹配的技术更新也非常快。华为云将自身服务于各金融机构的经验通过沉淀、积累,转化成产品和服务能力,再向其他银行分享、复制,帮助银行、金融机构能更快速的应用最新技术”。在华为云EI服务产品部总经理尤鹏看来,对于大中型银行而言,选择的技术路径比较复杂,异构太多,有很大的挑战;而小型银行体量小,新技术迭代更敏捷。

面对各类银行面临的不同需求和挑战,华为云新一代数据仓库产品GaussDB(DWS),从逻辑、技术以及服务全维度去提供全方位的解决方案。

在技术能力方面,华为云提供“库湖仓智”一体化的架构。从数据库数据库处理事务的类型可以分3类服务场景:OLTP、OLAP,和HTAP。华为云GaussDB(DWS)可提供OLAP和HTAP的服务能力,GaussDB数据库主要提供OLTP。GaussDB全系列产品源于同一个内核即统一的融合架构,更好助力银行构建核心数仓系统,这是华为云的优势。在服务方面,如帮助交行打造“湖仓一体”架构时,从原来平台迁移到华为云数仓平台的迁移过程中,华为云提供平滑迁移工具,并且帮助交行完成逻辑转换。此外,华为云也提供了数仓学习和认证体系,有利于银行自身人才的培养。同时,华为在数据仓库领域积累的丰富实践经验,在新技术与服务金融机构方面都有竞争优势。2011～2014年,华为对数仓技术进行研究和储备;到2015到2019年,产品进入到孵化阶段;2019年至今,华为不断打磨数仓产品,推出了新一代数据仓库架构。“以客户场景驱动、一体化融合架构、高迁移效率、前瞻性架构布局”,尤鹏如此总结华为新一代数仓产品的特点。当前,华为已组建了拥有丰富行业大数据应用经验的专家团队。其服务客户已经超过1700家,意味着华为积累了1700+公有云、混合云项目的交付经验。华为云不仅在国内数仓服务独具优势,在华为云数据中心基础设施KooVerse的统一架构之下,金融机构要拓展海外业务也可以迅速构建一致性架构的数仓体系。