当前位置:首页>>新闻 > 观点 > >创新优化基础架构 保障生产运行安全【平安银行科技运营中心副总经理 崔涛】

创新优化基础架构 保障生产运行安全【平安银行科技运营中心副总经理 崔涛】


文 \ 平安银行科技运营中心副总经理 崔涛


近年来,随着平安银行发展规模逐渐壮大,业务量及各类需求繁多,上线的IT系统产品种类及规模也日趋增多。一方面,业务部门为快速抢占业务市场,对新系统上线预留给科技部门的时间越来越短;另一方面,外部监管部门及行内业务部门对联机交易系统运行的稳定性和可靠性要求越来越高,最终反映的是对底层基础架构的安全性要求也越来越高。

 

与此同时,互联网金融业务和相关技术不断发展,传统金融行业为满足业务快速发展需求,也在积极引入分布式和开源技术,这对银行科技部门的创新和安全要求也越来越高。如何兼顾传统和创新技术的平衡发展,是每家银行科技部门都必须面对的问题。

 
 

技术创新

 
 

平安银行本着务实态度和分步实施节奏,始终牢记“生产安全第一”目标,积极采用传统与创新技术方案相结合的思想,从多个领域积极推进基础架构创新优化,有力保障了生产运行安全。

 

1.推进私有云建设。为满足各类业务系统快速交付需求,进一步降低运维管理成本,提升基础架构安全可靠性,平安银行于 2013年开始分步推广建立私有云。截至目前,平安银行的私有云平台类型覆盖了X86 Vmware、X86 OVM、PowerVM、SparcVM四个虚拟化领域,其中 X86 Vmware主要运行应用服务器,后三者主要运行数据库服务器。所有底层虚拟化资源池都采用双资源池部署,同一种业务功能的服务器分别部署在不同的资源池上,不同应用系统按照功能区分和重要等级部署到不同资源池,最大限度保障应用系统的部署冗余性。

 

目前平安银行生产系统虚拟化覆盖率已经超过90%。通过私有云平台建设及推广,实现了资源集约化及快速调配、精细化标准化管理、可扩展性服务,极大地降低了运维复杂度及难度,为银行系统稳定起到关键作用。整个私有云推广项目为全行节省费用超过 1.8亿元。

 

2.推进大数据平台建设。传统 ODS数据仓库和直连存储的架构已难以适应业务发展和数据膨胀需求,且成本居高不下。对此,平安银行很早就开展了大数据平台架构优化整改工作。

 

通过平台选型测试对比,平安银行最终建立了Greenpump和 Hadoop相结合的大数据平台。其中前者主要负责 ODS和各类数据集市处理,后者负责历史数据归档和各类业务分析库。所有大数据平台均采用基于 X86服务器和本地盘的部署方式,可以实现集群容量和处理能力的横向扩展,同时根据业务功能对集市进一步拆分,最大程度发挥大数据的 MPP和Share-Nothing架构优势。

 

通过几年改造建设,集市批量耗时大幅减少,SQL运行效率大幅升级,其中信用卡集市总体性能提升近 10倍,ODS环境优化整改后总体性能提升近 3倍,财务集市优化整改后总体性能提升近 5倍,共节省存储采购费用近3000万元。

 

3.推进存储虚拟化建设。为解决生产系统底层存储单点,夯实底层基础架构,降低平安银行存储管理复杂度、减少运维成本、提升业务系统可靠性和数据安全性,平安银行 2014年开始推广实施存储虚拟化建设,实现了存储的池化管理和存储架构扁平化管理,统一前端服务器的存储多路径,彻底消除因存储品牌不同带来的多路径兼容性隐患及数据在不同存储间的来回迁移问题;实现了底层存储基于 LUN的镜像,即使整台存储宕机或彻底毁坏,或需要对整机存储做停机维护时,对前端应用均为透明。

 

目前,平安银行生产系统的存储已 100%实现虚拟化封装和接入,彻底消除以往烟囱式的存储分布模式;所有生产系统全部实现本地存储镜像,有效解决了存储单点问题,大大提高本地存储高的可用性;通过存储虚拟化建设,屏蔽底层存储品牌差异,保护原有设备资产投入,建立存储统一运维管理机制,实现池化管理。

 

4.推进分布式存储建设。为了解决传统集中式存储横向扩张困难、成本过高等问题,平安银行 2015年开始积极开展分布式存储研究测试,同年在测试环境中引入了分布式块设备存储,用于 X86虚拟化专用存储资源池。2016年平安银行新核心项目实施过程中,超过 97%的测试环境 APP均运行在 ServerSAN分布式存储资源池,直至整个项目完结,期间运行比较稳定,为下一步在生产环境进行推广奠定了基础。

 

2016年平安银行引入了基于文件系统级的分布式存储的研究测试,主要分为基于 S3及 NFS协议的分布式存储,可有效替代传统 NAS存储。目前在测试环境中运行稳定,并已开始在生产构建对象云存储资源池,计划用于影像平台和非结构化内容管理平台等应用场景。

 

分布式存储全部采用价格低廉的 PC Server来建立分布式存储资源池,成本远低于集中式 SAN、NAS存储;通过利用分布式多点接入的优势,可以大大提高分布式存储资源池的吞吐,弥补集中式存储因端口数量、性能限制带来的吞吐瓶颈及性能隐患。

 

5.推进数据库全冗余和读写分离推广建设。随着业务快速发展,平安银行数据库系统数量越来越多,业务对数据库系统的稳定性要求也越来越高。为降低平安银行数据库系统管理复杂度、减少运维成本、提升系统响应效率及稳定性,实现系统资源的动态配置,2014年,平安银行建立了全行数据库运维标准,制定统一的数据库体系架构及技术指标,并在全行范围内开展标准化整治工作。在建设过程中主要采用了以下几方面措施。

 

★所有数据库系统全部采用集群部署,同时创新性使用分库分表、服务分割、读写分离等技术,在国内外对数据库集群技术的应用中具有独创性。2016年在平安银行新核心腾龙系统架构设计中得到应用,将大部分业务查询交易指向只读 ADG库,有效分摊主库的负载压力,取得良好效果。

 

★采用当前业界领先的云技术,构建多样化的数据库资源池,支持各类主流应用平台,采用跨资源池部署,持续有效为全行业务增长提供有力保障。

 

★开拓性建立性能测评体系,实现对系统运行状况及潜在风险的科学分析并实现精细化管理;目前全行重要联机交易类数据库运行资源消耗平均低于20%,领先业界。

 

★建立软件版本生命周期管理全流程,通过标准化技术及流程,在没有采购任何外援情况下,于 2016年度完成了超过 40套数据库系统的平滑升级迁移。

 

★通过近两年的推广实施,已在 200多套数据库系统中实现全冗余改造。实施效果明显,不仅节省大量设备及人力资源,更提升了总体运维水平,大大减少由于数据库节点宕机导致的故障次数和降低故障影响。

 

6.推进应用系统集群化改造。由于历史原因,平安银行的部分应用系统仍采用主备架构,且采用大物理机集中式部署,日常配置管理复杂,无法满足系统高可用要求。对此平安银行全面开展了应用系统集群化改造工作。

 

通过改造,目前平安银行生产联机交易系统的集群覆盖率已达到 95%以上,所有应用系统集群全部采用虚拟机且采用跨资源池部署,大大提高了系统高可用性,针对不同等级应用系统集群采用不同资源池部署,进一步提升了系统运行稳定性和降低成本。

 

7.网络虚拟化建设。当前数据中心的容灾和单系统切换普遍采用 DNS的切换方式,为此需花大量人力解决两者版本和配置环境同步的问题。

 

平安银行通过对网络虚拟化进行研究,对 VXLAN技术在数据中心的应用做深入分析和测试,验证在局域网、广域网环境下网络的大二层扩展的可行性,对推动容灾环境下使用 VXLAN技术快速恢复应用环境和业务进行了尝试,下一步将在小范围内试点。

 

8.数据中心多点接入。随着互联网金融业务发展,传统的单一入口面临着大流量、高并发、水平扩展的制约。掌握多中心接入部署和实施能力,解决带宽瓶颈、水平扩展的限制等问题,具有现实意义和经济价值。

 

利用成熟的 CDN技术,平安银行在数据中心多点接入方面进行了尝试。实践结果表明,采用全局链路负载技术结合用户访问量的区块化设计,能够解决用户访问效率低下等现实问题,同时实现多点间互为容灾的目的。

 
 

管理创新

 
 

在推进技术创新的同时,平安银行也在积极思考管理创新。近年,通过推进基础架构组建标准化建设,进一步简化网络架构和推进机房环境标准化建设,进一步提升基础架构高可用,平安银行在基础架构管理方面发生较大变化,为银行基础架构的可持续发展提供有力保障。

 

1.推行基础架构组件标准化。由于历史原因,平安银行的新项目往往含有各类基础组件、不同软件版本需求,不利于生产运维统一管理,增加管理成本。

 

对此,平安银行结合多年生产管理经验,统一制定了生产架构中各组件选型标准,统一组件选型及版本管理,有效降低了生产环境组件复杂性和运营管理风险。

 

2.进一步简化网络架构。2014年平安银行与原深发展银行合并后面临网络区域众多且配置复杂问题,存在生产问题难以排查、网络管理成本过高等问题。在各级领导的大力支持下,平安银行科技运营中心开展了两行网络整合瘦身工作。在 IT基础架构融合过程中采用主流成熟的技术方案,平滑切换业务系统,简化合并同类项的操作风险。

 

通过两行网络架构融合,平安银行生产环境下线大量网络设备,进一步降低管理复杂度,同时拆除无用外联专线 34条、整合外联专线 8条、归还外联专线给科技 9条、迁移外联专线 70条,节省通讯费用 154.8万 /年。

 

3.推进机房环境标准化建设。大数据、虚拟化、敏捷的应用部署等需求,给数据中心 IT基础架构环境建设带来了新挑战,以往机房内见缝插针式的设备安装部署方式已无法满足要求。平安银行基础架构团队探讨和实践了一套机房环境标准化的思路。首先是机房模块内划分功能区域,模块分为独立机柜存储设备区域和服务器区域,服务器区域内再划分为虚拟化资源池区、大数据应用区等。区域从机房两侧开始部署,同时在机房中部设置空置缓冲空间。其次是机房模块间功能区域对称部署,将虚拟化资源池、存储资源池设备分别部署在不同的机房模块内。最后是设备对称部署,如虚拟化资源池设备、大数据集群设备在相邻机柜列间对称位置安装。通过机房环境标准化建设,可以更高效地利用机房空间,实现环境快速部署和交付,进一步提升机房设备的安全稳定性。

 

下一步,平安银行科技运营中心将结合新的分布式、软件定义、开源等技术,继续推动多活数据中心、云计算、大数据平台创新建设,为全行零售转型战略发展提供有力支撑。

  分享到:
360网站安全检测平台