作者kkkru·2022-03-28 10:32

技术支持·哈尔滨银行

金融行业基于Dell EMC高端存储的核心系统实践经验分享

字数 8122阅读 5907评论 3赞 5

【摘要】本文内容为金融行业基于DELL EMC高端存储的核心系统实践经验。从城市商业银行的存储项目背景、需求分析、存储架构选型、技术特点、容灾架构方案设计做简要说明。针对DELL EMC高端存储的技术特点做了详细说明与分析, 给同行负责存储运维的朋友们带来一定的参考。

# 1. 项目背景介绍

随着我国经济由高速增长阶段转向高质量发展阶段，商业银行也在努力实现高质量发展，从而提升服务实体经济的质效。2019 年商业银行在努力实现高质量发展方面取得积极成效，2020 年后在新冠疫情的倒逼之下，商业银行数字化转型步伐加快，也为其高质量发展带来契机。在后疫情时代下，各类商业银行的高质量发展主要体现在两个方面：一是商业银行依托新基建的信息科技建设，实现数字化转型，提升数字化水平，从而实现高质量发展；二是商业银行在新基建中挖掘新的业务机会，既助力新基建发展，也推动业务范围的拓展、服务模式的发展，以实现高质量发展。

我行秉承“普惠金融，和谐共富”的经营理念，以“打造服务优良、特色鲜明、治理规范、管理先进的城市商业银行”为战略目标，并积极拥抱自身的数字化转型与实践，全行金融科技工作重心已经转向客户、营销、客户触达、产品、业务管理、支持保障与共享服务六个业务领域，将客户、场景、产品、服务等关键要素有计划、有步骤地转化为数字形态，逐步建立起以客户体验为核心，以数据为基础，以技术为驱动的IT 支撑与保障体系。近年来，我行凭借大数据平台、运营中台、新一代智能客户服务系统等一系列重要系统的建设，改变了传统数据孤岛、烟囱系统、信息割裂的格局，推动金融科技应用与创新重心上移，逐步实现大数据集中化、服务数字化、分析和决策智能化，推动金融科技与业务经营再融合，为后期深层次推进数字化转型奠定了坚实的基础。作为数字化转型的坚实的载体，或者说坚固底座，IT 数据中心基础架构建设起到尤为重要的关键作用，其中核心存储设备和存储技术是核心业务应用运行和数据信息存取以及数据安全可靠性保障的重中之重，我行也很早针对核心存储系统架构建设作为行内重点项目，并在2016 年起开始进行整体数据中心存储架构替换和优化改造。

# 2. 需求分析

2010 年~2016 年我行使用的是IBM DS8700 存储承载着核心业务数据库及应用，随着存储技术的不断发展，行内业务的不断创新，行业监管及容灾要求的不断完善，面临着存储的优化与替换工作，主要面临的挑战与问题：

**2.1 核心存储老旧，存在性能问题**

随着业务系统不断功能扩展，存储层出现较明显的性能瓶颈，核心存储IBM DS8700 承载了众多业务功能，整体性能已经接近极限。并且业务热点及关键性峰值处理没有应对的存储技术手段，继续急需优化存储层以解决性能扩展与智能按需调配问题。

**2.2 数据整合和管理问题**

以往随着业务系统新建而存储随之建设的历程中，数据较为分散并且没有形成统一的存储网络及统一的存储平台，数据集中与管理上存在较大的运维管理难度。标准化的存储平台及存储网络建设成为下一步优化考虑的重要考虑要素之一。

**2.3 数据保护与容灾体系需进一步完善**

提升数据的可靠性和可用性，能够进一步做到并且应对各种业务系统的灾难对数据的损坏与破坏，利用当前主生产中心、同城容灾中心以及异地灾备中心实现基于存储的两地三中心IT 基础架构支持体系。

核心存储需求描述：

- 承载行内核心业务，主要为事务型的数据库处理为主，FC SAN 存储架构。

- 单套存储设备具备6*9 的高可用性。

- 具备高性能闪存磁盘，存储访问延时要求1ms。

- 具备可信的数据缩减技术，增效降本。

- 具备业务感知的动态的存储自优化技术。

- 成熟可信的两地三中心的存储复制容灾技术。

- 行业成熟可信的存储落地参考案例。

# 3. 核心存储架构设计与选型

**存储架构的设计原则**

我行在设计存储基础架构时，强调方案的整体性、存储系统和SAN网络的有机结合，同时考虑存储系统的高可用性、高可靠性、可管理性和可扩展性等诸多方面的因素，以满足企业未来业务发展的需求。在架构方案设计中强调并认真遵循以下设计原则：

- 1. 可管理性：具有良好的可管理性，使管理人员能方便及时地掌握软硬件系统的工作状态、故障状况、性能统计等信息，能简便地对系统进行在线配置、调整，确保系统状态良好。

- 2. 安全性：存储系统的设计必须贯彻安全性原则，以防止来自网络内部和外部的各种破坏，达到防窃听、防窃取、防攻击、防侵入，具备对入侵者监视和跟踪技术的目的。

- 3. 先进性：采用先进的设计思想和系统架构，选用先进的软硬件平台，使系统在未来一定时期内保持技术上的先进性，存储系统应具备可信的数据缩减能力并且可基于当前AI人工智能的存储优化算法实现业务负载的感知与自优化技术。

- 4. 开放性：系统设计及设备选型遵从国际、国家标准，使系统具有开放性和兼容性，应用系统基于主流的操作系统、数据库系统和中间件平台。

- 5. 可靠性：系统的设计必须贯彻可靠性原则，使系统具有很高的可用性，系统的关键组成部分要求可以采用多种冗余容错技术，确保系统没有单点故障。

- 6. 可扩展性：存储系统设计在充分考虑当前情况的同时，支持系统规模的扩大和业务的扩展，应能够满足未来3年内的规划需要。

**存储SAN网络架构的设计原则**

- 可靠性原则

充分保证SAN网络架构的高容错能力，采用按需资源分配技术，满足各项可靠性指标。实现本地不停机扩容、维护、升级等服务，保证系统具备7×24×365 连续工作的能力。

- 可实施性原则

为降低SAN存储系统建设、改造和实施的风险，最大限度地减少对应用系统运行的影响，进行合理的规划设计，最大限度的减少SAN网络改造实施给业务系统带来的影响。

- 经济性和投资保护原则

在SAN网络规划过程中，应充分考虑生产中心SAN网络设备的性能价格比和原有资产设备的利旧使用，最大限度地降低SAN网络系统建设的成本。

- 可管理性原则

配置管理：在一个SAN网络中可以方便的操作控制设备完成设备配置、维护、划分ZONE及数据收集。性能分析：管理性能以满足服务水平;分SAN网络中各种冲突，了解应用程序的未来对SAN网络需求能够优化SAN网络。

问题收集：能够检测、隔离、正确报告SAN网络中出现的各种事件。

**核心存储设备选型**

全球以及国内公认的主流存储解决方案供应商主要有IBM、DELL EMC、HDS、华为等，我行起初重要业务系统存储均采用IBM DS8000 系列存储阵列，在2016 年存储替换与优化工作中，经过多方面的参考与分析以及详细的POC测试，并且结合行业案例与口碑，我行选择了采用DELL EMC VMAX 40K ，配置为SATA FC磁盘与SSD闪存磁盘的混合存储进行了替换原有存储设备。在整体的存储替换工作期间我们选取了IBM、HDS、DELL EMC、HUAWEI 等相关高端产品系列做参考，在同行业使用案例方面，根据对国内同业使用存储的不完全调查统计，众多的金融行业，包括银行、保险等的核心系统及两地三中心容灾架构存储选型均采用了DELL EMC存储解决方案，并且市场需求已经慢慢向全闪存储趋势发展。在机房占地空间和配电用电方面，也是我行IT基础架构建设中关注和考量的重要指标之一，现有IBM DS8000存储设备由于体积大、耗电量大的问题带来诸多的后期能耗成本及运维管理问题，DELL EMC高端存储系列对比IBM DS8000有极大的优势，所以也是希望通过新一代高效、智能、简单存储系统和硬件架构的优化替换解决此问题。在存储性能方便，全闪存存储产品在2016年前后进入市场全面推广期，技术已经成熟稳定，性能较传统存储有非常大的提升，产品的整体价格也趋于稳定。因此，在核心存储未来的架构建设及改造中将采用DELL EMC的高端全闪存储。

**DELL EMC 高端全闪存储介绍**

DELL EMC Symmetrix 是全球业界高端存储最早、也是唯一一家持续至今不断优化发展、引领的存储产品系列，在全球及国内同行业具有较多的成功案例和使用口碑，我行在2016 年至今也逐步在替换原有老旧存储设备采用DELL EMC高端传统FC 磁盘+SSD 闪存盘存储系统，并且将在后续架构改造中将由原有的混合存储系统过渡到全闪存储。

![](/home/attachment/202203/28/550_164843443820319.png)

**DELL EMC高端全闪存系统概述**

DELL EMC高端企业全闪存储产品已经实现“中国制造”，由戴尔科技集团厦门工厂生产，从厦门工厂发往亚太地区40多个国家，做到了高端存储，中国制造，这也意味着戴尔中国制造能力的完善，使得中国企业可以得到更多的本地化的技术支持与更好服务和使用体验。

DELL EMC高端全闪存在企业存储市场中一直树立着行业的基准，为苛刻业务应用环境以及最大空间优化而设计，对高容量闪存驱动器独特的支持能力，使其与众多全闪存备选方案相比优势显著，脱颖而出。基于NVMe 的全闪存存储技术为行业标准闪存驱动器带来的更高的闪存驱动器密度，经济高效的规模和更快的处理速度。 在购置成本和总体拥有成本方面，容量更大的闪存驱动器提供了极具吸引力的混合阵列替代方案。高端全闪存的其他优势包括性能的增强、可预测的延迟、密度的提升、功耗和冷却成本的降低以及驱动器更换频率的减少，这将加快今后基于 DELL EMC高端全闪存储系统的部署能力。

**现代体系结构：**

业界最早支持NVMe端到端的全闪存储，标配采用端到端NVMe的未来无忧多控制器横向扩展体系结构，以更大限度提高新型介质（包括闪存和SCM）的性能，并且支持全局的存储横向扩展架构。

**智能化软件：**

DELL EMC高端全闪存储内置机器学习引擎，使自主存储成为现实；该引擎利用预测式分析和模式识别来更大限度地提高性能，且没有任何开销。实时分析和预测4000万个数据集，每天做出60亿个决定。连续的智能数据放置无需管理开销，可以节省大量时间，以最小的成本确保最大的性能。

**优化的存储效率：**

具备最新的线内重复数据消除和压缩技术，将实现 3.5:1的数据缩减率。另外，重复数据消除和压缩对性能几乎没有影响，它们可与所有数据服务搭配使用，而且可以由应用程序打开和关闭。

**任务关键型可用性**

使用 SRDF/Metro Smart DR可进行的双活数据中心复制、2地3中心以及4中心的复制容灾拓扑，可无中断硬件和软件升级，具有高度弹性、不含任何单点故障的体系结构，避免计划外宕机对业务的影响。

- 4. 核心存储系统容灾建设实践应用及日常维护与监控

为建立一个稳定、完善的存储架构，在主生产中心将业务系统按照不同的业务类别及业务优先级使用不同的存储资源，实现可以动态调整的存储资源池。

存储项目建设目标如下：

- 1. 设计和实施集中和分流部署机房的存储方案。

- 2. 改善现有数据传输流程，优化集中存储空间使用和部署。

- 3. 为后续存储扩容提供兼容性选择，彻底摆脱存储扩容的局限性。

以我行为例，主生产中心，2016年存储替换项目利用DELL EMC VMAX 40K 替换了IBM DS 8700 存储，1台VMAX 40K 作为核心存储承载所有业务系统。

同城容灾中心，由1台VMAX 40K 实现了基于DELLEMC SRDF 技术的存储同城同步复制容灾架构，实现同城容灾保护。

异地容灾数据中心，采购了1 台VMAX 40K实现了基于DELL EMC SRDF 技术的存储异步复制容灾架构，实现了异地容灾保护。

2018 年采购了DELL EMC VMAX 200K混合存储，将原有40K核心业务迁移到了新的VMAX 200K 上，并利用基于存储同步复制技术实现同城同步复制。

2021 年对DELL EMC VMAX 200K 混合存储进行了性能扩展和扩容，进行了闪存盘的扩展，提升了整体存储的容量和性能处理能力。

后续计划利用最新的DELL EMC高端存储进行40K替换，承载未来的业务数据，提升容量和性能，保留现有SRDF容灾复制架构拓扑。

**两地三中心容灾架构：**

主生产中心：承担集团所有企业的生产系统、内部办公系统、准生产验证、研发测试等环境的设备运行与维护工作，分支行网点、社保等三方机构、网上银行等外联线路的主要接入点。

同城容灾中心：承担集团企业的关键系统的容灾运行服务，按应用系统风险度评估结果，差异化配置同城容灾资源，能快速恢复核心业务，保证网点、线上业务正常服务，监管报送类系统能够及时报送，并满足监管对于RTO、RPO 的基本要求。

【业务高峰期，作为辅助资源分流业务流量】

**异地灾备中心：**

- 1、数据级容灾：核心系统等关键生产系统的数据级容灾，确保关键生产数据完整、安全，满足监管最低要求。（数据分析与报表服务类业务的辅助资源）

- 2、应用级容灾：在极端情况下，能够恢复网点基本营业，保障基本的对客户服务能力，满足监管要求。

![](/home/attachment/202203/28/550_164843446670582.png)

**DELL EMC 高端存储SRDF 技术**

Symmetrix ® Remote Data Facility (SRDF)是一种基于 Symmetrix 的用于保障业务连续性和远程灾备的解决方案，通过对多台 Symmetrix 进行配置，在不同地点实现多点、实时的 数据备份。Symmetrix 从最早的DMX系列，到配置Enginuity VMAX10k、20k、40k 阵列，再到运行 HYPERMAX VMAX100k、200k、400k、全闪250F/450F/850F/950F，发展到运行PowerMaxOS 的 PowerMAX2000、8000 系列，SRDF技术也在不断迭代，适应硬件架构的改进。 典型的拓扑结构和操作模式变化不大，只是结合 TimeFinder 等技术，与集群软件的配合， 衍生出众多应用不同场景的方案来满足用户的不同业务及数据存储容灾使用方案。

DELL EMC 高端存储基于SRDF技术的两地三中心容灾环境存储拓扑图

核心业务数据：使用SRDF/S 从主生产中心DELL EMC高端存储同步复制到同城容灾中心。非核心关键业务数据，使用SRDF/S 从主生产中心高端存储同步复制到同城容灾VMAX40K（后续逐步替换）。通过SRDF/A从同城容灾中心VMAX40K（后续逐步替换）异步复制至异地灾备中心VMAX40K（逐步替换），实现两地三中心架构。

![](/home/attachment/202203/28/550_164843447855731.png)

**Dell EMC 高端存储日常维护与监控：**

Dell EMC 高端存储的日常维护：

- 1、WEB 界面方式：Unisphere是一款基于 Web 的应用程序，便于快速调配、管理和监视存储系统。WEB 界面可以通过存储自身的虚拟控制台登录，也可以连接到安装了 Unisphere的管理主机上进行登录管理。部署Unisphere管理主机时需要与存储在 SAN 网络联通，并识别到 GateKeeper 管理磁盘， 安装部署 Solutions Enabler 软件 和Unisphere软件，网络上开通 8443 端口。WEB 登录的访问地址：https://IP:8443/XXXXXXX/，可针对存储逻辑卷，存储端口、主机端口、映射关系、数据保护等进行管理、变更及性能监控等操作。

- 2、命令行方式：Solutions Enabler 提供管理存储的综合命令行界面(SYMCLI)，SYMCLI 命令可以在管理主机上交互运行或者在脚本中调用，可用于配置 TimeFinder、SRDF 等存储软件功能，监控设备配置与状态，执行部分设备控制操作，具备 REST API 接口。

![](/home/attachment/202203/28/550_164843450899592.png)

**DELL EMC存储监控：**

- 1、通过Unisphere WEB 界面方式进行VMAX 存储监控，在Unisphere中可查看存储当前的运行状态及性能监控。

![](/home/attachment/202203/28/550_164843453595430.png)

- 2、自动远程监控：如果用户的网络条件允许存储设备通过加密互联网配置Dell EMC 远程监控及支持系统,（包括 call home，Webex、ESRS 等模式）,系统会自动报修设备异常并由DELL EMC 远程工程师处理解决，需要现场维护的时候，自动远程系统会通知现场工程师进行现场维护。但出于行业监管和安全的要求，多数金融行业用户普遍需要采用本地监控方式自行监控处理故障。

- 3、WEB 查看存储状态及告警 在 Unisphere中 SystemDashboard 中查看存储各硬件部件状态及健康检， 运行健康检查 HealthCheck之后刷新检查当前 Status 系统状态：
![](/home/attachment/202203/28/550_164843454747971.png)
![](/home/attachment/202203/28/550_164843455314805.png)

- 4、可通过DELL EMC基于开源Prometheus、Grafana、Zabbix监控解决方案进行高端存储及第三方存储监控平台建设，实现DELL EMC存储及基础架构环境的统一监控与管理。
![](/home/attachment/202203/28/550_164843455986052.png)
![](/home/attachment/202203/28/550_164843456392889.png)

# 5. 总结

我行在核心存储优化与替换工作中，存储数据切换顺利并且在性能、可靠性、可管理性及容灾复制RTO、RPO等指标中都有了全面提升，随着业务不断发展、以及存储技术的不断迭代，在后续存储建设中将以全闪存储技术作为技术选型。存储替换后，在核心数据库、报表、企业服务总线等系统的处理性能都有明显提高。详细对比细节如图：

![](/home/attachment/202203/28/550_164843457160621.png)

DELL EMC高端存储存储在功能、性能、效率、可靠性和易用性上都达到业界领先水平，很好的满足了大型数据库 OLTP/OLAP、文件共享、云计算等各种应用下的数据存储需求，广泛适用于政府、金融、电信、能源、媒资等行业。同时，DELLEMC高端存储能够提供高效、灵活、丰富的备份（TimeFinder SnapVX 技术）、容灾解决方案（SRDF 存储复制技术），有效保证用户业务连续性和数据安全，为用户提供卓越的存储服务。

**文章作者：**
郭恺，2005~2015就职于 IBM 公司，2015~至今就职于哈尔滨银行数据中心，金融业7年+工作经验。从事存储技术支持 15年+ 。在容灾项目架构设计与实施、存储系统性能监控与调优以及运维管理有丰富经验。主要负责行内及子公司的存储、负载均衡等设备运维管理、项目管理与实施工作，曾参与行内新一代核心系统建设、容灾建设与切换演练、超融合架构方案设计、NAS 双中心多活等项目。

Dell EMC 高端存储金融存储选型存储核心系统

著作权归作者所有

如果觉得我的文章对您有用，请点赞。您的支持将鼓励我继续创作！

添加新评论3 条评论

匿名用户
2022-04-17 16:16

感谢分享

huijx系统运维工程师某银行
2022-04-11 22:04

比较经典的方案，架构层次清晰分明，充分利用了高端集中式存储的各项优点

ghl116

软件开发工程师兴业数金
2022-04-10 22:53

【文章价值点】俗话说得好，“基础不牢，地动山摇”。存储设备和存储技术作为金融业重要的基础设施，在业务系统进行数据信息存取以及数据安全可靠性保障中发挥了不可替代的作用。因此，对于存储的技术选型及架构设计，需要非常慎之又慎。作者以城市商业银行的存储升级项目为背景，详细的介绍了存储的优化与替换工作面临的挑战与问题、存储架构设计与选型、存储系统容灾建设实践应用及日常维护与监控。作者特别对于两地三中心容灾架构和异地灾备中心下的存储架构进行了说明。最后，将存储更换前后，进行了性能的对比分析，让大家对于DELL EMC高端存储有了更直观的认识。【文章建议】文中提到，在存储的选型方面，经过多方面的参考与分析以及详细的POC测试工作，建议对于各家厂商的存储产品POC情况，进行一定的描述，方便同业借鉴学习。

Ctrl+Enter 发表

匿名评论

金融行业基于Dell EMC高端存储的核心系统实践经验分享

添加新评论3 条评论

本文隶属于专栏

作者其他文章

相关文章

相关问题

相关资料