技术丨金融行业的 NVMe 存储网络该怎么建？就看这一篇
浏览量：613 上传更新：2023-07-28
![技术丨金融行业的 NVMe 存储网络该怎么建？就看这一篇]( "技术丨金融行业的 NVMe 存储网络该怎么建？就看这一篇")
思科联天下 思科联天下 2023-07-27 17:01 发表于北京
金融行业的数据安全直接关乎资金安全，因此存储设备在其 IT 系统中占有举足轻重的位置。集中式存储是金融业常见的存储方式，在金融行业已经使用了超过二十年。很多银行都构建了为存储数据而配套的存储区域网络（SAN），经过多次迭代发展一直稳定运行。近年来随着 IT 技术的不断演进，新的产品组合和投资策略的不断涌现也给存储和存储区域网络 (SAN) 带来了新的变化，对金融行业传统的集中存储造成冲击。很多金融企业面临着存储网络技术如何选择的问题。根据金融行业 IT 发展趋势，对于 OLTP 数据库应用，本地 NVMe SSD 盘或高端 NVMe 全闪存储是合适的选择；对于云环境下虚拟化和基于容器的应用，分布式块存储或带有重删压缩功能的中高端 NVMe 全闪存储有更加明显的性价比优势；对于非结构化数据和归档数据等面向对象存储的应用，可以选择大容量的低成本存储。总的来说，支持 NVMe 协议设备的使用越来越普遍。 端到端 NVMe 协议的使用，既能够释放闪存介质的性能潜力，也能实现建设更标准通用的数据中心网络，从而真正满足计算资源对存储的高性能要求，因此已成为高端全闪存储的标配。随着成本的进一步下降，NVMe+SSD 的组合也必将在中低端存储中使用。不管是 SAN 网络还是 IP 网络，传输环节对 NVMe 协议的支持是大势所趋，NVMe-oF（NVMe over Fabric）业界目前有两类解决方案，一类是基于传统 FC 的方式，另一类是基于 RoCE（RDMA over Converged Ethernet）的方式。性价比、稳定性和安全性等方面的综合因素决定了存储网络技术的选择。我们将分两期为大家介绍，本期针对 NVMe 技术以及 NVMe-oF 技术进行探讨，分析不同的 NVMe-oF 的优缺点；下期内容针对如何选择合适的 NVMe-oF 进行讨论，以及思科针对金融行业在不同场景下的解决方案和建议。
首先我们来探讨一下 NVMe 和 NVMe-oF 技术本身。
目前 SAN 系统使用的主要数据传输协议有 FC Protocol、iSCSI 和 FCoE。这些都是建立在 SCSI 之上的，SCSI 是一套 1970 年代为软盘和硬盘驱动器设计的接口标准。
NVMe 标准是在过去十年中制定的，专门设计用于充分利用闪存、固态驱动器 (SSD)、NVMe 连接的 SSD，甚至是尚未发明的存储技术。与 SCSI 的单个命令队列（深度为 32 个命令）不同，NVMe 支持 64K 队列，每个队列有 64K 个命令，这意味着可以同时执行更多数量的命令。
NVMe 的第一次迭代专注于优化通过高速外围组件互连(PCIe)高速总线连接的计算机和本地 NVMe 介质之间的 I/O。当它发展到 NVMe-oF 时，一个关键的设计目标是确保它支持尽可能广泛的结构和网络协议。今天，有三种主要的数据传输协议：NVMe over Fibre Channel（NVMe/FC）、NVMe over RDMA （NVMe/RDMA) 和 NVMe over TCP（NVMe /TCP）。这是因为 NVMe 数据传输标准有两个不同的方面：•作为跨 Data Fabric 的主机和存储控制器之间的 “前端” 协议，即作为 NVMe over Fabrics (NVMe-oF)很重要的是，在大多数情况下，NVMe 的潜在速度提升只有不到 20% 是来自于使用的后端 NVMe 介质，80% 或更多的好处来自于使用 NVMe-oF 取代基于 SCSI 的前端数据传输协议。因此请始终确定所讨论的存储系统是否真的在运行 NVMe-oF ，而不仅仅是后端 NVMe 闪存介质。
将 NVMe 的大规模并行性引入 Data Fabric 有望带来巨大的性能提升。接下来，IT 领导者和架构师面临的问题是，综合考虑性能、可靠性和成本上的巨大差异，选择合适的架构。 自 2016 年发布以来，NVMe-oF 标准旨在确保 NVMe 命令集可以通过尽可能广泛的架构和网络传输协议进行传输。
今天，IT 世界的主要数据传输协议是：
•光纤通道 (FC)：大多数企业 SAN 系统使用的主要协议，用于在存储设备和服务器之间传输数据。
•远程直接内存访问 (RDMA) ：在计算机系统之间不依赖操作系统直接访问内存的各种方式。•传输控制协议/互联网协议 (TCP/IP) ：使用 TCP 传输协议跨 IP 网络传送数据，就像互联网一样。
•NVMe over FC：封装在 FC 框架内的 NVMe 命令集。它依赖于分区等常见的 FC 进程，并且可以轻松地与今天的标准 FC 协议共存，其中 NVMe 命令集被封装在 FC 帧中。
•NVMe over RoCE (NVMe/RoCE)、InfiniBand 和 iWARP：一个新兴的替代方案是 RoCE v2，它在物理融合以太网（数据中心桥接无损以太网网络）上使用 RDMA。•NVMe over TCP (NVMe/TCP)：NVMe 通过以太网作为物理传输在 TCP 数据报内部传输。尽管 RoCE 和 NVMe/TCP 都使用以太网，但 NVMe/TCP 的行为更像 NVMe/FC，因为它们都使用 I/O 的消息传递语义。
大多数企业目前将其关键任务工作负载委托给基于 FC 的 SAN 系统，因为它们始终如一的高速、高效和可用性。◆优点：
▎NVMe/FC 提供了非常大的性能提升并减少了工作负载延迟。▎FC 协议稳定、成熟、高效、速度极快，并提供始终如一的高性能。▎当前可用的存储系统可以通过使用相同的结构组件（HBA、交换机等）同时托管和支持 NVMe/FC 和 FC 流量，因此用户可以轻松从 FC 过渡到 NVMe/FC。▎借助 NVMe 解决方案，无需更改应用程序即可实施 NVMe/FC，因此无需对网络基础架构做替换性升级。▎NVMe/FC 比其他 NVMe-oF 选项更成熟，现在在 NVMe-oF 领域拥有最大的生态系统。◆缺点：
▎NVMe/FC 依赖于 FC 结构，因此可能不太适合没有 FC 结构或试图摆脱 FC 结构的组织。
RDMA 是一种在网络中两台计算机的主内存之间交换数据的方式，无需涉及任何一台计算机的处理器、缓存或操作系统。因为 RDMA 绕过操作系统，它通常是通过网络传输数据的最快和最低开销的机制。企业计算中有两种主要的 RDMA 变体：InfiniBand 和 RDMA over Converged Ethernet (RoCE)。3.2.1 InfiniBand 上的 NVMe (NVMe/IB)InfiniBand 是最早的 RDMA 实现之一，以超快的性能著称。尽管具有优势，InfiniBand 并不像其近亲 RoCE 或企业标准 FC 那样流行。▎非常快速的协议。
▎广泛用于大数据分析（例如 Hadoop 工作负载）和科学计算。
3.2.2 RoCEv2 上的 NVMe (NVMe/RoCEv2)在 RDMA 协议中，崭露头角的竞争者是 RoCE，它在融合以太网上运行，融合以太网是以太网协议的一组数据中心桥接 (DCB) 增强功能，旨在使其无损。RoCE v1 在第 2 层运行，即开放系统互连 (OSI) 模型中的数据链路层。因此，它不能在子网之间路由，所以它只支持同一以太网网络中的两台主机之间的通信。RoCE v2 更有价值，因为它使用用户数据报协议 (UDP)，因此与 NVMe/TCP 一样，在 OSI 第 3 层运行并且可以路由。▎NVMe/RoCE 使用以太网网络进行传输，充分利用了广受欢迎的网络标准。
▎RoCE v2 产品由多家企业存储供应商开发。
▎RoCE v2 目前有一个非常小的生态系统，只有少数版本的操作系统支持，并且不支持存储高可用性或多路径。▎以太网从根本上讲是有损的：它旨在应对不可靠的网络，因此有很多纠错和重传选项。然而，用于 NVMe I/O 的融合以太网（RoCE 中的 “CE”）网络必须是无损的，这需要优先流控制 (PFC) 和显式拥塞通知 (ECN) 等机制。因此，融合以太网网络具有严格的容差，使其难以扩展。▎大多数考虑采用 RoCE v2 的组织都需要购买相对昂贵的专用 DCB 网络交换机和 RDMA 网络接口卡 (RNIC)。DCB 网络可能难以设置和扩展。迄今为止，FC 或 InfiniBand 网络的成本使一些组织无法进入 NVMe-oF 市场。为了填补市场空白， NVMe.org 联盟开发并发布了新的 NVMe-oF 标准 (NVMe/TCP)，该标准使用以太网 LAN 和 TCP 数据报作为传输。事实上，2018 年 11 月，NVMe 标准机构批准 NVMe/TCP 作为一种新的传输机制。未来，TCP/IP 很可能会发展成为 NVMe 的重要数据中心传输。•基于 TCP 的 NVMe
◆优点：
▎该标准使用 TCP 作为传输。TCP 非常普遍、易于理解且高度可扩展。▎尽管使用以太网进行连接，但 NVMe/TCP 更类似于 NVMe/FC，因为两者都使用消息进行核心通信，这与基于 RDMA 的协议（如使用内存语义的 RoCE）不同。▎TCP 世界中有一个庞大的供应商生态系统，他们在提高其性能方面进行了大量投资。在未来几年，速度可能会显着提高。◆缺点：
▎网络设计会对 NVMe/TCP 性能产生巨大影响。特别是，缓冲区的分配需要 “恰到好处”。太多缓冲会增加延迟，太少会导致丢弃和重传。
▎NVMe over TCP 是 NVMe 的最新结构技术，尚未全面商用。
从以上各种技术的比较不难看出，目前最为成熟的 NVMe-oF 的方案应该还是 NVMe/FC，这一点也得到了业界厂商的普遍认可。那么如何选择适合企业自身需求的方案呢？下期我们将与您分享思科的建议和方案，敬请期待。
