作為一種軟硬一體化的基礎設施架構，超融合具備易運維、易部署等優勢，在多種行業與場景中得到了廣泛應用。在金融、醫療等行業的部署中，面向數據庫等場景的超融合一體機面臨著巨大的存儲性能挑戰，用戶需要提升數據吞吐能力并降低時延，以支撐關鍵型業務的高效運行。

　　為提升存儲子系統的性能，浪潮使用了存儲性能開發套件(SPDK)，并通過NVMe over Fabrics(NVMe-oF)協議進行加速。NVMe-oF協議作為iSCSI協議的替代者，可以讓主機以使用本機 NVMe協議方式訪問分布式存儲，提供低延時、高吞吐的塊存儲設備，解決了內核態驅動讀寫NVMe磁盤時可能會出現的內核上下文切換和CPU中斷問題。優化后的方案能夠為客戶虛擬機提供高性能的分布式存儲，降低總體時延和減少時延差異。

　　金融與醫療行業面臨存儲性能瓶頸

　　近年來，越來越多的金融與醫療機構開始擁抱超融合，希望通過部署超融合一體機等方式，對硬件加以重構，以軟件定義的方式打造靈活高效的IT基礎設施。在擁抱超融合的同時，金融與醫療機構也非常關注超融合能否提供強大的存儲能力。

　　如今NVMe SSD的IOPS已經遠遠高出HDD磁盤，時延從毫秒壓縮到微秒，系統的性能瓶頸也由存儲硬件本身逐漸轉移到網絡及處理器上。傳統文件系統和調度器等方法由于無法充分發揮新存儲介質的性能，成為存儲系統的新瓶頸，具體包括：

　　利用常規的NVMe內核驅動讀寫NVMe磁盤時，會遇到內核上下文切換和CPU中斷問題。在高性能的全閃存儲中，中斷意味著時延的不確定，會導致較大時延和性能開銷。

　　在傳統的I/O模型中，應用程序提交讀寫請求后進入睡眠狀態。待I/O完成后，中斷會將其喚醒，中斷開銷成為了整個I/O時間中非常重要的一部分。

　　浪潮云海超融合一體機 InCloud Rail實現多維創新

　　作為新一代超融合解決方案，浪潮云海超融合一體機InCloud Rail通過軟件定義的計算、存儲和網絡技術實現了服務器的資源池化，使整個IT環境比單獨的物理硬件具有更高的可用性、安全性和擴展性，能夠有效滿足企業對于降低成本、簡化管理、提高安全性和擴展性的需求，助力企業向云計算遷移核心業務、構建企業云數據中心。

　　InCloud Rail實現了存儲資源的池化和統一管理，并通過全閃存架構的軟件定義存儲SmartONE支持異構算力的融合。SmartONE采用etcd組件作為集群管理，負責分布式存儲的節點的關系、節點之間的元數據傳遞及一致性等。在資源管理方面SmartONE提供了qemu、iSCSI和NVMe-oF的服務入口，對接VDI卷管理入口，對外提供存儲資源。在對象存儲方面，SmartONE主要接收VDI的IO請求，根據數據分布算法調度到相關節點，根據副本策略和EC規則調用Gateway分發到分布式存儲的存儲節點。　　

　　圖1. 浪潮云海超融合一體機InCloud Rail架構　　

　　圖2. 浪潮SmartONE軟件架構

　　為了滿足數據庫等實時讀寫、隨機訪問超大規模數據集等場景對于存儲性能的嚴苛要求， InCloud Rail除了探索使用新一代存儲介質之外，在SmartONE分布式存儲的單機存儲引擎、NVMe-oF存儲服務等模塊中，采用了SPDK進行優化。

　　單機存儲引擎方面，浪潮SmartONE分布式存儲基于SPDK的NVMe驅動實現了高性能底座，支持和NVMe磁盤設備直接交互，同時采用無鎖設計，并行處理IO命令。此外，NVMe上層實現了專屬NVMe的單機存儲引擎系統，該引擎系統通過基于內存的元數據和日志管理系統，有效避免了傳統文件系統的雙寫問題。測試數據顯示，浪潮SmartONE分布式存儲的單機存儲引擎幾乎達到了NVMe物理硬盤支持的性能上限。　　

　　圖3 專屬 NVMe 的單機存儲引擎系統

　　NVMe-oF 分布式存儲服務方面，NVMe-oF分布式存儲服務為超融合平臺提供兩種塊服務解決方案，其一是采用vhost-user技術方案，可以為虛擬機提供更短的IO路徑;其二是作為存儲服務，為服務器提供NVMe-oF的TCP/RDMA的塊服務。SmartONE利用SPDK vhost-user技術，直接消除Guest虛擬機通過PCIE方式訪問NVMe設備，避免內核更新PCI配置空間;同時直接在用戶態捕獲QEMU虛擬IO，以零拷貝方式將數據傳輸到存儲系統中。

　　SmartONE支持以NVMe-oF存儲協議方式提供塊存儲服務，它可以提供TCP和RDMA兩種形式的外部訪問。NVMe-oF存儲協議作為iSCSI協議的替代者，可以讓主機以使用本機NVMe協議的方式訪問分布式存儲，提供低延時、高吞吐的塊存儲設備。　　

　　圖4 SmartONE NVMe-oF分布式存儲服務

　　消除性能瓶頸，打造高性能存儲

　　浪潮SmartONE分布式存儲系統能夠充分發揮NVMe固態盤的性能潛力，應對在IOPS和時延方面有著較高要求的數據庫應用場景。

　　顯著提升存儲系統的性能，并降低數據時延，能夠滿足有著苛刻要求的數據庫應用場景，同時有效控制分布式存儲系統的總體擁有成本(TCO);

　　集成于超融合一體機中，能夠通過一體機所預置的虛擬化平臺、云管理平臺、快速部署工具以及相關的工作流程，顯著簡化部署、管理和運維工作的復雜性。

　　未來，浪潮還將堅持以用戶為中心，緊密結合前沿技術發展趨勢與市場需求，持續創新引領、迭代優化，打造集融合至簡、性能不凡、強大可靠、開放生態特性于一身的超融合一體機，持續為用戶業務上云、數字化轉型升級貢獻力量。