計算機體系中計算與儲存分離的優勢小議

由於傳統的通用資料中心架構對計算與儲存的緊耦合組織已經不能滿足新型應用在計算效能、資料訪存、資源合理利用、成本以及可擴充套件性等方面的差異化需求,所以,實現計算與儲存的物理分離和邏輯融合成為了未來資料中心設計的一大重點。這一新趨勢,已經在工業界得到了初步驗證,例如,無伺服器(serverless computing)架構憑藉其高性價比、高伸縮性與敏捷開發的優勢,近年來獲得了學術界與工業界的廣泛關注。在無伺服器計算架構中,計算任務的執行與資料的持久化儲存在物理上被分離開。以亞馬遜雲服務(AWS)為例,Lambda服務提供雲函式服務,負責計算任務的排程、執行與擴充套件;而持久化資料的海量儲存,則可透過S3與DynamoDB等物件儲存服務與鍵值儲存服務得到保證。在計算與儲存分離之後,平臺管理者可以針對每一種資源進行有針對性的統一排程與管理,從而提高各種資源的利用率、節省空間成本與能耗開銷。同時,平臺使用者也可以節約大量管理伺服器的時間精力、提高研發效率。

計算機體系中計算與儲存分離的優勢小議

而另一方面,隨著智慧網絡卡、低延遲網路、NVMe SSDs、NVMe over Fabrics等高效能硬體以及底層通訊協議的出現和發展,資料中心內部的本地資料獲取和遠端訪問之間的效能差距變得越來越小。同時,LegoOs的提出也為進一步設計計算、記憶體和儲存相分離的未來資料中心帶來了新的思考。然而,如何利用這些新興技術實現一個計算、記憶體和儲存分離的高效能資料中心,對現有儲存系統帶來很多挑戰。當前資料中心採用的仍然是直連式儲存(Direct-Attached Storage,DAS),該方式雖然結構簡單,但其與CPU的緊耦合組織大大降低了資源利用率。我們需要將儲存資源從計算節點中剝離出來,整合並形成獨立的、支援低延遲高吞吐的儲存系統。因此,設計全新的儲存方案是當前亟待解決的一個問題。

計算機體系中計算與儲存分離的優勢小議

隨著計算機軟硬體和使用者需求的發展,資料中心對於計算和儲存資源的需求也越來越高,計算和儲存整合在一個伺服器的資源分配機制已經無法滿足使用者的使用需求。比如,廣泛的資料中心應用在服務效能和儲存成本之間有著截然不同的取捨。根據實時資料的訪存情況,權衡代價進行層次化(tiered)儲存成為了趨勢。然而,傳統的部署方式已經難以滿足層次化儲存對自動擴充套件、高效性的要求。近年來,得益於資料中心內高速網絡卡和網際網路絡的普及,網路訪問儲存帶來的額外開銷變得可以接受,從而促進了計算與儲存分離架構的演進和發展。計算儲存分離是更高級別的資源虛擬和融合的思想,這種架構將儲存能力和計算能力分開,各自服務化,透過高速網路連線,上層計算對資料的訪問過程是透明的。與傳統的儲存計算耦合部署模型相比,分離架構有以下優勢:

1。 對於不同型別的叢集,可以針對性地部署更加合適的伺服器;

2。 計算和儲存可以分別按需進行擴充套件,而不是一起擴充套件;

3。 不同叢集可以有不同的升級週期;

4。 劃分了運維職責,更加便於管理;

5。 提高了資源利用率,降低了能耗開銷。

計算機體系中計算與儲存分離的優勢小議

國內外廠商在計算與儲存分離方面已經有了較多的實踐。早在2006年,亞馬遜公司便推出了物件儲存服務Amazon Simple Storage Service(Amazon S3),透過提供RESTful API讓使用者方便地使用該服務,並提供了基於無服務架構的查詢服務Amazon Athena,對儲存在S3上的資料進行SQL分析。同時,該公司的雲大資料平臺Amazon Elastic MapReduce(Amazon EMR)也為使用者提供了將計算層與儲存層分離的方法,使使用者能彈性改變自己的資源需求並節省成本。國內廠商在此方面也邁出了向前的腳步。例如,阿里巴巴公司開發了面向雲資料庫的分散式檔案系統PolarFS,將其與該公司研發的PolarDB配合使用,可將計算資源與儲存資源分離,在低延遲、高可用方面取得了進步。

2012年,在雲計算和硬體技術不斷髮展的基礎上,威睿公司(VMware)提出了軟體定義資料中心(SDDC)和軟體定義儲存(SDS)的概念,這些概念在隨後的實踐中不斷被髮展完善。軟體定義將硬體資源抽象化,使得儲存和計算等資源能夠方便地被使用者管理和使用。IBM公司則將軟體定義儲存的思想用在了該公司的Hadoop中,為使用者提供彈性服務;StoneFly利用其儲存虛擬化方案StoneFusion來儲存與管理PB級的企業資料。

TAG: 儲存計算資料中心分離架構