近年來,隨著海量視頻信息的快速增長,傳統(tǒng)的安防技術越來越難以滿足部分行業(yè)在傳輸、存儲及大數(shù)據(jù)計算分析上的需要,或者說很難以更低的成本、更靈活的擴展性、更健壯更可靠更安全的系統(tǒng)架構來滿足這些需要。因此,云計算的概念這兩年開始越來越多的滲透到安防領域。其中,云存儲取得的突破性應用尤為引人注目。本文將主要就云存儲在安防領域的應用展開分析。
網(wǎng)絡化技術的普及,使得視頻資源的聯(lián)網(wǎng)共享成為很多行業(yè)日益迫切的需求,現(xiàn)有分散的視頻資源正在朝著大集中的方向推進;平安城市、智能交通等大行業(yè)市場通過點、線、面的密集覆蓋,每時每刻都在增加新的視頻源;720P,1080P,4K,更高的視頻分辨率意味更大的視頻信息量……
這些不斷增長的視頻數(shù)據(jù)在帶來海量視頻存儲需求的同時,也對當前的視頻存儲技術提出了一系列新的挑戰(zhàn):如何實現(xiàn)存儲容量的平滑擴展?如何有效的降低由此帶來的存儲成本?如何更可靠地保存、更安全地使用和更便捷地分享這些數(shù)據(jù)?如何解決越來越龐大的系統(tǒng)給維護管理帶來的困擾?
答案就在云存儲。
云存儲的定義
云存儲是在云計算概念上衍生和發(fā)展出來的一種技術或服務。將網(wǎng)絡中各類存儲設備匯集在云計算系統(tǒng)當中,通過云計算的概念組織起來協(xié)同工作,對外提供數(shù)據(jù)存儲和業(yè)務訪問的功能以及與存儲相關的增值應用,即稱為云存儲。
云存儲和云計算都是云架構的技術實現(xiàn),任何應用都需要一個計算模型、一個存儲模型和一個通信模型。云計算中,為了實現(xiàn)資源的彈性利用以及給用戶造成資源無限的假象,必須實現(xiàn)資源的復用。云存儲也是一樣,它通過虛擬化和精簡配置技術,讓資源的效益最大化。
與傳統(tǒng)的存儲設備相比,云存儲不僅僅是一個硬件,而是一個網(wǎng)絡設備、存儲設備、服務器、應用軟件、公用訪問接口、接入網(wǎng)和客戶端程序等多個部分組成的復雜系統(tǒng)。各部分以存儲設備為核心,通過應用軟件來對外提供數(shù)據(jù)存儲和業(yè)務訪問服務。
云存儲對外提供的是與存儲相關的服務。云存儲可以提供類似于磁盤陣列的裸空間服務,也可以提供基于存儲的特定服務。
云存儲的系統(tǒng)架構
要了解云存儲的系統(tǒng)架構,需要先了解其應用架構。我們以平安城市為例來看云存儲的應用架構。在平安城市中,云存儲可為多個系統(tǒng)提供存儲服務,包括視頻監(jiān)控、卡口電警、圖像資源庫、圖偵分析研判等。其可完成日常視頻錄像資源、各個案件中所涉及的視頻和圖片等資源、卡口電警所產(chǎn)生的車輛抓拍圖片等資源的統(tǒng)一存儲。
從應用架構上看,云存儲系統(tǒng)與傳統(tǒng)分布式存儲系統(tǒng)差異并不明顯,其更本質的區(qū)別其實體現(xiàn)在內部軟件架構上。
云存儲系統(tǒng)采用大規(guī)模分布式并行文件系統(tǒng),以大量的服務器和存儲設備為基礎,構建一個大規(guī)模存儲集群,提供上百PB的存儲容量,并能夠在線進行容量的擴充,由此搭建的大容量存儲系統(tǒng)整體成本遠低于傳統(tǒng)存儲架構,并且具有良好的可擴充性和靈活性。
云存儲系統(tǒng)通過元數(shù)據(jù)和存儲數(shù)據(jù)分離的非對稱式架構,通過負載均衡和數(shù)據(jù)并發(fā)訪問策略,在普通硬件條件下獲得高達數(shù)十Gbps的傳輸速率以及上百PB級的存儲容量,并可根據(jù)用戶應用發(fā)展的趨勢,適時按需進行在線動態(tài)擴展。與單機的文件系統(tǒng)不同,分布式文件系統(tǒng)不是將這些數(shù)據(jù)放在一塊磁盤上由上層操作系統(tǒng)來管理,而是存放在一個服務器集群上,由集群中的服務器,各盡其責,通力合作,提供整個文件系統(tǒng)的服務。
云存儲系統(tǒng)內置了基于對象數(shù)據(jù)管理策略,能夠保證在系統(tǒng)局部發(fā)生故障時數(shù)據(jù)的安全性和可靠性,徹底消除存儲系統(tǒng)中的單點故障,結合自動故障探測和快速故障恢復技術,確保用戶的應用持續(xù)穩(wěn)定地運行,同時減少部署和管理的難度。
更直觀的理解,云存儲系統(tǒng)本身也是構建在通用磁盤陣列之上的,它通過通過操作系統(tǒng)的API管理磁盤上的數(shù)據(jù),只不過這樣一個系統(tǒng)在邏輯上可以分為元數(shù)據(jù)節(jié)點(控制節(jié)點)、數(shù)據(jù)節(jié)點(存儲節(jié)點)、管理節(jié)點以及客戶端四個部分,這四個部分分別對應了上面提到的云存儲的4層結構模型:
1)元數(shù)據(jù)節(jié)點(控制節(jié)點)
元數(shù)據(jù)節(jié)點即控制節(jié)點,用于記錄所存儲的文件的各種屬性,相當于整個文件系統(tǒng)的大腦,管理各個數(shù)據(jù)節(jié)點,收集數(shù)據(jù)節(jié)點信息,了解所有數(shù)據(jù)節(jié)點的現(xiàn)狀,然后給它們分配任務,協(xié)調指示各數(shù)據(jù)節(jié)點為系統(tǒng)服務;
2)數(shù)據(jù)節(jié)點(存儲節(jié)點)
數(shù)據(jù)節(jié)點即存儲節(jié)點,用于管理磁盤和卷和存儲用戶的文件數(shù)據(jù),是整個存儲系統(tǒng)的存儲資源提供者,它同時還負責集群構建,包括節(jié)點管理和數(shù)據(jù)分片,并承擔數(shù)據(jù)冗余保護和對數(shù)據(jù)訪問的負載均衡;
3)管理節(jié)點
管理節(jié)點統(tǒng)一管理云存儲系統(tǒng)中的集群節(jié)點、文件、日志、告警、網(wǎng)關等,同時提供日志管理、性能監(jiān)控、配置管理、故障管理等能力,方便系統(tǒng)管理維護人員管理云存儲系統(tǒng);
4)客戶端
客戶端在一個獨立的進程中提供服務,為用戶提供文件讀寫、目錄操作等APIs,當用戶需要使用分布式文件系統(tǒng)進行文件讀寫的時候,將客戶端安裝至需使用系統(tǒng)的服務器,即可使用系統(tǒng)提供的服務。
在科達云存儲系統(tǒng)中采用三臺元數(shù)據(jù)節(jié)點,起到對元數(shù)據(jù)的重要保護(冗余)和負載均衡的作用(提升系統(tǒng)性能)。數(shù)據(jù)節(jié)點定期向元數(shù)據(jù)節(jié)點匯報其狀況,等待并處理命令,實現(xiàn)數(shù)據(jù)高效、安全讀寫。在系統(tǒng)中,數(shù)據(jù)切片的大小可以調整,以滿足不同客戶對數(shù)據(jù)文件存儲策略的設定要求,同時采用完全鏡像副本保護數(shù)據(jù)文件。
云存儲與傳統(tǒng)存儲系統(tǒng)的對比優(yōu)勢
與傳統(tǒng)存儲相比,云存儲具備以下幾個方面的顯著優(yōu)勢:
1)存儲容量的彈性擴展
傳統(tǒng)存儲設備最大容量有限,當達到一定擴展能力就很難再擴展,同時存儲性能、安全性、可靠性和經(jīng)濟性都大大降低。云存儲能夠通過集群很容易獲得PB級存儲容量,存儲擴展沒有限制,可隨時隨地在線增加存儲節(jié)點來滿足存儲容量需求,并且能夠做到“增加存儲節(jié)點,數(shù)據(jù)自動重組,減少存儲節(jié)點,數(shù)據(jù)自動恢復”的彈性和可伸縮性。
2)高并發(fā)讀寫性能
傳統(tǒng)存儲設備的并發(fā)讀寫性能容易受到NAS機頭、CPU或控制器的能力限制,而云存儲系統(tǒng)采用控制與數(shù)據(jù)分離的架構,脫離了單臺設備的能力束縛,整個系統(tǒng)的性能主要受網(wǎng)絡吞吐能力的限制。云存儲技術可將存儲節(jié)點的帶寬聚合,隨著存儲節(jié)點的增加可以實現(xiàn)帶寬的線性增長,理論上帶寬是無限的。同時在云存儲系統(tǒng)中數(shù)據(jù)文件是拆分成數(shù)據(jù)塊進行條帶化存儲在多臺物理存儲節(jié)點上的,能夠最快速的并發(fā)訪問數(shù)據(jù)。另外云存儲中數(shù)據(jù)存儲是采用多副本策略存儲的,可以實現(xiàn)熱點數(shù)據(jù)的負載均衡訪問。
3)可維護性
云存儲系統(tǒng)采用數(shù)據(jù)冗余存儲機制,硬盤或存儲節(jié)點損壞時,其余節(jié)點可自動重組,數(shù)據(jù)不丟失,系統(tǒng)運行不受影響。這一點大大提升了海量存儲節(jié)點的可維護性。當前來看,最直觀、最能夠體現(xiàn)云存儲優(yōu)勢的就是可維護性。以科達云存儲系統(tǒng)為例:傳統(tǒng)的存儲設備,通常用RAID方式進行冗余備份,當有硬盤損壞時,RAID重構時間通常要十幾個小時,這期間如果再有硬盤壞掉,數(shù)據(jù)就無法恢復了,所以維護人員需要在第一時間趕到現(xiàn)場更換硬盤,7×24小時待命;科達云存儲采用分布式文件系統(tǒng),數(shù)據(jù)的存儲和備份不再依賴單臺設備的能力,有硬盤壞掉時,其余的硬盤將自動進行重構,恢復受損的數(shù)據(jù),這只需要十幾分鐘的時間,維護人員只需要定期檢查硬盤的損壞情況,并更換新硬盤即可,維護非常簡單。
4)安全性、可靠性
傳統(tǒng)存儲設備提供的是一個透明的存儲空間,原始數(shù)據(jù)直接存在存儲設備上的,數(shù)據(jù)可以直接訪問和使用,并不具有信息安全和私密性。云存儲中的數(shù)據(jù)傳輸是加密的,首先用戶并不知道數(shù)據(jù)存在哪個物理硬盤上,而且數(shù)據(jù)在存儲設備上是按文件塊存儲的無法直接進行訪問。用戶存儲的數(shù)據(jù)只有自己有權限進行訪問和管理,系統(tǒng)管理員也無法讀取。
5)資源共享性
傳統(tǒng)存儲設備一般是以單一形式工作,無法做到多臺設備之間的容量和帶寬聚合。而云存儲集群文件系統(tǒng),不受限于硬件存儲節(jié)點的數(shù)量,可靈活的進行統(tǒng)一管理和共享。云存儲可以把一個存儲池共享給多個用戶進行訪問,傳統(tǒng)存儲受限于容量和帶寬的性能是無法做到的。云存儲提供全局統(tǒng)一命名空間,提供示準的文件訪問接口,支持主流的文件傳輸協(xié)議,同時支持API接口可于應用程序更完美的結合,實現(xiàn)最佳訪問效率。
6)總擁有成本低
云存儲系統(tǒng)采用高性價比的以太網(wǎng)絡和存儲節(jié)點構成,比傳統(tǒng)的中高端存儲設備具有更好的性價比優(yōu)勢。云存儲擴容相對比較靈活,可根據(jù)業(yè)務隨時隨地的進行彈性擴展,用戶不需要在前期一次性購入,需要時可在線進行性能和容量的擴展,從而能夠保護用戶的前期投資。更重要的是,云存儲通過前面提到的可維護性,可以在管理維護上大大節(jié)省用戶的總擁有成本(TCO)。
結束語
視頻圖像的存儲特點是對實時的存取性能要求較高,而云存儲的系統(tǒng)架構決定了它能夠以較低的總擁有成本很好的滿足海量高清或標清視頻的并發(fā)寫入、讀取,并能實現(xiàn)快速配置和即插即用。
因此,雖然短期來看,云存儲的需求當前主要還將集中在平安城市、智能交通等大行業(yè)市場以及基于公有云架構的民用市場,但相信未來隨著網(wǎng)絡化更全面普及和海量視頻共享需求的更快速增長,其應用前景將更加廣闊。
文章來源:中國投影網(wǎng) ©版權所有。未經(jīng)許可,不得轉載。