摘要:隨著智慧城市建設(shè)的不斷深入,城市數(shù)據(jù)呈爆炸式增長(zhǎng),我們有理由相信,我們正在從信息化時(shí)代向數(shù)據(jù)化時(shí)代演進(jìn),“一切以數(shù)據(jù)說話”,這句話將逐漸深入人心并變?yōu)楝F(xiàn)實(shí)。城市數(shù)據(jù)中,視頻數(shù)據(jù)占據(jù)80%以上,是體量最大的一類數(shù)據(jù),然而當(dāng)前我們對(duì)視頻數(shù)據(jù)的利用度并不高;诖髷(shù)據(jù),我們能夠?qū)⒁曨l數(shù)據(jù)更加有效地利用起來,在智慧城市建設(shè)中發(fā)揮其更大的價(jià)值。
關(guān)鍵詞:智慧城市 數(shù)據(jù)化時(shí)代 視頻 大數(shù)據(jù)
一、什么是視頻大數(shù)據(jù)?
基于這個(gè)問題,我們可以從幾個(gè)方面來理解。首先,大家都知道,大數(shù)據(jù)有“4V”特征:Volume(數(shù)據(jù)規(guī)模)、Variety(數(shù)據(jù)類型)、Velocity(處理速度)、Value(數(shù)據(jù)價(jià)值)。一、數(shù)據(jù)規(guī)模,城市數(shù)據(jù)中大部分是視頻數(shù)據(jù),一個(gè)中等城市,3000路高清視頻,4Mbps碼流,90天將產(chǎn)生10.8PB的數(shù)據(jù)量,所以,視頻數(shù)據(jù)基本是PB級(jí)別以上,體量足夠大;二、數(shù)據(jù)類型,單就視頻來說就一種類型,其實(shí)不然,視頻中有各種各樣的內(nèi)容信息,有人、車、物等信息,有各種行為信息。同時(shí),視頻可以有多種來源,可來自城市管理、公共安全、企業(yè)、家庭等多種領(lǐng)域。所以說,視頻內(nèi)容其實(shí)是非常豐富的,當(dāng)然,首先我們需要將視頻內(nèi)容信息提取出來,將“死”的視頻數(shù)據(jù)轉(zhuǎn)化成“活”的結(jié)構(gòu)化數(shù)據(jù);三、處理速度,當(dāng)前,以Hadoop為代表的大數(shù)據(jù)處理技術(shù)發(fā)展非常迅速,能夠針對(duì)海量的結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)提供非常高的處理效率;四、數(shù)據(jù)價(jià)值,應(yīng)該說這是今后需要不斷提高的一個(gè)點(diǎn),視頻大數(shù)據(jù)能夠真正體現(xiàn)價(jià)值的地方,就是將視頻數(shù)據(jù)全面利用起來,為城市的建設(shè)、管理、安全做出貢獻(xiàn)。
其次,在《大數(shù)據(jù)時(shí)代》一書中,指出大數(shù)據(jù)的精髓在于我們分析數(shù)據(jù)時(shí)的三個(gè)轉(zhuǎn)變,同樣的,視頻大數(shù)據(jù)也吻合這三個(gè)轉(zhuǎn)變:一、分析數(shù)據(jù)的全集而非數(shù)據(jù)的采樣。針對(duì)視頻數(shù)據(jù),由于體量太大,而存儲(chǔ)空間有限,往往視頻數(shù)據(jù)的存儲(chǔ)周期較短(比如3個(gè)月)。當(dāng)然,視頻數(shù)據(jù)中大部分是無效數(shù)據(jù),也是無需長(zhǎng)期保存的,而視頻中的內(nèi)容數(shù)據(jù)卻是有價(jià)值的。所以,如何將視頻中的內(nèi)容數(shù)據(jù)提取出來并沉淀,是構(gòu)建視頻大數(shù)據(jù)的基礎(chǔ);二、不追求精確性,由于數(shù)據(jù)非常多,即使出現(xiàn)一些不精確的數(shù)據(jù),也不會(huì)影響分析結(jié)果;三、更加關(guān)心相關(guān)關(guān)系,而非因果關(guān)系,大數(shù)據(jù)的優(yōu)勢(shì)就在于數(shù)據(jù)的關(guān)聯(lián)分析,在關(guān)聯(lián)分析中能夠得到很多有用的結(jié)果。
再次,從整個(gè)大數(shù)據(jù)的生態(tài)來看,數(shù)據(jù)是基礎(chǔ),技術(shù)是關(guān)鍵,服務(wù)是核心。一、數(shù)據(jù),我們當(dāng)前有的是海量的視頻數(shù)據(jù),但這些數(shù)據(jù)更多的是無用的數(shù)據(jù),而我們真正需要的是視頻中的內(nèi)容數(shù)據(jù),越多越豐富越好;二、技術(shù),當(dāng)前的分布式存儲(chǔ)、分布式計(jì)算、內(nèi)存計(jì)算、圖計(jì)算、全文檢索、機(jī)器學(xué)習(xí)等技術(shù)都有全面的發(fā)展,只要能夠?qū)⑦@些技術(shù)運(yùn)用到視頻大數(shù)據(jù)中就能夠產(chǎn)生效用;三、數(shù)據(jù)服務(wù),怎樣讓數(shù)據(jù)產(chǎn)生價(jià)值,這才是核心,也是以后發(fā)展的關(guān)鍵,所以說今后數(shù)據(jù)工程師將是最吃香的行業(yè)。
綜上所述,視頻大數(shù)據(jù)并不只是擁有海量的視頻數(shù)據(jù),它需要提取海量的視頻內(nèi)容信息,基于專業(yè)的技術(shù)工具,挖掘出價(jià)值信息,并為用戶提供更好的服務(wù)。
二、視頻大數(shù)據(jù)發(fā)展現(xiàn)狀
在互聯(lián)網(wǎng)及IT領(lǐng)域,大數(shù)據(jù)的發(fā)展已相當(dāng)成熟。然而,在視頻監(jiān)控領(lǐng)域,大數(shù)據(jù)還處于起步階段。當(dāng)然,隨著智慧城市的發(fā)展,視頻大數(shù)據(jù)會(huì)逐漸發(fā)展成熟并發(fā)揮越來越重要的作用。
首先,隨著智慧城市建設(shè)的不斷深入,視頻大數(shù)據(jù)的需求越來越強(qiáng)烈。比如:一個(gè)區(qū)縣一年的卡口數(shù)據(jù)能夠達(dá)到十億級(jí)別,一個(gè)地級(jí)市一年的卡口數(shù)據(jù)甚至能夠達(dá)到百億級(jí)別,一個(gè)省的數(shù)據(jù)就更大了,面對(duì)如此龐大的數(shù)據(jù),傳統(tǒng)的系統(tǒng)或工具顯得束手無策,即使一條簡(jiǎn)單的查詢命令,響應(yīng)時(shí)間也會(huì)變得非常慢,更不要說分析、統(tǒng)計(jì)等功能了。同時(shí),越來越多的用戶對(duì)業(yè)務(wù)提出了更高的要求,比如公安業(yè)務(wù),要求能夠從事后分析向事前預(yù)測(cè)轉(zhuǎn)變。面對(duì)這些問題及需求,必須采用大數(shù)據(jù)來解決。所以,在智慧城市建設(shè)中,大數(shù)據(jù)已被推到了風(fēng)口浪尖上。
其次,越來越多的視頻監(jiān)控企業(yè)正在接觸大數(shù)據(jù),并有了初步的探索和應(yīng)用。當(dāng)前的一些大數(shù)據(jù)產(chǎn)品及應(yīng)用主要有:一、視頻云存儲(chǔ),針對(duì)海量的視頻、圖像數(shù)據(jù),提供百PB的集中存儲(chǔ)能力。這類產(chǎn)品已有較多的廠商提供,其中,安防行業(yè)龍頭企業(yè)?低暰驮谝曨l云存儲(chǔ)領(lǐng)域占據(jù)一席之地;二、云分析,針對(duì)實(shí)時(shí)視頻圖像、歷史視頻圖像,提供分布式的視頻結(jié)構(gòu)化能力。這類產(chǎn)品當(dāng)前還未在市面上看到;三、數(shù)據(jù)應(yīng)用。交通卡口大數(shù)據(jù)應(yīng)用,針對(duì)海量的卡口數(shù)據(jù)進(jìn)行快速檢索、智能研判、統(tǒng)計(jì)分析,部分研判功能可用于刑事案件的偵察及預(yù)警。視頻圖像信息數(shù)據(jù)庫,針對(duì)海量的案事件數(shù)據(jù)進(jìn)行快速檢索、分析研判。這類產(chǎn)品也有較多的廠商在預(yù)研并進(jìn)行試點(diǎn)。
三、視頻大數(shù)據(jù)核心技術(shù)分析
在互聯(lián)網(wǎng)行業(yè)中,大數(shù)據(jù)的分析對(duì)象主要是日志、用戶行為信息、網(wǎng)頁索引等數(shù)據(jù),是計(jì)算機(jī)可以識(shí)別的結(jié)構(gòu)化數(shù)據(jù);而視頻監(jiān)控行業(yè)中,大數(shù)據(jù)需要分析的對(duì)象主要是視頻、圖片、音頻等非結(jié)構(gòu)化數(shù)據(jù)。所以,相比互聯(lián)網(wǎng)大數(shù)據(jù),視頻大數(shù)據(jù)有諸多不同的地方,當(dāng)然也有諸多可參考借鑒的地方,畢竟技術(shù)是相通的。縱觀視頻大數(shù)據(jù),其主要包含以下核心技術(shù):
一、視頻結(jié)構(gòu)化。前面講到,可以被計(jì)算機(jī)識(shí)別的結(jié)構(gòu)化數(shù)據(jù)是基礎(chǔ),然而視頻不屬于這類數(shù)據(jù),所以視頻結(jié)構(gòu)化是需要首先解決的關(guān)鍵點(diǎn),這也是區(qū)別于互聯(lián)網(wǎng)大數(shù)據(jù)的主要特征。所謂視頻結(jié)構(gòu)化,就是采用智能分析技術(shù),從視頻圖像中提取出人、車、物、事件等內(nèi)容信息,這些內(nèi)容信息是可以通過結(jié)構(gòu)化語言來描述、可以被計(jì)算機(jī)識(shí)別的信息。當(dāng)積累了大量的視頻內(nèi)容信息,就有了視頻大數(shù)據(jù)的基礎(chǔ),可通過專業(yè)的大數(shù)據(jù)處理工具進(jìn)行分析、研判、統(tǒng)計(jì),從中提取出價(jià)值信息。
二、大數(shù)據(jù)處理技術(shù)。當(dāng)前主流的大數(shù)據(jù)處理技術(shù)是以Hadoop為代表的分布式軟件,而且在互聯(lián)網(wǎng)及IT領(lǐng)域,這些技術(shù)得到了很好的應(yīng)用。同樣的,在視頻大數(shù)據(jù)領(lǐng)域,可以借鑒這些成熟的處理技術(shù),具體的技術(shù)包括分布式文件系統(tǒng)、分布式數(shù)據(jù)庫、分布式計(jì)算、內(nèi)存計(jì)算、圖計(jì)算、流計(jì)算、全文檢索等等。
三、數(shù)據(jù)分析模型。有了海量的數(shù)據(jù)而無法提取其中的價(jià)值,那么這就是一堆沒用的數(shù)據(jù)。所以說,在大數(shù)據(jù)時(shí)代,數(shù)據(jù)分析工程師的地位將變得越來越重要。數(shù)據(jù)分析工程師需要深入了解業(yè)務(wù),構(gòu)建數(shù)據(jù)分析模型,從海量數(shù)據(jù)中挖掘出價(jià)值信息。數(shù)據(jù)分析模型將是其中的核心要點(diǎn),是實(shí)現(xiàn)業(yè)務(wù)深度應(yīng)用的關(guān)鍵。
四、視頻大數(shù)據(jù)面臨的問題
隨著大數(shù)據(jù)的發(fā)展,許多問題逐漸暴露出來,主要表現(xiàn)在以下幾點(diǎn):
(1)智能分析技術(shù)不夠成熟。基于智能分析技術(shù)的視頻結(jié)構(gòu)化是實(shí)現(xiàn)大數(shù)據(jù)分析的基礎(chǔ),當(dāng)前,交通卡口的車輛信息提取技術(shù)較為成熟,但是,像人體信息提取、物體信息提取、人臉比對(duì)等技術(shù)還不夠成熟。
(2)數(shù)據(jù)應(yīng)用不夠深入。當(dāng)整合足夠多的數(shù)據(jù)后,如何構(gòu)建數(shù)據(jù)分析模型,如何契合業(yè)務(wù)應(yīng)用挖掘價(jià)值信息,當(dāng)前還處于萌芽階段。當(dāng)然,其中也有一些可以借鑒的例子,比如卡口大數(shù)據(jù)系統(tǒng),它可以對(duì)過車數(shù)據(jù)進(jìn)行深度的智能研判:區(qū)域碰撞、軌跡分析、跟車研判等,基于這些研判功能,有助于刑偵破案效率的大幅提升。
(3)數(shù)據(jù)共享不夠廣泛。特別是政府、公安、交通等部門中,信息孤島普遍存在,這主要是由于體制問題造成的,并不是技術(shù)上的問題,很難由企業(yè)來改變這個(gè)現(xiàn)狀,只能由相關(guān)部門貫徹推行并作出改變。
(4)標(biāo)準(zhǔn)化建設(shè)不夠全面。這主要是由于大數(shù)據(jù)還處于起步階段,還需要更深入的探索和嘗試。在標(biāo)準(zhǔn)化建設(shè)方面,如數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范、互聯(lián)互通標(biāo)準(zhǔn)規(guī)范、數(shù)據(jù)應(yīng)用模式標(biāo)準(zhǔn)規(guī)范等,需要不斷進(jìn)行總結(jié),并逐漸標(biāo)準(zhǔn)化。
五、視頻大數(shù)據(jù)發(fā)展趨勢(shì)
在視頻監(jiān)控行業(yè)未來的發(fā)展中,大數(shù)據(jù)勢(shì)必會(huì)占據(jù)越來越重要的地位。面對(duì)發(fā)展過程中出現(xiàn)的問題,需要不斷加以解決并完善。
(1)技術(shù)創(chuàng)新。首先,視頻結(jié)構(gòu)化,通過智能化技術(shù),能夠從視頻圖像中提取出人、車、物等特征信息,通過提取并整合這些信息,能夠方便的對(duì)視頻數(shù)據(jù)進(jìn)行檢索、以圖搜圖、深度關(guān)聯(lián)分析。當(dāng)這些技術(shù)得以實(shí)現(xiàn),視頻數(shù)據(jù)的應(yīng)用效率會(huì)大幅提升,而且可以為視頻數(shù)據(jù)的深入應(yīng)用奠定基礎(chǔ)。其次,大數(shù)據(jù)處理技術(shù)。視頻數(shù)據(jù)結(jié)構(gòu)化后,成為可以被計(jì)算機(jī)識(shí)別的數(shù)據(jù),當(dāng)越來越多的數(shù)據(jù)匯集之后,傳統(tǒng)的技術(shù)或系統(tǒng)已無法進(jìn)行有效處理,此時(shí),必須采用大數(shù)據(jù)技術(shù)才能對(duì)這些海量的數(shù)據(jù)進(jìn)行處理。大數(shù)據(jù)技術(shù)包括分布式文件系統(tǒng)、分布式數(shù)據(jù)庫、全文搜索引擎、分布式計(jì)算、內(nèi)存計(jì)算、流計(jì)算等,具備優(yōu)異的可靠性、擴(kuò)展性及處理性能,能夠針對(duì)海量數(shù)據(jù)進(jìn)行快速分析、挖掘,為用戶提供更好的服務(wù)。
(2)業(yè)務(wù)創(chuàng)新。有了經(jīng)過結(jié)構(gòu)化后的海量視頻數(shù)據(jù),通過大數(shù)據(jù)技術(shù),可以對(duì)這些海量數(shù)據(jù)進(jìn)行深度挖掘,可以做到預(yù)測(cè)及趨勢(shì)分析,當(dāng)然相關(guān)的數(shù)據(jù)分析模型還需要不斷探索和創(chuàng)新。如公安部門,視頻偵查在當(dāng)前來說只能是一種輔助手段,如果采用大數(shù)據(jù)技術(shù)后能夠進(jìn)行預(yù)測(cè)預(yù)警,那么視頻偵查將會(huì)成為一種非常重要的手段,通過視偵技術(shù),能夠減少案件發(fā)生率、提高破案率。
(3)體制改善。更多的數(shù)據(jù)能夠產(chǎn)生更大的價(jià)值,為了能夠整合更多的數(shù)據(jù),必須消除信息孤島,而這一現(xiàn)象在政府部門是客觀存在的一個(gè)難題。當(dāng)然,在智慧城市的推動(dòng)下,這一局面已有所改觀,越來越多的政府部門意識(shí)到數(shù)據(jù)共享的重要性。但是,要真正實(shí)現(xiàn)大數(shù)據(jù)的集中和共享,還有很長(zhǎng)的路要走。
(4)標(biāo)準(zhǔn)完善。海量數(shù)據(jù)的整合離不開標(biāo)準(zhǔn)化的過程,在標(biāo)準(zhǔn)化過程中,需要重點(diǎn)考慮以下幾點(diǎn):一、數(shù)據(jù)結(jié)構(gòu)化標(biāo)準(zhǔn)規(guī)范,包括哪些數(shù)據(jù)需要結(jié)構(gòu)化、結(jié)構(gòu)化的數(shù)據(jù)如何表示、如何設(shè)計(jì)字典規(guī)范、如何設(shè)計(jì)數(shù)據(jù)庫表等等,通過標(biāo)準(zhǔn)的結(jié)構(gòu)化數(shù)據(jù),所有系統(tǒng)都能夠識(shí)別并處理;二、數(shù)據(jù)互聯(lián)互通標(biāo)準(zhǔn)規(guī)范,包括平臺(tái)與前端之間如何互聯(lián)互通、平臺(tái)與平臺(tái)之間如何互聯(lián)互通等。前端可以對(duì)視頻數(shù)據(jù)進(jìn)行結(jié)構(gòu)化,后臺(tái)也可以對(duì)視頻數(shù)據(jù)進(jìn)行結(jié)構(gòu)化,前端和后臺(tái)需要相互協(xié)作,那么前端如何告知后臺(tái)哪些數(shù)據(jù)已經(jīng)結(jié)構(gòu)化了,哪些數(shù)據(jù)還需進(jìn)一步結(jié)構(gòu)化,就需要標(biāo)準(zhǔn)來規(guī)范;三、數(shù)據(jù)應(yīng)用的標(biāo)準(zhǔn)規(guī)范,包括數(shù)據(jù)的服務(wù)模式、類型、規(guī)則等等。如大數(shù)據(jù)平臺(tái)對(duì)海量數(shù)據(jù)進(jìn)行清洗分類、深度挖掘之后,需要對(duì)上層的業(yè)務(wù)應(yīng)用提供服務(wù),這種服務(wù)就需要通過標(biāo)準(zhǔn)化的接口提供出去。
六、視頻大數(shù)據(jù)對(duì)智慧城市的作用
視頻大數(shù)據(jù)的建設(shè)對(duì)智慧城市的作用主要體現(xiàn)在以下幾個(gè)方面:
一、民生服務(wù)。在我們城市的大街小巷、商場(chǎng)、飯店等地方,布滿了大大小小的攝像頭,基于這么多監(jiān)控點(diǎn)位產(chǎn)生的海量數(shù)據(jù),可以選擇性的開放一些數(shù)據(jù)給公眾,為城市公民提供更好的“衣食住行”相關(guān)的服務(wù),比如實(shí)時(shí)的交通路網(wǎng)信息、商場(chǎng)的實(shí)時(shí)人流狀況以及“透明廚房”等等。
二、城市安全。視頻監(jiān)控系統(tǒng)是平安城市建設(shè)的重要組成部分,視頻大數(shù)據(jù)使平安城市向“智慧型”轉(zhuǎn)變。隨著視頻大數(shù)據(jù)的逐漸發(fā)展,在治安防控、刑偵辦案中出現(xiàn)了更多創(chuàng)新型的應(yīng)用。首先,辦案效率極大提升。當(dāng)前,我們更多的是通過人工查看的方式在視頻中尋找線索,效率低,人力消耗大;而通過視頻大數(shù)據(jù),我們可以像“百度”等搜索引擎一樣快速搜索線索,可基于視頻圖像中的人員信息、車輛信息、物體信息、行為信息,或者基于以圖搜圖的方式快速搜索嫌疑目標(biāo)。所以,在智慧型平安城市的視頻監(jiān)控系統(tǒng)建設(shè)中,已經(jīng)從原先高清系統(tǒng)的“看得清、看得明”向基于大數(shù)據(jù)的“找得快、找得準(zhǔn)”轉(zhuǎn)變。其次,事后取證向事前預(yù)防轉(zhuǎn)變。我們當(dāng)前擁有了大量的視頻,但都是用于事后取證,顯然無法對(duì)犯罪預(yù)防起到積極的作用。而基于視頻大數(shù)據(jù),可以對(duì)城市的犯罪做出趨勢(shì)研判、預(yù)測(cè)分析,基于這些分析結(jié)果,可以有目的的部署警力,這樣可以在有限的人力下有效降低城市的犯罪率。
三、可視化管理。視頻監(jiān)控系統(tǒng)發(fā)展到今天,可視化管理變得愈發(fā)重要。在交通、金融、電力、能源、校園、醫(yī)療等等領(lǐng)域,可視化管理都變成了不可或缺的一部分。當(dāng)然,當(dāng)前的可視化管理更多地還是靠人工在后臺(tái)實(shí)時(shí)監(jiān)看,效率并不高;谝曨l大數(shù)據(jù),可以將可視化管理提升一個(gè)高度,使前端的那些“眼睛”變得更加智慧,實(shí)現(xiàn)自動(dòng)監(jiān)看,釋放人力。同時(shí),區(qū)域內(nèi)的監(jiān)控點(diǎn)位可實(shí)現(xiàn)智慧聯(lián)動(dòng),提升管理效率。
總之,在智慧城市建設(shè)中,視頻大數(shù)據(jù)的數(shù)據(jù)共享更加廣泛、深度應(yīng)用更加豐富。
七、結(jié)語
視頻大數(shù)據(jù)能夠?yàn)橛脩魳?gòu)建更加智慧的系統(tǒng),提供更具價(jià)值的服務(wù)。在智慧城市中,快速增長(zhǎng)的視頻圖像數(shù)據(jù)、不斷涌現(xiàn)的用戶需求,預(yù)示著對(duì)視頻大數(shù)據(jù)的訴求越來越強(qiáng)烈,同時(shí),也有越來越多的企業(yè)涉足大數(shù)據(jù),并有了初步的積累和應(yīng)用。視頻大數(shù)據(jù)不同于互聯(lián)網(wǎng)領(lǐng)域的大數(shù)據(jù),它對(duì)智能分析技術(shù)有著更高的要求,智能分析技術(shù)是實(shí)現(xiàn)視頻大數(shù)據(jù)的基礎(chǔ),此外,大數(shù)據(jù)處理技術(shù)可借鑒互聯(lián)網(wǎng)領(lǐng)域的成功經(jīng)驗(yàn),業(yè)務(wù)的深度理解及數(shù)據(jù)分析模型的構(gòu)建對(duì)數(shù)據(jù)工程師提出了更高的要求,數(shù)據(jù)分析模型是實(shí)現(xiàn)大數(shù)據(jù)應(yīng)用價(jià)值的核心關(guān)鍵。當(dāng)然,視頻大數(shù)據(jù)目前還處于起步階段,面臨著諸多問題,包括智能分析技術(shù)不夠成熟、數(shù)據(jù)應(yīng)用不夠深入、數(shù)據(jù)共享不夠廣泛、標(biāo)準(zhǔn)化建設(shè)不夠全面等。在未來的發(fā)展中,需要不斷解決這些問題并加以完善,包括技術(shù)創(chuàng)新、業(yè)務(wù)創(chuàng)新、體制改善、標(biāo)準(zhǔn)完善。只有更加成熟的視頻大數(shù)據(jù),才能體現(xiàn)出更多的優(yōu)勢(shì),發(fā)揮更大的價(jià)值。隨著視頻大數(shù)據(jù)的不斷發(fā)展成熟,它必將給智慧城市發(fā)展建設(shè)帶來質(zhì)的提升。
免責(zé)聲明:本文來源于?低,本文僅代表作者個(gè)人觀點(diǎn),本站不作任何保證和承諾,若有任何疑問,請(qǐng)與本文作者聯(lián)系。