网站首页
教育杂志
CSSCI期刊 北大期刊 CSCD期刊 统计源期刊 知网收录期刊 维普收录期刊 万方收录期刊 SCI期刊(美)
医学杂志
CSSCI期刊 北大期刊 CSCD期刊 统计源期刊 知网收录期刊 维普收录期刊 万方收录期刊 SCI期刊(美)
经济杂志
CSSCI期刊 北大期刊 CSCD期刊 统计源期刊 知网收录期刊 维普收录期刊 万方收录期刊 SCI期刊(美)
金融杂志
CSSCI期刊 北大期刊 CSCD期刊 统计源期刊 知网收录期刊 维普收录期刊 万方收录期刊 SCI期刊(美)
管理杂志
CSSCI期刊 北大期刊 CSCD期刊 统计源期刊 知网收录期刊 维普收录期刊 万方收录期刊 SCI期刊(美)
科技杂志
CSSCI期刊 北大期刊 CSCD期刊 统计源期刊 知网收录期刊 维普收录期刊 万方收录期刊 SCI期刊(美)
工业杂志
CSSCI期刊 北大期刊 CSCD期刊 统计源期刊 知网收录期刊 维普收录期刊 万方收录期刊 SCI期刊(美)
SCI杂志
中科院1区 中科院2区 中科院3区 中科院4区
全部期刊
公務(wù)員期刊網(wǎng) 論文中心 正文

智慧水利建設(shè)遙感數(shù)據(jù)處理問題探析

前言:想要寫出一篇引人入勝的文章?我們特意為您整理了智慧水利建設(shè)遙感數(shù)據(jù)處理問題探析范文,希望能給你帶來靈感和參考,敬請閱讀。

智慧水利建設(shè)遙感數(shù)據(jù)處理問題探析

[摘要]按照“需求牽引、應(yīng)用至上、數(shù)字賦能、提升能力”的要求,從推進(jìn)算據(jù)、算法、算力建設(shè)的角度詳細(xì)闡述了遙感大數(shù)據(jù)的特征和并行處理研究現(xiàn)狀,梳理了目前先進(jìn)處理平臺的理論、方法、技術(shù)和最新進(jìn)展,討論了當(dāng)前階段所面臨的問題,并提出了一種網(wǎng)格計(jì)算和云計(jì)算平臺相結(jié)合的云格遙感大數(shù)據(jù)處理平臺設(shè)計(jì)框架,旨在為推進(jìn)智慧水利建設(shè)中急需解決的遙感數(shù)據(jù)處理問題提出解決方案,為推進(jìn)智慧水利建設(shè)提供支撐。

[關(guān)鍵詞]智慧水利;遙感大數(shù)據(jù);空天地一體化;云計(jì)算;云格

隨著治水矛盾發(fā)生深刻變化、治水思路的相應(yīng)調(diào)整,智慧水利建設(shè)面臨著新的形勢和新的挑戰(zhàn)。在加強(qiáng)以數(shù)字化、網(wǎng)絡(luò)化、智能化為主線,以數(shù)字化場景、智慧化模擬、精準(zhǔn)化決策為路徑,加快構(gòu)建具有預(yù)報、預(yù)警、預(yù)演、預(yù)案功能的智慧水利體系的新要求下,迫切需要全面推進(jìn)算據(jù)、算法、算力建設(shè),提升數(shù)據(jù)處理能力。隨著我國信息化建設(shè)不斷推進(jìn),信息技術(shù)應(yīng)用越來越廣泛。遙感影像的四高(高時間分辨率、高空間分辨率、高輻射分辨率和高光譜分辨率)化和五多(多區(qū)域、多角度、多時間、多傳感器和多平臺)化發(fā)展,使得利用光學(xué)、熱紅外和微波等不同技術(shù)形成的空天地一體化對地觀測系統(tǒng)獲取的不同區(qū)域的多種遙感數(shù)據(jù)堆積成觀測地球空間的海量數(shù)據(jù)“金字塔”[1]。遙感數(shù)據(jù)已成為地理國情監(jiān)測和分析的主要數(shù)據(jù)來源,其含有大量資源環(huán)境信息,可結(jié)合水土保持學(xué)、水文學(xué)和災(zāi)害學(xué)等多學(xué)科交叉進(jìn)行綜合分析。在具體應(yīng)用中,水土保持監(jiān)測、水資源管理、水環(huán)境監(jiān)測、水利工程監(jiān)測、防洪抗旱和水土保持碳匯等情境中所體現(xiàn)出的遙感數(shù)據(jù)的時效性特點(diǎn)對處理所需精度和速度提出了更高的要求。相對于海量遙感影像的存儲、處理和共享等流程的龐大計(jì)算量,運(yùn)用串行處理方式的普通計(jì)算機(jī)和價格高昂的專用計(jì)算機(jī)系統(tǒng)遠(yuǎn)不足匹配當(dāng)下實(shí)時高效的遙感數(shù)據(jù)處理應(yīng)用需求[2],而目前大力發(fā)展的高性能并行計(jì)算技術(shù)在數(shù)據(jù)處理的實(shí)時性、算法的自動化程度、具體應(yīng)用的規(guī)?;蠼夥矫娑嫉玫搅藰O大的提升。本研究按照“需求牽引、應(yīng)用至上、數(shù)字賦能、提升能力”的要求,從推進(jìn)算據(jù)、算法、算力建設(shè)的角度詳細(xì)闡述了遙感大數(shù)據(jù)的特征和并行處理研究現(xiàn)狀,梳理了目前先進(jìn)處理平臺的理論、方法、技術(shù)和最新進(jìn)展,討論了當(dāng)前階段所面臨的問題,并提出了一種網(wǎng)格和云計(jì)算平臺相結(jié)合的遙感大數(shù)據(jù)處理平臺設(shè)計(jì)框架,旨在為推進(jìn)智慧水利建設(shè)中急需解決的遙感數(shù)據(jù)處理問題提出解決方案,為推進(jìn)智慧水利建設(shè)提供支撐。

1遙感大數(shù)據(jù)

現(xiàn)代社會生產(chǎn)生活中80%的信息包含地理空間信息。作為地理空間信息的主要來源,遙感大數(shù)據(jù)的處理和分析直接關(guān)系到“國家大數(shù)據(jù)戰(zhàn)略”“智慧水利建設(shè)”的實(shí)施成效。根據(jù)中國信息通信院2020年12月的《大數(shù)據(jù)白皮書》,預(yù)測到2035年全球數(shù)據(jù)生產(chǎn)總量將高達(dá)2142ZB。遙感數(shù)據(jù)量正呈指數(shù)級增長,日益成為政府、企業(yè)和科研機(jī)構(gòu)直接快速提取信息的重要途徑[3]。遙感大數(shù)據(jù)的特點(diǎn)有:①容量大。全球各個系列的航空航天平臺已經(jīng)積累超大容量的遙感數(shù)據(jù),且以每天幾百TB的速度不斷增長。②類型多。遙感數(shù)據(jù)的來源豐富、獲取手段多樣,除了全球分布的觀測網(wǎng)絡(luò)實(shí)時接收的大量遙感數(shù)據(jù),還有航拍所得的遙感數(shù)據(jù),以及民眾用戶通過互聯(lián)網(wǎng)和帶有地理信息的手持終端設(shè)備提供的個性化信息。③效率高。遙感大數(shù)據(jù)處理并得到結(jié)果的速度越快,效率就越高。遙感大數(shù)據(jù)本身高效性的體現(xiàn)仍取決于數(shù)據(jù)處理環(huán)節(jié)。目前的數(shù)據(jù)處理速度遠(yuǎn)跟不上數(shù)據(jù)獲取速度,在實(shí)際應(yīng)用如應(yīng)急救災(zāi)、實(shí)時監(jiān)測等對數(shù)據(jù)要求較高的領(lǐng)域,數(shù)據(jù)處理技術(shù)面臨著極大的挑戰(zhàn)。④穩(wěn)定性差。運(yùn)用衛(wèi)星、無人機(jī)等獲取遙感數(shù)據(jù)的過程中,受地物環(huán)境、傳感器和大氣環(huán)境等因素的干擾,獲取的遙感數(shù)據(jù)穩(wěn)定性存在較大差異。特別是受模型近似度影響,遙感數(shù)據(jù)的穩(wěn)定性規(guī)律難以把握。⑤差異性大。目前收集到的遙感數(shù)據(jù)有光學(xué)衛(wèi)星遙感數(shù)據(jù)、模擬航片、數(shù)字航片和雷達(dá)衛(wèi)星遙感數(shù)據(jù)等,不同種類遙感數(shù)據(jù)的數(shù)據(jù)格式、組織單元、元數(shù)據(jù)格式、波段組合、元數(shù)據(jù)編碼方式各異。⑥價值高。各種遙感數(shù)據(jù)能反映地物的不同屬性,從中能提取出環(huán)境、水文、氣象、森林、農(nóng)作物產(chǎn)量、城市格局、軍事目標(biāo)和交通信息等多種信息,這些信息對政府決策、科學(xué)研究等具有極高的價值。

2遙感大數(shù)據(jù)的并行處理

目前遙感大數(shù)據(jù)的研究工作正處于蓬勃發(fā)展階段,但是采集獲取與有效處理間的巨大落差是限制其潛力充分挖掘的關(guān)鍵。數(shù)據(jù)向知識的極低轉(zhuǎn)換效率會導(dǎo)致數(shù)據(jù)不停堆積,這種存儲和使用間的不對稱關(guān)系所引發(fā)的后果對數(shù)據(jù)本身來說也是災(zāi)難性的。

2.1并行處理

遙感圖像數(shù)據(jù)存儲具有的關(guān)聯(lián)性、規(guī)律性特點(diǎn)和遙感圖像數(shù)據(jù)處理具有的順序性、一致性特點(diǎn)為遙感圖像數(shù)據(jù)的并行計(jì)算創(chuàng)造了條件。遙感數(shù)據(jù)的并行處理算法的設(shè)計(jì)宗旨是在有限的時間和空間內(nèi)處理更多的遙感圖像數(shù)據(jù)。并行處理算法是基于多節(jié)點(diǎn)協(xié)助處理開展的,把處理任務(wù)分解為多個并行部分,各個并行部分由所接節(jié)點(diǎn)單獨(dú)計(jì)算完成,具體可以分為任務(wù)并行和數(shù)據(jù)并行,并行處理流程見圖1。目前針對集群環(huán)境圖像并行處理流程的任務(wù)分配和調(diào)度策略方面的研究成果相對較少,研究成果主要集中在對多核并行的研究,特別是對一種任務(wù)多種數(shù)據(jù)并行機(jī)制的研究。開展并行計(jì)算是提升傳統(tǒng)串行計(jì)算效率和跨越性能門檻的發(fā)展趨勢,與串行計(jì)算相比,并行計(jì)算可分割為多流程、同時間、多空間、多處理器并行完成,極大提升了有限資源的運(yùn)用效能[4]。在進(jìn)行串行運(yùn)算時,海量遙感數(shù)據(jù)處理算法所具有的系統(tǒng)性會對計(jì)算機(jī)的運(yùn)行內(nèi)存做出最低程度的限定,這種系統(tǒng)性特征也導(dǎo)致了基礎(chǔ)數(shù)據(jù)并行化計(jì)算模型不能對遙感數(shù)據(jù)的系統(tǒng)信息進(jìn)行有效獲取,從而無法收獲科學(xué)有效的分析結(jié)果。以常見的遙感影像分割為例,分割算法決定了遙感數(shù)據(jù)處理與分析能否科學(xué)有效,只有建立在科學(xué)分割結(jié)果的基礎(chǔ)上,才能深入進(jìn)行信息提取與目標(biāo)識別,收獲理想效果。因此,開展高性能、低投入、具有可持續(xù)生產(chǎn)力的“面向全局的局部運(yùn)算”算法研究就顯得尤為重要。

2.2分布式并行遙感文件系統(tǒng)

對于海量遙感數(shù)據(jù)的存儲,通常由多模塊硬盤搭建的磁盤陣列來完成。為了實(shí)現(xiàn)項(xiàng)目組或?qū)嶒?yàn)室等范圍內(nèi)部的數(shù)據(jù)共享,一般采取存儲局域網(wǎng)等方式[5]。局域網(wǎng)間由光纖相互連接,但這種方式的運(yùn)轉(zhuǎn)依然受硬盤讀寫速度的限制。為充分發(fā)揮多塊硬盤的讀寫能力,以GPFS、Lustre、PVFS等為代表的分布式文件系統(tǒng)被引入到遙感數(shù)據(jù)的存儲中。最初的分布式文件系統(tǒng)不會區(qū)分?jǐn)?shù)據(jù)和元數(shù)據(jù),系統(tǒng)會將數(shù)據(jù)與元數(shù)據(jù)設(shè)置相同的物理存儲地址。隨著客戶端的劇增,目前通用的遙感影像分布式處理系統(tǒng)GFS、Lustre采取把數(shù)據(jù)和元數(shù)據(jù)分別放置的模式,將其置于不同服務(wù)器上,數(shù)據(jù)由應(yīng)用服務(wù)器存取,元數(shù)據(jù)由元數(shù)據(jù)服務(wù)器存取,解決了受磁盤吞吐量決定的服務(wù)器處理能力問題,大大增強(qiáng)了文件讀取的效率。GFS作為Google云計(jì)算的主要基礎(chǔ)架構(gòu)組成,分管遙感影像數(shù)據(jù)的存儲。GoogleEarth即采用GFS存儲遙感影像數(shù)據(jù)和地理空間文件,為廣大用戶提供瀏覽和應(yīng)用服務(wù)。

3高性能遙感大數(shù)據(jù)處理平臺

傳統(tǒng)遙感處理系統(tǒng)存在不支持并行處理、可擴(kuò)展性差、數(shù)據(jù)吞吐量較低等問題,無法滿足當(dāng)前形勢下的遙感大數(shù)據(jù)處理需求。隨著計(jì)算機(jī)結(jié)構(gòu)由單核向多核化架構(gòu)的轉(zhuǎn)變,高性能數(shù)據(jù)處理系統(tǒng)在遙感數(shù)據(jù)處理中的應(yīng)用越來越多,包括集群高性能處理系統(tǒng)、網(wǎng)格計(jì)算處理系統(tǒng)、云計(jì)算處理系統(tǒng),以及具有超強(qiáng)處理能力的云格數(shù)據(jù)處理系統(tǒng)等。高性能遙感數(shù)據(jù)處理平臺的應(yīng)用極大緩解了遙感數(shù)據(jù)處理中的大數(shù)據(jù)量、大計(jì)算量、大并發(fā)訪問量等問題[6]。

3.1基于超級計(jì)算機(jī)集群的遙感大數(shù)據(jù)處理平臺

超級計(jì)算機(jī)由數(shù)以萬計(jì)的處理器、獨(dú)立設(shè)計(jì)的內(nèi)存系統(tǒng)及I/O系統(tǒng)組成。計(jì)算機(jī)集群是一種由多類分散的計(jì)算機(jī)軟硬件構(gòu)成的超大規(guī)模計(jì)算集群系統(tǒng)。實(shí)際應(yīng)用中為應(yīng)對使用超級計(jì)算機(jī)的高昂代價,研究人員提出了一種新的解決思路,即通過高速網(wǎng)絡(luò)把使用COTS的計(jì)算機(jī)設(shè)備組成一個集群的概念,以低成本提供高計(jì)算能力。這種策略經(jīng)常被稱為Beowulf類型集群計(jì)算。在這種策略的指導(dǎo)下越來越多的成本低廉的計(jì)算機(jī)集群系統(tǒng)被廣泛地運(yùn)用于遙感數(shù)據(jù)處理領(lǐng)域[7]。在國內(nèi),中國科學(xué)院已購置多套機(jī)架式和刀片式集群用于遙感數(shù)據(jù)的處理實(shí)驗(yàn),有效驅(qū)動了基于GPU集群的計(jì)算模型和多核GPU集群系統(tǒng)的混合編程等研究課題的發(fā)展。遙感數(shù)據(jù)處理的特點(diǎn)是龐大的數(shù)據(jù)量和復(fù)雜的處理算法,同時它們的獨(dú)特性在于遙感影像自身的相似性。根據(jù)這一特點(diǎn)我們可將其切割成塊獨(dú)立運(yùn)行,再將運(yùn)行結(jié)果合并得到最終成果,這樣就可極大地提高集群的處理能力,滿足快速化、高效化、規(guī)?;奶幚硇枨?,其原理如圖2所示。通常處理遙感數(shù)據(jù)的集群規(guī)模組成從幾個到數(shù)萬個節(jié)點(diǎn)不等,根據(jù)節(jié)點(diǎn)的數(shù)量可進(jìn)行分類,具有較多節(jié)點(diǎn)的集群環(huán)境亦可稱之為超級計(jì)算機(jī)。建立這種處理遙感數(shù)據(jù)的集群環(huán)境的構(gòu)架必須符合以下三大條件:集群環(huán)境必須具有兩個或兩個以上能夠進(jìn)行數(shù)據(jù)流通的互通互聯(lián)的計(jì)算節(jié)點(diǎn);集群本質(zhì)上是一種呈分布式的內(nèi)存結(jié)構(gòu),必須能夠完成并行化的遙感數(shù)據(jù)處理過程,即用集群環(huán)境處理的遙感數(shù)據(jù)可以進(jìn)行拆分且能夠并行化執(zhí)行;集群環(huán)境必須具有并行編譯的環(huán)境,如編譯器、消息傳遞接口等。在對計(jì)算機(jī)性能要求較高的高分辨率影像提取和高光譜影像處理等領(lǐng)域?qū)嶒?yàn)發(fā)現(xiàn),隨著集群環(huán)境節(jié)點(diǎn)數(shù)量的增加,完成計(jì)算任務(wù)的效能在一定程度上得到了提升,但兩者間并非呈正比關(guān)系[8],只有當(dāng)計(jì)算節(jié)點(diǎn)數(shù)量和計(jì)算量適當(dāng)均衡時,系統(tǒng)的性能才會顯示出最大的效率。目前基于集群思想和當(dāng)前硬件結(jié)構(gòu)條件,研究人員已經(jīng)開發(fā)出一批高效的遙感數(shù)據(jù)處理系統(tǒng),具有代表性的有武漢大學(xué)研發(fā)的數(shù)字?jǐn)z影測量網(wǎng)格軟件、法國的像素工廠軟件等。

3.2基于網(wǎng)格計(jì)算的遙感大數(shù)據(jù)處理平臺

網(wǎng)格計(jì)算通過對分布式資源———計(jì)算機(jī)、傳感器、儀器、存儲設(shè)備、軟件和數(shù)據(jù)等的合理調(diào)配,實(shí)現(xiàn)在非集中控制的環(huán)境下完成大數(shù)據(jù)量和大計(jì)算量的遙感數(shù)據(jù)處理任務(wù)。網(wǎng)格中間件作為網(wǎng)格計(jì)算處理的核心,這種分布式異構(gòu)環(huán)境中的標(biāo)準(zhǔn)服務(wù)接口為數(shù)據(jù)和算法提供了一個無縫整合的環(huán)境,為分布于各地的用戶提供協(xié)同式的服務(wù),實(shí)現(xiàn)在整個廣域網(wǎng)范圍內(nèi)的計(jì)算資源共享。長遠(yuǎn)來看,網(wǎng)格計(jì)算需要在網(wǎng)格通信協(xié)議、計(jì)算資源分配、網(wǎng)格安全認(rèn)證等關(guān)鍵技術(shù)方面實(shí)現(xiàn)突破?;诰W(wǎng)格計(jì)算的遙感大數(shù)據(jù)處理平臺,不僅實(shí)現(xiàn)了基礎(chǔ)層面上的資源優(yōu)化共享,而且能利用各類數(shù)據(jù)資源為具體的應(yīng)用服務(wù),解決遙感大數(shù)據(jù)的存儲、共享和計(jì)算問題。但目前技術(shù)領(lǐng)域仍存在一些問題,比如:并不是所有的遙感處理算法都適合網(wǎng)格計(jì)算平臺上的并行化處理;當(dāng)前的算法技術(shù)仍未達(dá)到對海量遙感數(shù)據(jù)的大吞吐量處理要求,需要對目前可適用但并不成熟的處理算法進(jìn)行優(yōu)化改進(jìn);網(wǎng)格計(jì)算平臺設(shè)施本身的可靠性、系統(tǒng)的穩(wěn)定性和數(shù)據(jù)存儲與共享的安全性等方面仍有待完善。

3.3基于云計(jì)算的遙感大數(shù)據(jù)處理平臺

云計(jì)算是對分布式計(jì)算的進(jìn)一步發(fā)展,是一種由虛擬化的計(jì)算資源構(gòu)成的并行的、分布式的系統(tǒng),能夠根據(jù)服務(wù)提供者擁有的資源和用戶的需求將共享的軟硬件資源以事先約定好的服務(wù)等級協(xié)議進(jìn)行分配。云計(jì)算一般包含基礎(chǔ)設(shè)施層、平臺層和應(yīng)用層三層,能夠提供基礎(chǔ)設(shè)施即服務(wù)(IaaS)、平臺即服務(wù)(PaaS)、軟件即服務(wù)(SaaS)和遙感數(shù)據(jù)即服務(wù)(RdaS)等至少4種形式的服務(wù),解決了當(dāng)前遙感大數(shù)據(jù)處理時出現(xiàn)的數(shù)據(jù)密集型、計(jì)算密集型和瞬時訪問密集型等諸多問題。(1)基礎(chǔ)設(shè)施層?;A(chǔ)設(shè)施即服務(wù)(IaaS)處于最低層級,用戶可以通過互聯(lián)網(wǎng)從基礎(chǔ)設(shè)施獲得服務(wù),包括硬件、海量存儲和數(shù)據(jù)庫等具體形式?;A(chǔ)設(shè)施即服務(wù)可依據(jù)具體的科學(xué)計(jì)算優(yōu)化資源,使計(jì)算單元、存儲單元和并行單元等與其所需任務(wù)相匹配。(2)平臺層。平臺即服務(wù)(PaaS)處于中間層,它可以針對遙感影像的數(shù)據(jù)挖掘算法、相關(guān)參數(shù)提取、現(xiàn)象動態(tài)模擬等具體處理對開發(fā)環(huán)境進(jìn)行抽象的封裝,也就是說將服務(wù)器平臺和開發(fā)環(huán)境作為一個整體服務(wù)提供給用戶。(3)應(yīng)用層。應(yīng)用層處于云計(jì)算體系結(jié)構(gòu)的頂端,包含軟件即服務(wù)(SaaS)和遙感數(shù)據(jù)即服務(wù)(RdaS)兩種模式。針對遙感大數(shù)據(jù)海量、多維度、分布各異的特點(diǎn),遙感數(shù)據(jù)即服務(wù)模式提供的數(shù)據(jù)瀏覽和使用服務(wù)可進(jìn)行多位置軟件引用,用戶無需額外購買軟件即可通過遙感數(shù)據(jù)即服務(wù)模式享受云計(jì)算體系內(nèi)的軟件服務(wù),這一點(diǎn)優(yōu)于軟件即服務(wù)模式。一個基于云計(jì)算平臺的遙感數(shù)據(jù)處理系統(tǒng)應(yīng)該包含數(shù)據(jù)存儲模塊、數(shù)據(jù)管理模塊、數(shù)據(jù)分析與處理模塊、GIS應(yīng)用模塊和云計(jì)算環(huán)境模塊等。根據(jù)這種系統(tǒng)架構(gòu)可以模擬出一種云計(jì)算體系結(jié)構(gòu)下的遙感大數(shù)據(jù)處理平臺,如圖3所示。該平臺主要由4個子系統(tǒng)、1個服務(wù)器群及1個數(shù)據(jù)庫群組成,它利用云計(jì)算服務(wù)模式將系統(tǒng)內(nèi)所存遙感數(shù)據(jù)開放共享,整體上優(yōu)化了遙感大數(shù)據(jù)處理,并且這種開放式的系統(tǒng)可以及時王雋雄等:推進(jìn)智慧水利建設(shè)急需解決的遙感數(shù)據(jù)處理問題研究·76·完成自我維護(hù)和資源更新,從而提高遙感數(shù)據(jù)處理與分析效率。

3.4基于云格的遙感大數(shù)據(jù)處理平臺

網(wǎng)格計(jì)算著重于提供任務(wù)分解后的并行計(jì)算,而云計(jì)算在此基礎(chǔ)上實(shí)現(xiàn)了抽象資源的平臺化服務(wù),如果能將兩種技術(shù)結(jié)合應(yīng)用實(shí)現(xiàn)互補(bǔ),則將實(shí)現(xiàn)遙感大數(shù)據(jù)的處理技術(shù)質(zhì)的飛躍。李德仁等[9]對遙感大數(shù)據(jù)自動分析和數(shù)據(jù)挖掘進(jìn)行了理論層面的研究。曾志等[10]提出利用云計(jì)算增強(qiáng)網(wǎng)格基礎(chǔ)設(shè)施的機(jī)制實(shí)現(xiàn)云計(jì)算和網(wǎng)格的集成,達(dá)到資源虛擬化管理,并提出了基于網(wǎng)格計(jì)算和云計(jì)算環(huán)境下的資源與服務(wù)一體化的異構(gòu)資源統(tǒng)一建模方法。在此背景下,基于云格的遙感大數(shù)據(jù)處理平臺應(yīng)運(yùn)而生。在云格平臺中,云可以是數(shù)據(jù)服務(wù)云、軟件服務(wù)云、硬件環(huán)境服務(wù)云,亦或是兩種或多種組合服務(wù)云,也包含私有云(由第三方提供的付費(fèi)服務(wù))、公有云(一個單位內(nèi)部共享的數(shù)據(jù)服務(wù))和混合云(包含公有云和私有云兩種)。由于云計(jì)算平臺和網(wǎng)格計(jì)算平臺的聯(lián)合應(yīng)用研究仍處于實(shí)驗(yàn)和研究階段,因此目前并沒有一個成熟的應(yīng)用范例。將網(wǎng)格平臺和云平臺優(yōu)化整合實(shí)現(xiàn)云格平臺架構(gòu)的方法和機(jī)制靈活多樣,在云格平臺中,以網(wǎng)格平臺為基礎(chǔ)在計(jì)算和存儲等基礎(chǔ)設(shè)施方面提供保障,再通過統(tǒng)一的標(biāo)準(zhǔn)規(guī)范將云計(jì)算平臺和網(wǎng)格平臺提供的服務(wù)進(jìn)行整合,兩種平臺間亦可以實(shí)現(xiàn)數(shù)據(jù)的傳輸和共享,共同實(shí)現(xiàn)高效率的數(shù)據(jù)處理?;谝陨纤悸?,本研究提出可以將多種云計(jì)算平臺和網(wǎng)絡(luò)計(jì)算平臺按照統(tǒng)一的標(biāo)準(zhǔn)規(guī)范利用聚合工具構(gòu)建出一個統(tǒng)一開放的云格服務(wù)平臺。在這個開放的云格服務(wù)平臺中,云計(jì)算平臺和網(wǎng)格計(jì)算平臺兩種系統(tǒng)共存且互不影響,兩種系統(tǒng)都以各自的方式整合資源,這樣不僅能充分發(fā)揮出網(wǎng)格計(jì)算平臺的超強(qiáng)計(jì)算與存儲潛力,而且能集成云計(jì)算平臺的云存儲、云處理、云組裝和云服務(wù)優(yōu)勢,設(shè)置一個統(tǒng)一的管理中心用以實(shí)現(xiàn)兩種資源與其他資源間的傳輸與調(diào)配,整個系統(tǒng)始終以一種開放的狀態(tài)不斷進(jìn)行著自我完善和更新,用戶可以通過統(tǒng)一的賬戶入口快速訪問相關(guān)資源和鏈接所需服務(wù)。

4結(jié)語

隨著推進(jìn)智慧水利建設(shè)新形勢的要求和信息技術(shù)在廣度和深度層面的不斷突破,遙感大數(shù)據(jù)“質(zhì)”的進(jìn)步和“量”的積累帶來了一場新的機(jī)遇和挑戰(zhàn)。如何實(shí)現(xiàn)“數(shù)據(jù)向知識,知識向決策”的迅速轉(zhuǎn)化是目前急需解決的問題,而開展遙感大數(shù)據(jù)的高效處理研究提供了新的思路和方法。在以地理空間信息服務(wù)為主的大數(shù)據(jù)時代,面向“智慧水利建設(shè)”的新要求,數(shù)據(jù)資源已成為關(guān)鍵生產(chǎn)要素,是“數(shù)字化場景、智慧化模擬、精準(zhǔn)化決策”的“新能源”,而推進(jìn)遙感大數(shù)據(jù)算據(jù)、算法、算力建設(shè)必然會在水土流失防治、水資源管理、水環(huán)境監(jiān)測、水利工程監(jiān)測、防洪抗旱和水土保持碳匯研究等具體領(lǐng)域發(fā)揮巨大作用。

作者:王雋雄 李陽 王宇菲 單位:水利部水土保持監(jiān)測中心 黃河水利委員會 自然資源部

免责声明

本站为第三方开放式学习交流平台,所有内容均为用户上传,仅供参考,不代表本站立场。若内容不实请联系在线客服删除,服务时间:8:00~21:00。

AI写作,高效原创

在线指导,快速准确,满意为止

立即体验
文秘服务 AI帮写作 润色服务 论文发表