數(shù)據(jù)資源管理平臺
發(fā)布日期:2025-07-26 瀏覽次數(shù):33
一、產(chǎn)品概述
數(shù)據(jù)資源管理平臺為系統(tǒng)數(shù)據(jù)的集成接入提供統(tǒng)一的數(shù)據(jù)中心,實現(xiàn)數(shù)據(jù)的匯集加工、治理融合、共享交換。通過數(shù)據(jù)共享、開發(fā)和開放,實現(xiàn)對數(shù)據(jù)的深度分析、價值挖掘和合理應(yīng)用。最終實現(xiàn)了水利全要素數(shù)字化映射。為流域防洪及水資源管理與調(diào)配等業(yè)務(wù)的“2+N”應(yīng)用提供支撐。
二、系統(tǒng)架構(gòu)
數(shù)據(jù)資源管理平臺的總體架構(gòu)共分為六層:
1、信息采集層:主要對基礎(chǔ)數(shù)據(jù)、監(jiān)測數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)、地理空間數(shù)據(jù)、共享數(shù)據(jù)進(jìn)行采集。包括水質(zhì)信息、水位信息、雨量信息、氣象信息、流量信息、視頻信息等;利用部門上報和人工錄入的手段采集基礎(chǔ)數(shù)據(jù),包括河道屬性、監(jiān)測站點信息、管理單位信息、工程信息等;此外,交換共享平臺采集水利、國土、市政、農(nóng)業(yè)等相關(guān)部門的數(shù)據(jù)。
2、基礎(chǔ)設(shè)施層:負(fù)責(zé)為數(shù)據(jù)資源管理及網(wǎng)絡(luò)傳輸提供設(shè)施硬件環(huán)境,通過機(jī)房建設(shè),實現(xiàn)數(shù)據(jù)存儲、數(shù)據(jù)分析及網(wǎng)絡(luò)傳輸。通過專網(wǎng)、公網(wǎng),利用信息傳輸技術(shù),實現(xiàn)數(shù)據(jù)信息安全穩(wěn)定傳輸,同時支持云平臺建設(shè)。
3、數(shù)據(jù)存儲層:建設(shè)不同類型的數(shù)據(jù)庫,對數(shù)據(jù)進(jìn)行管理。包括基礎(chǔ)數(shù)據(jù)庫、監(jiān)測數(shù)據(jù)庫、地理空間數(shù)據(jù)庫、業(yè)務(wù)數(shù)據(jù)庫、模型庫、共享數(shù)據(jù)庫。
4、基礎(chǔ)支撐層:支撐數(shù)據(jù)資源管理平臺的運(yùn)行,包括緩存中間件、消息中間件、jvm、python、Nginx等,為數(shù)據(jù)資源管理平臺功能的實現(xiàn)提供技術(shù)支撐。
5、應(yīng)用層:數(shù)據(jù)資源管理平臺建設(shè)內(nèi)容主要包括目錄管理、數(shù)據(jù)匯聚、數(shù)據(jù)治理、數(shù)據(jù)服務(wù)。
6、展示層:實現(xiàn)數(shù)據(jù)資源管理平臺與業(yè)務(wù)應(yīng)用系統(tǒng)的友好對接,為業(yè)務(wù)系統(tǒng)提供基礎(chǔ)數(shù)據(jù)支撐。
三、產(chǎn)品功能
數(shù)據(jù)資源管理平臺通過對已建信息系統(tǒng)數(shù)據(jù)、人工填報數(shù)據(jù)、紙質(zhì)文檔數(shù)據(jù)、物聯(lián)網(wǎng)數(shù)據(jù)等數(shù)據(jù)的獲取,構(gòu)成數(shù)據(jù)源。同時對分散的多源異構(gòu)數(shù)據(jù)進(jìn)行治理,面向防洪調(diào)度、水資源管理與調(diào)配等業(yè)務(wù)需求,按照基礎(chǔ)數(shù)據(jù)、監(jiān)測數(shù)據(jù)、地理空間數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)、共享數(shù)據(jù)等進(jìn)行分類存儲。同步建立數(shù)據(jù)的更新、發(fā)布、共享等機(jī)制與功能,豐富數(shù)據(jù)內(nèi)容、提升數(shù)據(jù)質(zhì)量,為實現(xiàn)數(shù)據(jù)資源的集中管理和數(shù)據(jù)查詢、多維度分析、可視化應(yīng)用搭建數(shù)據(jù)基礎(chǔ)。數(shù)據(jù)資源管理平臺核心建設(shè)內(nèi)容主要包括數(shù)據(jù)匯聚、數(shù)據(jù)治理、數(shù)據(jù)服務(wù)、數(shù)據(jù)資源目錄。
1、數(shù)據(jù)匯聚
集成各類數(shù)據(jù)資源,建立統(tǒng)一的數(shù)據(jù)倉庫,實現(xiàn)數(shù)據(jù)資源的集中管理和統(tǒng)一規(guī)范化。支持?jǐn)?shù)據(jù)匯聚任務(wù)的可配置、可視化展示。
2、數(shù)據(jù)治理
支持多種數(shù)據(jù)處理和分析應(yīng)用,支持對數(shù)據(jù)進(jìn)行準(zhǔn)確性、完整性、一致性、可靠性、規(guī)范性、時效性治理。數(shù)據(jù)治理,設(shè)計數(shù)據(jù)治理規(guī)則,對匯聚后的多源數(shù)據(jù)進(jìn)行清洗,對不同類別的數(shù)據(jù)進(jìn)行校驗。
3、數(shù)據(jù)服務(wù)
對數(shù)據(jù)庫中各類數(shù)據(jù)的服務(wù)化封裝,并提供基于標(biāo)準(zhǔn)化 API 接口訪問服務(wù),實現(xiàn)數(shù)據(jù)資源目錄與數(shù)據(jù)的服務(wù)與發(fā)布。
4、數(shù)據(jù)資源目錄
實現(xiàn)對系統(tǒng)內(nèi)數(shù)據(jù)進(jìn)行全面摸底與系統(tǒng)梳理,將梳理結(jié)果以結(jié)構(gòu)化目錄形式清晰呈現(xiàn)。通過層級化展示直觀呈現(xiàn)數(shù)據(jù)脈絡(luò),為數(shù)據(jù)查詢、管理及應(yīng)用提供精準(zhǔn)指引。
四、平臺特色
1、實現(xiàn)B/S架構(gòu)的實體和關(guān)系的動態(tài)數(shù)據(jù)建模以及可視化庫表設(shè)計。
2、可視化匯聚/治理任務(wù)配置和控制:通過拖拽的形式,完成數(shù)據(jù)匯聚任務(wù)的映射配置和執(zhí)行參數(shù)選擇以及任務(wù)的實時控制,實現(xiàn)匯聚任務(wù)管控的便捷化。
3、多數(shù)據(jù)源數(shù)據(jù)適配處理:支持sqlserver數(shù)據(jù)庫、oracle數(shù)據(jù)庫、Mysql數(shù)據(jù)庫、DB2數(shù)據(jù)庫、達(dá)夢數(shù)據(jù)庫、GaussDB數(shù)據(jù)庫、海量數(shù)據(jù)庫、WebService接口、Http接口、kafka消息隊列、rabbltmq消息隊列、rocketmq消息隊列等多種數(shù)據(jù)源類型的適配處理。
五、技術(shù)特點
數(shù)據(jù)資源管理平臺整合多源數(shù)據(jù),治理多維度數(shù)據(jù),建立統(tǒng)一倉庫集中規(guī)范管理,最后提供標(biāo)準(zhǔn)化 API 實現(xiàn)數(shù)據(jù)服務(wù)與發(fā)布。為數(shù)據(jù)的全生命周期管理提供安全、高效的支撐。
概括來講,數(shù)據(jù)資源管理平臺實現(xiàn)“四個一”:
一個全域數(shù)據(jù)源。整合已建系統(tǒng)數(shù)據(jù)、人工填報數(shù)據(jù)、紙質(zhì)文檔數(shù)據(jù)、物聯(lián)網(wǎng)數(shù)據(jù)等多類型數(shù)據(jù),形成全面覆蓋的數(shù)據(jù)源體系。
一個標(biāo)準(zhǔn)化治理體系。針對分散的多源異構(gòu)數(shù)據(jù)實施治理,通過清洗校驗、分類存儲及建立更新發(fā)布機(jī)制,保障數(shù)據(jù)質(zhì)量與規(guī)范。
一個統(tǒng)一數(shù)據(jù)倉庫。依托數(shù)據(jù)匯聚功能實現(xiàn)各類數(shù)據(jù)集中存儲管理,支持可視化配置與規(guī)范化管控。
一個開放服務(wù)接口。通過服務(wù)化封裝與標(biāo)準(zhǔn)化 API 接口,提供數(shù)據(jù)查詢、共享及可視化應(yīng)用服務(wù),支撐業(yè)務(wù)需求落地。
“一個全域數(shù)據(jù)源” 奠定數(shù)據(jù)基礎(chǔ),“一個標(biāo)準(zhǔn)化治理體系” 保障數(shù)據(jù)質(zhì)量,“一個統(tǒng)一數(shù)據(jù)倉庫” 實現(xiàn)集中管控,“一個開放服務(wù)接口” 支撐業(yè)務(wù)應(yīng)用。這 “四個一”相互銜接,構(gòu)建起數(shù)據(jù)資源管理平臺的核心技術(shù)框架,賦能數(shù)據(jù)全生命周期高效管理。
六、典型案例
1、淮河水利一張圖
2、數(shù)字孿生淮陰抽水泵站
- 上一篇:無
- 下一篇:水利工程管控一體化平臺