隨著廣東水利信息化事業(yè)的快速發(fā)展，先后啟動了省三防指揮系統(tǒng)等骨干項目和實際應(yīng)用，內(nèi)涵涵蓋多個職能部門和專業(yè)領(lǐng)域，并形成了海量水利數(shù)據(jù)信息，由于缺乏有效的整合利用手段和共享平臺，許多業(yè)務(wù)應(yīng)用系統(tǒng)開發(fā)附帶的具有公共價值的數(shù)據(jù)資源處于獨立專用狀態(tài)，形成“信息孤島”。

　　【摘 要】通過總結(jié)目前數(shù)據(jù)架構(gòu)和組織形式，分析廣東省水利數(shù)據(jù)中心數(shù)據(jù)存儲架構(gòu)、數(shù)據(jù)存儲及交換方式以及數(shù)據(jù)服務(wù)設(shè)計，構(gòu)建共享、高效的水利數(shù)據(jù)中心數(shù)據(jù)存儲架構(gòu)體系，為同類數(shù)據(jù)工程建設(shè)提供有益的參考。

　　【關(guān)鍵詞】學術(shù)論文發(fā)表,數(shù)據(jù)中心,數(shù)據(jù)存儲,元數(shù)據(jù)

　　【Abstract】Summarizing the current data structure and organization， it is analyzed about the data storage architecture， the way of data exchanging and data service designing， and then the efficient storage architecture system is constructed about data center ，and it provides reference for similar engineering construction.

　　【Key words】Data center;Data storage;Metadata

　　0 前言

　　廣東省水利數(shù)據(jù)中心是一項大型信息系統(tǒng)工程，通過建立完善的水利數(shù)據(jù)庫，有效匯聚全省水雨情信息，并按照一數(shù)一源的原則，優(yōu)化數(shù)據(jù)庫表結(jié)構(gòu)，解決數(shù)據(jù)資源整合及共享問題，更好的為廣東水利事業(yè)提供信息共享交換服務(wù)。

　　1 數(shù)據(jù)存儲設(shè)計

　　數(shù)據(jù)中心的數(shù)據(jù)架構(gòu)圖如圖所示，主要由ODS區(qū)、數(shù)據(jù)倉庫區(qū)、數(shù)據(jù)緩沖區(qū)(交換數(shù)據(jù)臨時存儲區(qū))、非結(jié)構(gòu)化數(shù)據(jù)存儲區(qū)、元數(shù)據(jù)及資源信息目錄等區(qū)域構(gòu)成，并通過數(shù)據(jù)對上接口區(qū)與水利部進行數(shù)據(jù)交換，通過數(shù)據(jù)對下接口區(qū)實現(xiàn)與各地市及流域局的數(shù)據(jù)交換。

　　1.1 ODS區(qū)

　　ODS區(qū)即操作型數(shù)據(jù)存儲區(qū)(Operational Data Store，ODS)，存放集成的、可更新的、近實時的業(yè)務(wù)數(shù)據(jù)，用于業(yè)務(wù)系統(tǒng)與數(shù)據(jù)倉庫之間的數(shù)據(jù)遷移，支持基于主題域的實時查詢，省數(shù)據(jù)中心的ODS區(qū)主要存放25類數(shù)據(jù)庫以及水利普查數(shù)據(jù)庫。

　　為最大程度地集成既有業(yè)務(wù)系統(tǒng)完整的數(shù)據(jù)信息源，降低對業(yè)務(wù)系統(tǒng)的影響，ODS區(qū)還辟有業(yè)務(wù)數(shù)據(jù)暫存區(qū)，主要存放既有業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫的全量備份，并以此作為25類數(shù)據(jù)庫的數(shù)據(jù)來源。

　　1.2 數(shù)據(jù)倉庫區(qū)

　　數(shù)據(jù)倉庫(Data Warehouse，DW)存放面向主題的、集成的、相對穩(wěn)定的、反映歷史變化的數(shù)據(jù)。數(shù)據(jù)倉庫統(tǒng)一存放與管理經(jīng)整合后、具有分析價值的歷史數(shù)據(jù)與現(xiàn)狀數(shù)據(jù)，支持基于大量歷史數(shù)據(jù)的企業(yè)決策分析。數(shù)據(jù)倉庫區(qū)分兩個層次，第一層次為Master庫，該庫中的數(shù)據(jù)是面向主題存放的基礎(chǔ)明細數(shù)據(jù)，可用于決策支持。第二層次為Master庫的子集，包含數(shù)據(jù)集市、數(shù)據(jù)挖掘庫和共享信息庫，數(shù)據(jù)集市面向特定的分析應(yīng)用，數(shù)據(jù)挖掘庫提供深層次的數(shù)據(jù)挖掘服務(wù)，共享信息庫是根據(jù)特定需求從Master庫抽取的可共享的數(shù)據(jù)庫。

　　1.3 元數(shù)據(jù)及資源信息目錄存儲區(qū)

　　本項目中，元數(shù)據(jù)用于存放ODS和DW中基礎(chǔ)庫、專題庫、Master庫中數(shù)據(jù)的機構(gòu)信息，資源目錄用于存放數(shù)據(jù)資源信息，通過資源目錄體系建設(shè)，形成全省水利行業(yè)統(tǒng)一管理和服務(wù)的資源目錄體系。

　　2 數(shù)據(jù)庫設(shè)計

　　2.1 數(shù)據(jù)庫架構(gòu)

　　廣東省水利數(shù)據(jù)中心數(shù)據(jù)架構(gòu)ODS存儲區(qū)中，ODS存儲區(qū)如圖2所示，主要包含基礎(chǔ)數(shù)據(jù)庫、專業(yè)數(shù)據(jù)庫、數(shù)據(jù)暫存區(qū)數(shù)據(jù)庫和水利普查數(shù)據(jù)庫，數(shù)據(jù)倉庫中主要包含Master數(shù)據(jù)庫、主題數(shù)據(jù)庫、數(shù)據(jù)挖掘庫和共享信息庫，其中Master數(shù)據(jù)庫對用戶屏蔽，數(shù)據(jù)倉庫通過主題數(shù)據(jù)庫對外提供服務(wù)。主題數(shù)據(jù)庫主要為基于數(shù)據(jù)中心的輔助決策類業(yè)務(wù)應(yīng)用提供服務(wù)，由業(yè)務(wù)部門提出服務(wù)需求，數(shù)據(jù)中心根據(jù)需求信息生成業(yè)務(wù)模型，形成對應(yīng)于業(yè)務(wù)需求的數(shù)據(jù)信息。主題數(shù)據(jù)庫提供的服務(wù)基于OLAP業(yè)務(wù)應(yīng)用，以海量數(shù)據(jù)為基礎(chǔ)，能對數(shù)據(jù)進行匯總，建立多維度分析、查詢和報表，側(cè)重于決策支持。

　　2.2 數(shù)據(jù)整合設(shè)計

　　數(shù)據(jù)整合主要包括橫向數(shù)據(jù)整合和縱向數(shù)據(jù)整合兩個部分，橫向數(shù)據(jù)整合主要針對省廳各業(yè)務(wù)處室的現(xiàn)有業(yè)務(wù)系統(tǒng)數(shù)據(jù)整合，該部分業(yè)務(wù)系統(tǒng)通過全量復制數(shù)據(jù)在 ODS層落地，與標準數(shù)據(jù)庫建立映射關(guān)系，對數(shù)據(jù)進行標準化轉(zhuǎn)換后存入標準化數(shù)據(jù)庫中。其中ODS區(qū)的數(shù)據(jù)需要經(jīng)過清洗、轉(zhuǎn)換后按照相應(yīng)規(guī)則抽取到 Master庫中，再經(jīng)過二次ETL得到面向應(yīng)用主題的主題數(shù)據(jù)庫以提供輔助決策功能。縱向數(shù)據(jù)整合主要指地市系統(tǒng)與省系統(tǒng)、國家系統(tǒng)與省系統(tǒng)的數(shù)據(jù)交換，地市水利數(shù)據(jù)通過數(shù)據(jù)交換服務(wù)將數(shù)據(jù)發(fā)送到數(shù)據(jù)倉庫的臨時存儲區(qū)，然后再經(jīng)過ETL方式將數(shù)據(jù)載入數(shù)據(jù)中心ODS層對應(yīng)數(shù)據(jù)庫。省級系統(tǒng)與國家系統(tǒng)的數(shù)據(jù)交換同樣通過數(shù)據(jù)交換平臺按照水利部提供的業(yè)務(wù)數(shù)據(jù)需求實現(xiàn)數(shù)據(jù)上報。

　　3 元數(shù)據(jù)

　　元數(shù)據(jù)被稱為“關(guān)于數(shù)據(jù)的數(shù)據(jù)”目的是使數(shù)據(jù)能夠被正確理解和解釋。廣東省水利數(shù)據(jù)中心覆蓋到端到端的元數(shù)據(jù)體系如圖3所示。

　　數(shù)據(jù)中心元數(shù)據(jù)分布圖

　　元數(shù)據(jù)主要分布在以下幾個環(huán)節(jié)：

　　數(shù)據(jù)建模工具的元數(shù)據(jù)：其數(shù)據(jù)項包含以下對象(包括但不限于)：Model，ValidationRule，DefaultValue，Transform，Table，Column，Key(primaryKey，forei- gnKey，NonUniqueKey)，Relationship。 　　數(shù)據(jù)庫(ODS&DW)元數(shù)據(jù)：用來存儲數(shù)據(jù)倉庫的數(shù)據(jù)實體信息，該部分包含的元數(shù)據(jù)項至少有以下對象(包括但不限于)：Catalog，Schema，Table，View，Column，Procedure，SQLIndex，Trigger，CheckConstraint。

　　ETL工具元數(shù)據(jù)：該工具的核心作用是對數(shù)據(jù)的處理，包括數(shù)據(jù)抽取、轉(zhuǎn)換、清洗、裝載的過程。ETL工具的元數(shù)據(jù)體現(xiàn)為一些數(shù)據(jù)流圖，其描述數(shù)據(jù)處理過程(Transformation)，分析數(shù)據(jù)的來源及輸出等。ETL元數(shù)據(jù)包含以下對象(包括但不限于)：repository;task(包括的類型有 Workflow，Session，Command，Email，Worklet，Decision，Event ait，Event Raise，Timer，Assignment，Control);Task(Mapping里的 Sources，TargetTransformations) 等。

　　OLAP工具元數(shù)據(jù)：OLAP展現(xiàn)在用戶面前是一幅幅多維視圖。其元數(shù)據(jù)主要包括維的層次、維的成員、度量的信息等。

　　BI前端工具元數(shù)據(jù)：BI工具屬于業(yè)務(wù)層面的工具，其主要包含的元數(shù)據(jù)是對統(tǒng)計分析指標的業(yè)務(wù)定義、統(tǒng)計口徑定義等。

　　4 數(shù)據(jù)服務(wù)設(shè)計

　　數(shù)據(jù)中心ODS區(qū)各類數(shù)據(jù)庫資源以及數(shù)據(jù)倉庫中Master庫對用戶屏蔽，用戶通過共享信息庫和主題數(shù)據(jù)庫訪問數(shù)據(jù)中心的數(shù)據(jù)資源。

　　共享信息庫是指通過將實體數(shù)據(jù)根據(jù)業(yè)務(wù)需要抽象出來可供多個業(yè)務(wù)應(yīng)用訪問的可共享信息倉庫，用戶并不能直接訪問Master數(shù)據(jù)庫中的數(shù)據(jù)資源，在一定程度上保證了數(shù)據(jù)安全，又可以保證業(yè)務(wù)系統(tǒng)的基本穩(wěn)定。

　　主題數(shù)據(jù)庫為基于數(shù)據(jù)中心的輔助決策類業(yè)務(wù)應(yīng)用提供服務(wù)，由業(yè)務(wù)應(yīng)用向數(shù)據(jù)中心提出申請，數(shù)據(jù)中心根據(jù)申請主題形成業(yè)務(wù)模型，生成對應(yīng)于業(yè)務(wù)的事實表和應(yīng)用與模型的維信息，主題數(shù)據(jù)庫的數(shù)據(jù)主要通過ETL工具生成。

　　事實表(Fact Table)，數(shù)據(jù)倉庫架構(gòu)中的中央表，是存儲可度量的值的詳細數(shù)值或?qū)嶋H數(shù)值的關(guān)系數(shù)據(jù)庫中的表格，包含聯(lián)系事實與維表的數(shù)字度量值和鍵。

　　維表(Dimension Table)，數(shù)據(jù)倉庫中的表，其條目描述事實數(shù)據(jù)表中的數(shù)據(jù)，維表包含創(chuàng)建維度所需的數(shù)據(jù)。

　　5 結(jié)語

　　廣東省水利數(shù)據(jù)中心是全國首個省級水利數(shù)據(jù)中心，通過對數(shù)據(jù)中心數(shù)據(jù)架構(gòu)的分析和研究，總結(jié)數(shù)據(jù)架構(gòu)設(shè)計和匯交方式，通過存儲分區(qū)結(jié)構(gòu)，實現(xiàn)數(shù)據(jù)的快速查詢、數(shù)據(jù)挖掘和信息共享，通過數(shù)據(jù)整合設(shè)計實現(xiàn)數(shù)據(jù)的橫向整合和縱向整合，為主題數(shù)據(jù)庫提供輔助決策，并實現(xiàn)地市和省級節(jié)點向國家節(jié)點的數(shù)據(jù)上報，通過數(shù)據(jù)庫及數(shù)據(jù)服務(wù)設(shè)計，定義數(shù)據(jù)庫結(jié)構(gòu)和元數(shù)據(jù)體系，確定數(shù)據(jù)中心對外提供服務(wù)的方式。目前對水利數(shù)據(jù)中心的研究還存在很多難點，下一步要解決的問題是如何利用數(shù)據(jù)中心中的大量數(shù)據(jù)為為預測洪澇災(zāi)害提供決策支持，希望通過本次研究能對廣大同行有所幫助。

　　【參考文獻】

　　[1]劉曉茜.云計算數(shù)據(jù)中心結(jié)構(gòu)及其調(diào)度機制研究[D].合肥：中國科技大學，2011.

　　[2]鄧維.云計算數(shù)據(jù)中心的新能源應(yīng)用：研究現(xiàn)狀與趨勢[J].計算機學報，2013，(3).

　　[3]鄭華鋒.寧德市水電開發(fā)[M].北京：水利水電出版社，2008.