大數(shù)據(jù)這個(gè)術(shù)語最早期的引用可追溯到 Apache 軟件基金會(huì)的開源項(xiàng)目 Nutch。當(dāng)時(shí)，大數(shù)據(jù)用來描述為更新網(wǎng)絡(luò)搜索索引需要同時(shí)進(jìn)行批量處理或分析的大量數(shù)據(jù)集[1]。早在 2008 年 Nature 就出版了專刊“Big Data”，從網(wǎng)絡(luò)經(jīng)濟(jì)學(xué)、超級(jí)計(jì)算、互聯(lián)網(wǎng)技術(shù)、生物醫(yī)藥、環(huán)境科學(xué)等多個(gè)方面介紹了海量數(shù)據(jù)帶來的挑戰(zhàn);2011 年 Science 推出數(shù)據(jù)處理的專刊“Dealing With Data”，深入討論了數(shù)據(jù)洪流(data deluge，DD)所帶來的挑戰(zhàn)，并指出如果能夠更有效地組織和利用這些海量數(shù)據(jù)，人們將得到更多的機(jī)會(huì)發(fā)揮科學(xué)技術(shù)對(duì)推動(dòng)社會(huì)發(fā)展的巨大作用;2012 年奧巴馬宣布美國(guó)政府投資 2 億美元啟動(dòng)“大數(shù)據(jù)研究和發(fā)展計(jì)劃”，將大數(shù)據(jù)比喻為“未來的新石油”，將對(duì)大數(shù)據(jù)的研究上升為國(guó)家意志，掀起了世界各國(guó)大數(shù)據(jù)的研究熱潮[2-7]。

　　大數(shù)據(jù)的定義，業(yè)界雖然有一些共識(shí)，但是并未有統(tǒng)一的定義。麥肯錫認(rèn)為“大數(shù)據(jù)是指其大小超出典型數(shù)據(jù)軟件抓取、儲(chǔ)存、管理和分析范圍的數(shù)據(jù)集合”;Gartner 認(rèn)為“大數(shù)據(jù)是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)”[1]。在對(duì)大數(shù)據(jù)的定義中，比較有代表性的定義是 3V 定義，即規(guī)模性(Volume)，多樣性(Variety)和高速性 (Velocity)，規(guī)模性是指數(shù)據(jù)量龐大，數(shù)據(jù)洪流已經(jīng)從 GB、TB 級(jí)上升到 PB、EB、ZB 級(jí);多樣性是指數(shù)據(jù)類型繁多，并且包含結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù);高速性則是指數(shù)據(jù)以數(shù)據(jù)流的形態(tài)快速、動(dòng)態(tài)的產(chǎn)生，數(shù)據(jù)處理的速度也必須達(dá)到高速實(shí)時(shí)處理[7-12]。另外大數(shù)據(jù)第 4V 的討論并沒有取得一致的結(jié)論，國(guó)際數(shù)據(jù)公司(international data corporation，IDC)認(rèn)為大數(shù)據(jù)應(yīng)該具有價(jià)值性 (Value)，且價(jià)值密度稀疏;IBM 則認(rèn)為大數(shù)據(jù)的第 4V 特性是真實(shí)性(Veracity)[8]。大數(shù)據(jù)的這些特點(diǎn)決定了在大數(shù)據(jù)時(shí)代，傳統(tǒng)的數(shù)據(jù)處理技術(shù)必需有革命性的提升。

　　1 智能電網(wǎng)、云計(jì)算和大數(shù)據(jù)的關(guān)系

　　1.1 智能電網(wǎng)與大數(shù)據(jù)的關(guān)系智能電網(wǎng)就是將信息技術(shù)、計(jì)算機(jī)技術(shù)、通信技術(shù)和原有輸、配電基礎(chǔ)設(shè)施高度集成而形成的新型電網(wǎng)，具有提高能源效率、提高供電安全性、減少環(huán)境影響、提高供電可靠性、減少輸電網(wǎng)電能損耗等優(yōu)點(diǎn)[11]。智能電網(wǎng)的理念是通過獲取更多的用戶如何用電、怎樣用電的信息，來優(yōu)化電的生產(chǎn)、分配及消耗，利用現(xiàn)代網(wǎng)絡(luò)、通信和信息技術(shù)進(jìn)行信息海量交互，來實(shí)現(xiàn)電網(wǎng)設(shè)備間信息交換，并自動(dòng)完成信息采集、測(cè)量、控制、保護(hù)、計(jì)量和監(jiān)測(cè)等基本功能，可根據(jù)需要支持電網(wǎng)實(shí)時(shí)自動(dòng)化控制、智能調(diào)節(jié)、在線分析決策和協(xié)同互動(dòng)等高級(jí)功能，因此相關(guān)研究者指出：可以抽象的認(rèn)為，智能電網(wǎng)就是大數(shù)據(jù)這個(gè)概念在電力行業(yè)中的應(yīng)用[12]。

　　1.2 大數(shù)據(jù)與云計(jì)算的關(guān)系根據(jù)美國(guó)國(guó)家標(biāo)準(zhǔn)與技術(shù)研究院的定義，云計(jì)算是一種利用互聯(lián)網(wǎng)實(shí)現(xiàn)隨時(shí)、隨地、按需、便捷地訪問共享資源池(如計(jì)算設(shè)施、應(yīng)用程序、存儲(chǔ)設(shè)備等)的計(jì)算模式[13]。從技術(shù)上看，大數(shù)據(jù)根植于云計(jì)算，云計(jì)算的數(shù)據(jù)存儲(chǔ)、管理與分析方面的技術(shù)是大數(shù)據(jù)技術(shù)的基礎(chǔ)。利用云計(jì)算強(qiáng)大的計(jì)算能力，可以更加迅速地處理大數(shù)據(jù)，并更方便地提供服務(wù);通過大數(shù)據(jù)的業(yè)務(wù)需求，可以為云計(jì)算的發(fā)展找到更多更好的實(shí)際應(yīng)用[14]。云計(jì)算使大數(shù)據(jù)應(yīng)用成為可能，但是沒有大數(shù)據(jù)的信息沉淀，云計(jì)算的功能將得不到完全發(fā)揮，所以從整體上看，大數(shù)據(jù)與云計(jì)算是相輔相成的[15]。

　　1.3 智能電網(wǎng)、云計(jì)算、大數(shù)據(jù)的相互關(guān)系圖 1 簡(jiǎn)要描述了智能電網(wǎng)、云計(jì)算、大數(shù)據(jù)三者之間的相互關(guān)系。云計(jì)算能夠整合智能電網(wǎng)系統(tǒng)內(nèi)部計(jì)算處理和存儲(chǔ)資源，提高電網(wǎng)處理和交互能力，成為電網(wǎng)強(qiáng)有力的技術(shù)組成[16];大數(shù)據(jù)技術(shù)立足于業(yè)務(wù)服務(wù)需求，根植于云計(jì)算，以云計(jì)算技術(shù)為基礎(chǔ);智能電網(wǎng)可以抽象的認(rèn)為是大數(shù)據(jù)這個(gè)概念在電力中的應(yīng)用[12]，所以三者是彼此交互的關(guān)系。智能電網(wǎng)、云計(jì)算、大數(shù)據(jù)三者之間的關(guān)系，從更加深層次來講，是電力系統(tǒng)發(fā)展到不同階段的產(chǎn)物，具有代紀(jì)傳承的特點(diǎn)。圖 2 從代紀(jì)傳承的角度描述了三者之間的相互關(guān)系。

　　2 電力大數(shù)據(jù)平臺(tái)的總體架構(gòu)

　　Apache 基金會(huì)開源技術(shù)通用的大數(shù)據(jù)平臺(tái)整體架構(gòu)如圖 3 所示[17]。該架構(gòu)具有較好的通用性，適用于電力企業(yè)大數(shù)據(jù)的規(guī)劃，其主要思想是利用基于 Hadoop 文件系統(tǒng)(Hadoop distributed file system，HDFS)的分布式文件處理系統(tǒng)作為大數(shù)據(jù)的存儲(chǔ)框架，利用基于 MapReduce 的分布式計(jì)算技術(shù)作為大數(shù)據(jù)的處理框架。以分布式文件處理技術(shù)為基礎(chǔ)，使 PB、ZB 級(jí)的數(shù)據(jù)存儲(chǔ)成為可能;以分布式計(jì)算技術(shù)為基礎(chǔ)，使得 PB、ZB 級(jí)數(shù)據(jù)的查詢分析成為可能。另外該框架中還包含商業(yè)智能應(yīng)用、傳統(tǒng)的數(shù)據(jù)倉庫、大數(shù)據(jù)訪問框架、大數(shù)據(jù)調(diào)度框架、網(wǎng)絡(luò)層、操作系統(tǒng)、服務(wù)器、備份和恢復(fù)、數(shù)據(jù)管理等模塊。

　　大數(shù)據(jù)存儲(chǔ)框架和大數(shù)據(jù)處理框架通常構(gòu)建在通用的服務(wù)器、操作系統(tǒng)或者虛擬機(jī)上，使得該架構(gòu)所需的硬件具有低成本和高擴(kuò)展性的特點(diǎn)，標(biāo)準(zhǔn)的普通服務(wù)器或者 PC 機(jī)即可成為基于該架構(gòu)的終端構(gòu)成單元。大數(shù)據(jù)存儲(chǔ)框架和大數(shù)據(jù)處理框架之上是通過網(wǎng)絡(luò)層連接的大數(shù)據(jù)訪問框架，該訪問框架包含并行計(jì)算機(jī)編程語言 Pig、數(shù)據(jù)倉庫工具 Hive、開源數(shù)據(jù)傳遞工具 Sqoop 等子模塊。

　　3 電力大數(shù)據(jù)關(guān)鍵技術(shù)

　　3.1 電力大數(shù)據(jù)的集成管理技術(shù)電力企業(yè)數(shù)據(jù)集成管理技術(shù)是合并來自 2 個(gè)或者多個(gè)應(yīng)用系統(tǒng)的數(shù)據(jù)，創(chuàng)建一個(gè)具有更多功能的企業(yè)應(yīng)用的過程。從集成的角度來說，就是把不同來源、格式、特點(diǎn)、性質(zhì)的數(shù)據(jù)在邏輯上或者存儲(chǔ)介質(zhì)上有機(jī)地集中，為系統(tǒng)存儲(chǔ)一系列面向主題的、集成的、相對(duì)穩(wěn)定的、反映歷史變化的數(shù)據(jù)集合，從而為系統(tǒng)提供全面的數(shù)據(jù)共享。電力企業(yè)集成管理技術(shù)就是為解決電力企業(yè)內(nèi)部各系統(tǒng)間的數(shù)據(jù)冗余和信息孤島而產(chǎn)生的[18]。

　　3.2 電力大數(shù)據(jù)的數(shù)據(jù)分析技術(shù)大數(shù)據(jù)技術(shù)的根本驅(qū)動(dòng)力是將信號(hào)轉(zhuǎn)化為數(shù)據(jù)，將數(shù)據(jù)分析為信息，將信息提煉為知識(shí)，以知識(shí)促成決策和行動(dòng)[12]。借助電力大數(shù)據(jù)的分析技術(shù)可以從電力系統(tǒng)的海量數(shù)據(jù)中找出潛在的模態(tài)與規(guī)律，為決策人員提供決策支持。麥肯錫認(rèn)為可用于大數(shù)據(jù)分析的關(guān)鍵技術(shù)源于統(tǒng)計(jì)學(xué)和計(jì)算機(jī)科學(xué)等學(xué)科，包含關(guān)聯(lián)分析、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、模式識(shí)別、神經(jīng)網(wǎng)絡(luò)、時(shí)間序列預(yù)測(cè)模型、遺傳算法等多種不同的方法[19]。大數(shù)據(jù)研究不同于傳統(tǒng)的邏輯推理研究，是對(duì)巨大數(shù)量的數(shù)據(jù)做統(tǒng)計(jì)性的搜索、分類、比較、聚類等的分析和歸納，因此繼承了統(tǒng)計(jì)科學(xué)的一些特點(diǎn)，如統(tǒng)計(jì)學(xué)關(guān)注的數(shù)據(jù)相關(guān)性或稱關(guān)聯(lián)性，所謂 “相關(guān)性”是指 2 個(gè)或 2 個(gè)以上變量的取值之間存在某種規(guī)律性[7]。“相關(guān)分析”的目的是找出數(shù)據(jù)集里隱藏的關(guān)系網(wǎng)，一般用支持度、可信度、興趣度等參數(shù)反映相關(guān)性[7]。

　　3.3 電力大數(shù)據(jù)的數(shù)據(jù)處理技術(shù)電力大數(shù)據(jù)的數(shù)據(jù)處理技術(shù)包括分布式計(jì)算技術(shù)，內(nèi)存計(jì)算技術(shù)，流處理技術(shù)等，這 3 種技術(shù)適用的對(duì)象和解決的主要問題如圖 5 所示。分布式計(jì)算技術(shù)是為了解決大規(guī)模數(shù)據(jù)的分布式存儲(chǔ)與處理。內(nèi)存計(jì)算技術(shù)是為了解決數(shù)據(jù)的高效讀取和處理在線的實(shí)時(shí)計(jì)算。流處理技術(shù)則是為了處理實(shí)時(shí)到達(dá)的、速度和規(guī)模不受控制的數(shù)據(jù)。

　　4 大數(shù)據(jù)在智能電網(wǎng)中的應(yīng)用案例

　　電力大數(shù)據(jù)的應(yīng)用場(chǎng)合涵蓋發(fā)、輸、變、配、用、調(diào)等電力行業(yè)的各個(gè)環(huán)節(jié)，在風(fēng)電場(chǎng)選址、降低網(wǎng)損、風(fēng)電并網(wǎng)、電網(wǎng)安全監(jiān)測(cè)、大災(zāi)難預(yù)警、電力企業(yè)精細(xì)化運(yùn)營(yíng)、電力設(shè)備狀態(tài)監(jiān)測(cè)等領(lǐng)域有非常強(qiáng)的可實(shí)現(xiàn)性。隨著智能電網(wǎng)建設(shè)的進(jìn)一步推進(jìn)，大數(shù)據(jù)技術(shù)在智能電網(wǎng)中將發(fā)揮越來越大的作用。下面通過幾個(gè)典型應(yīng)用案例進(jìn)一步闡述大數(shù)據(jù)在智能電網(wǎng)中的應(yīng)用前景。

　　1)IBM 大數(shù)據(jù)技術(shù)在新能源接入中的應(yīng)用。在電力生產(chǎn)環(huán)節(jié)，隨著新能源大量接入，打破了相對(duì)靜態(tài)的傳統(tǒng)電力生產(chǎn)，使得電力生產(chǎn)的管理和計(jì)量變得日趨復(fù)雜[10]。大數(shù)據(jù)技術(shù)能為電力企業(yè)做出更好的預(yù)測(cè)。丹麥的維斯塔斯風(fēng)力技術(shù)集團(tuán)，通過在世界上最大的超級(jí)計(jì)算機(jī)上部署 IBM 大數(shù)據(jù)解決方案，得以通過分析包括 PB 量級(jí)氣象報(bào)告、潮汐相位、地理空間、衛(wèi)星圖像等結(jié)構(gòu)化及非結(jié)構(gòu)化的海量數(shù)據(jù)，從而優(yōu)化了風(fēng)力渦輪機(jī)布局，提高風(fēng)電發(fā)電效率。

　　2)大數(shù)據(jù)技術(shù)在風(fēng)電機(jī)組安全狀態(tài)評(píng)估中的應(yīng)用。風(fēng)電機(jī)組運(yùn)行環(huán)境非常惡劣，受雷雨、鹽霧、冰雪等因素的影響[35]。采用基于大數(shù)據(jù)挖掘技術(shù)的風(fēng)電機(jī)組安全經(jīng)濟(jì)運(yùn)行狀態(tài)綜合評(píng)估系統(tǒng)，監(jiān)測(cè)零部件磨損、疲勞等原因引起的狀態(tài)變化信息，并由此識(shí)別和預(yù)測(cè)風(fēng)電機(jī)組設(shè)備或者零部件的故障，提高機(jī)組的運(yùn)行安全性，避免早發(fā)故障導(dǎo)致的更為嚴(yán)重的故障，并降低運(yùn)維費(fèi)用。基于大數(shù)據(jù)分析的風(fēng)電機(jī)組潛在故障早期預(yù)警流程圖如圖 7 所示[35]。該預(yù)測(cè)系統(tǒng)以設(shè)備歷史數(shù)據(jù)和在線實(shí)時(shí)監(jiān)測(cè)數(shù)據(jù)為基礎(chǔ)，通過設(shè)備屬性配置定義創(chuàng)建設(shè)備超球模型，并用該模型在在線超球模型中評(píng)估設(shè)備狀況。在線評(píng)估模型的輸出是相似度曲線，用于關(guān)聯(lián)點(diǎn)排序、狀態(tài)預(yù)警和測(cè)點(diǎn)值的預(yù)測(cè)。

　　3)大數(shù)據(jù)技術(shù)在電網(wǎng)災(zāi)難預(yù)警中的應(yīng)用。隨著電網(wǎng)日益增加的復(fù)雜性和不斷變化的自然環(huán)境，電力系統(tǒng)中的災(zāi)難性連鎖事故頻繁發(fā)生，這些災(zāi)難性連鎖事故大多數(shù)始于系統(tǒng)某個(gè)元件故障[36]。大規(guī)模停電事故初期往往是少量元件相繼故障，在事故擴(kuò)大階段則與電力系統(tǒng)中的脆弱環(huán)節(jié)有緊密的聯(lián)系，因此從整體預(yù)防的角度出發(fā)，通過大數(shù)據(jù)技術(shù)辨識(shí)電力網(wǎng)絡(luò)中的脆弱環(huán)節(jié)對(duì)提高電力系統(tǒng)的可靠性，降低大規(guī)模停電事故的發(fā)生概率有重要意義[37-38]。一個(gè)典型的基于大數(shù)據(jù)的電網(wǎng)災(zāi)難預(yù)警系統(tǒng)框架如圖 8 所示[38]。該框架以電網(wǎng)拓?fù)鋽?shù)據(jù)、地理信息數(shù)據(jù)、電網(wǎng)運(yùn)行數(shù)據(jù)為數(shù)據(jù)基礎(chǔ)，在算法模型層通過判據(jù)指標(biāo)計(jì)算獲得判據(jù)指標(biāo)庫，通過原因?qū)ふ乙�擎獲得原因分析樹，通過評(píng)價(jià)指標(biāo)計(jì)算獲得評(píng)價(jià)指標(biāo)庫。以此為基礎(chǔ)，在業(yè)務(wù)層通過薄弱區(qū)域識(shí)別、薄弱區(qū)域原因分析，并聯(lián)合判據(jù)層的評(píng)價(jià)指標(biāo)庫，給出綜合預(yù)警結(jié)果[38]。

　　5 結(jié)論與展望

　　本文探討了大數(shù)據(jù)、云計(jì)算、智能電網(wǎng)三者之間的相互關(guān)系，并給出電力大數(shù)據(jù)的總體可執(zhí)行框架，對(duì)電力企業(yè)大數(shù)據(jù)平臺(tái)的搭建具有參考價(jià)值。本文闡述了電力大數(shù)據(jù)平臺(tái)中 4 個(gè)核心的關(guān)鍵技術(shù)，即集成管理技術(shù)、分析技術(shù)、處理技術(shù)、展現(xiàn)技術(shù)。大數(shù)據(jù)的集成管理技術(shù)應(yīng)該考慮關(guān)系型和非關(guān)系型數(shù)據(jù)庫技術(shù)的綜合應(yīng)用，并重點(diǎn)考慮 NoSQL 數(shù)據(jù)庫技術(shù);大數(shù)據(jù)的分析技術(shù)應(yīng)從大數(shù)據(jù)的治理與抽樣、大數(shù)據(jù)特征選擇、大數(shù)據(jù)小數(shù)據(jù)化、大數(shù)據(jù)的分類算法、大數(shù)據(jù)挖掘并行化等方面開展研究;大數(shù)據(jù)的處理技術(shù)應(yīng)根據(jù)具體的應(yīng)用需求考慮分布式計(jì)算、內(nèi)存計(jì)算、流處理等技術(shù);電力大數(shù)據(jù)的數(shù)據(jù)展現(xiàn)技術(shù)可考慮可視化技術(shù)、空間信息流展示技術(shù)、歷史流展示技術(shù)等。文章最后的典型應(yīng)用案例，對(duì)電力企業(yè)開展相關(guān)研究具有參考價(jià)值。

　　大數(shù)據(jù)技術(shù)可以在 5 個(gè)方面創(chuàng)造價(jià)值，分別是：創(chuàng)建透明度，讓利益相關(guān)方更加容易的獲取信息;通過試驗(yàn)來發(fā)現(xiàn)需求，暴露可變因素并提高業(yè)績(jī);根據(jù)客戶需求細(xì)分人群;通過自動(dòng)化算法替換或者支持人為決策;創(chuàng)新商業(yè)模式、產(chǎn)品和服務(wù)。大數(shù)據(jù)技術(shù)在商業(yè)領(lǐng)域已經(jīng)獲得較為廣泛的應(yīng)用并創(chuàng)造出巨大的商業(yè)價(jià)值，但是在電力系統(tǒng)中的應(yīng)用才剛剛起步，因此結(jié)合大數(shù)據(jù)的技術(shù)優(yōu)勢(shì)和電力系統(tǒng)的應(yīng)用需求，發(fā)揮電力大數(shù)據(jù)的價(jià)值，將為智能電網(wǎng)的建設(shè)帶來新的發(fā)展契機(jī)。電力企業(yè)應(yīng)該牢牢抓住這個(gè)契機(jī)，從數(shù)據(jù)政策、人才培養(yǎng)、關(guān)鍵技術(shù)研發(fā)等層面，全面促成電力大數(shù)據(jù)技術(shù)的發(fā)展。

　　參考文獻(xiàn)

　　[1] Gartner.Top ten strategic technology trend for 2012 [EB/OL].(2011-11-05)[2014-08-17].http://www.gartne r.com.

　　[2] Birney E.The making of ENCODE：lessons for big-data projects[J].Nature，2012(489)：49-51.

　　[3] 張東霞，苗新，劉麗萍，等.智能電網(wǎng)大數(shù)據(jù)技術(shù)發(fā)展研究[J].中國(guó)電機(jī)工程學(xué)報(bào)，2015，35(1)：2-12. Zhang Dongxia，Miao Xin，Liu Liping，et al. Research on development strategy for smart grid big data[J].Proceedings of the CSEE，2015，35(1)：2-12(in Chinese).

　　《面向智能電網(wǎng)應(yīng)用的電力大數(shù)據(jù)關(guān)鍵技術(shù)》來源：《中國(guó)電機(jī)工程學(xué)報(bào)》，作者：彭小圣 1 ，鄧迪元 1 ，程時(shí)杰 1 ，文勁宇 1 ，李朝暉 1 ，牛林 2