大數(shù)據(jù)又稱為巨量資料，指的是需要新處理模式才能具有更強(qiáng)的決策力、洞察力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。現(xiàn)如今，大數(shù)據(jù)的應(yīng)用范圍越來越廣了，很多領(lǐng)域都開始使用大數(shù)據(jù)來分析情況。本文是一篇關(guān)于大數(shù)據(jù)的論文范文，屬于中級工程師職稱論文，文章論述了大數(shù)據(jù)分析與應(yīng)用問題研究，有需要發(fā)表論文的作者可以聯(lián)系網(wǎng)站在線編輯投稿。

 　　【摘 要】大數(shù)據(jù)具有規(guī)模大、種類多、生成速度快、價值巨大但密度低的特點。大數(shù)據(jù)應(yīng)用就是利用數(shù)據(jù)分析的方法，從大數(shù)據(jù)中挖掘有效信息，為用戶提供輔助決策，實現(xiàn)大數(shù)據(jù)價值的過程。主要介紹了大數(shù)據(jù)定義，分析方法、應(yīng)用領(lǐng)域等相關(guān)問題。

　　【關(guān)鍵詞】中級工程師職稱論文,大數(shù)據(jù),數(shù)據(jù)分析,應(yīng)用領(lǐng)域

　　1.大數(shù)據(jù)的定義

　　美國國家標(biāo)準(zhǔn)和技術(shù)研究院對大數(shù)據(jù)做出了定義：“大數(shù)據(jù)是指其數(shù)據(jù)量、采集速度，或數(shù)據(jù)表示限制了使用傳統(tǒng)關(guān)系型方法進(jìn)行有效分析的能力，或需要使用重要的水平縮放技術(shù)來實現(xiàn)高效處理的數(shù)據(jù)。”我們認(rèn)為大數(shù)據(jù)價值鏈可分為：數(shù)據(jù)生成、數(shù)據(jù)采集、數(shù)據(jù)儲存以及數(shù)據(jù)分析。數(shù)據(jù)分析是大數(shù)據(jù)價值鏈的最后也是最重要的階段，是大數(shù)據(jù)價值的實現(xiàn)，是大數(shù)據(jù)應(yīng)用的基礎(chǔ)，其目的在于提取有用的值，提供論斷建議或支持決策，通過對不同領(lǐng)域數(shù)據(jù)集的分析可能會產(chǎn)生不同級別的潛在價值。

　　可用于大數(shù)據(jù)分析的傳統(tǒng)數(shù)據(jù)分析方法：(1)聚類分析。聚類分析是劃分對象的統(tǒng)計學(xué)方法，指把具有某種相似特征的物體或者事物歸為一類。聚類分析的目的在于辨別在某些特性上相似(但是預(yù)先未知)的事物，并按這些特性將樣本劃分成若干類(群)，使在同一類內(nèi)的事物具有高度的同質(zhì)性，而不同類的事物則有高度的異質(zhì)性。聚類分析是一種沒有使用訓(xùn)練數(shù)據(jù)的無監(jiān)督式學(xué)習(xí)。(2)因子分析。因子分析的基本目的就是用少數(shù)幾個因子去描述許多指標(biāo)或因素之間的聯(lián)系，即將相互比較密切的幾個變量歸在同一類中，每一類變量就成為一個因子(之所以稱其為因子，是因為它是不可觀測的，即不是具體的變量)，以較少的幾個因子反映原數(shù)據(jù)的大部分信息。(3)相關(guān)分析。相關(guān)分析法是測定事物之間相關(guān)關(guān)系的規(guī)律性，并據(jù)以進(jìn)行預(yù)測和控制的分析方法。社會經(jīng)濟(jì)形象之間存在著大量的相互聯(lián)系、相互依賴、相互制約的數(shù)量關(guān)系。這種關(guān)系可分為兩種類型。一類是函數(shù)關(guān)系，它反映著現(xiàn)象之間嚴(yán)格的依存關(guān)系，也稱確定性的依存關(guān)系。在這種關(guān)系中，對于變量的每一個數(shù)值，都有一個或幾個確定的值與之對應(yīng)。另一類為相關(guān)關(guān)系，在這種關(guān)系中，變量之間存在著不確定、不嚴(yán)格的依存關(guān)系，對于變量的某個數(shù)值，可以有另一變量的若干數(shù)值與之相對應(yīng)，這若干個數(shù)值圍繞著它們的平均數(shù)呈現(xiàn)出有規(guī)律的波動。(4)回歸分析。回歸分析是研究一個變量與其他若干變量之間相關(guān)關(guān)系的一種數(shù)學(xué)工具，它是在一組實驗或觀測數(shù)據(jù)的基礎(chǔ)上，尋找被隨機(jī)性掩蓋了的變量之間的依存關(guān)系。通過回歸分析，可以把變量間的復(fù)雜的、不確定的關(guān)系變得簡單化、有規(guī)律化。

　　雖然這些傳統(tǒng)的分析方法已經(jīng)被應(yīng)用于大數(shù)據(jù)領(lǐng)域，但是它們在處理規(guī)模較大的數(shù)據(jù)集合時，效率無法達(dá)到用戶預(yù)期，且難以處理復(fù)雜的數(shù)據(jù)，如非結(jié)構(gòu)化數(shù)據(jù)。因此，出現(xiàn)了許多專門針對大數(shù)據(jù)的集成、管理及分析的技術(shù)和方法。

　　2.大數(shù)據(jù)分析方法

　　布隆過濾器：其實質(zhì)是一個位數(shù)組和一系列HASH函數(shù)。布隆過濾器的原理是利用位數(shù)組存儲數(shù)據(jù)的HASH值而不是數(shù)據(jù)本身，其本質(zhì)是利用HASH函數(shù)對數(shù)據(jù)進(jìn)行有損壓縮存儲的位圖索引。其優(yōu)點是具有較高的空間效率和查詢速率，缺點是有一定的誤識別率和刪除困難。布隆過濾器適用于允許低誤識別率的大數(shù)據(jù)場合。

　　HASH法，其本質(zhì)是將數(shù)據(jù)轉(zhuǎn)化為長度更短的定長的數(shù)值或索引值的方法。這種方法的優(yōu)點是具有快速的讀寫和查詢速度，缺點是難以找到一個良好的HASH函數(shù)。

　　索引：無論是在管理結(jié)構(gòu)化數(shù)據(jù)的傳統(tǒng)關(guān)系數(shù)據(jù)庫，還是管理半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的技術(shù)中，索引都是一個減少磁盤讀寫開銷、提高增刪改查速率的有效方法。索引的缺陷在于需要額外的開銷存儲索引文件，且需要根據(jù)數(shù)據(jù)的更新而動態(tài)維護(hù)。

　　TRIE樹：又稱為字典樹，是HASH樹的變種形式，多被用于快速檢索，和詞頻統(tǒng)計。TRIE樹的思想是利用字符串的公共前綴，最大限度地減少字符串的比較，提高查詢效率。

　　并行計算：相對于傳統(tǒng)的串行計算，并行計算是指同時使用多個計算資源完成運算。其基本思想是將問題進(jìn)行分解，由若干個獨立的處理器完成各自的任務(wù)，以達(dá)到協(xié)同處理的目的。

　　傳統(tǒng)數(shù)據(jù)分析方法，大多數(shù)都是通過對原始數(shù)據(jù)集進(jìn)行抽樣或者過濾，然后對數(shù)據(jù)樣本進(jìn)行分析，尋找特征和規(guī)律，其最大的特點是通過復(fù)雜的算法從有限的樣本空間中獲取盡可能多的信息。隨著計算能力和存儲能力的提升，大數(shù)據(jù)分析方法與傳統(tǒng)分析方法的最大區(qū)別在于分析的對象是全體數(shù)據(jù)，而不是數(shù)據(jù)樣本，其最大的特點在于不追求算法的復(fù)雜性和精確性，而追求可以高效地對整個數(shù)據(jù)集的分析。總之，傳統(tǒng)數(shù)據(jù)方法力求通過復(fù)雜算法從有限的數(shù)據(jù)集中獲取信息，其更加追求準(zhǔn)確性;大數(shù)據(jù)分析方法則是通過高效的算法、模式，對全體數(shù)據(jù)進(jìn)行分析。

　　3.大數(shù)據(jù)應(yīng)用領(lǐng)域

　　目前根據(jù)數(shù)據(jù)的生成方式和結(jié)構(gòu)特點不同，可以將數(shù)據(jù)分析劃分為6個關(guān)鍵技術(shù)領(lǐng)域：(1)結(jié)構(gòu)化數(shù)據(jù)。一直是傳統(tǒng)數(shù)據(jù)分析的重要研究對象，目前主流的結(jié)構(gòu)化數(shù)據(jù)管理工具，如關(guān)系型數(shù)據(jù)庫等，都提供了數(shù)據(jù)分析功能。(2)文本。是常用的存儲文字、傳遞信息的方式，也是最常見的非結(jié)構(gòu)化數(shù)據(jù)。一直演化到21世紀(jì)初新興的在線社交網(wǎng)絡(luò)分析。(3)WEB數(shù)據(jù)。WEB技術(shù)的發(fā)展，極大地豐富了獲取和交換數(shù)據(jù)的方式，WEB數(shù)據(jù)高速的增長，使其成為大數(shù)據(jù)的主要來源。(4)多媒體數(shù)據(jù)。隨著通訊技術(shù)的發(fā)展，圖片、音頻、視頻等體積較大的數(shù)據(jù)，也可以被快速地傳播，由于缺少文字信息，其分析方法與其他數(shù)據(jù)相比，具有顯著的特點。(5)社交網(wǎng)絡(luò)數(shù)據(jù)。從一定程度上反映了人類社會活動的特征，具有重要的價值。(6)移動數(shù)據(jù)。與傳統(tǒng)的互聯(lián)網(wǎng)數(shù)據(jù)不同，具有明顯的地理位置信息、用戶個體特征等其他信息。

　　大數(shù)據(jù)未來的應(yīng)用領(lǐng)域和方向還包括以下幾個方面：(1)大數(shù)據(jù)可視化。在許多人機(jī)交互場景中，都遵循所見即所得的原則，例如文本和圖像編輯器等。在大數(shù)據(jù)應(yīng)用中，混雜的數(shù)據(jù)本身是難以輔助決策的，只有將分析后的結(jié)果以友好的形式展現(xiàn)，才會被用戶接受并加以利用。報表、直方圖、餅狀圖、回歸曲線等經(jīng)常被用于表現(xiàn)數(shù)據(jù)分析的結(jié)果，以后肯定會出現(xiàn)更多的新穎的表現(xiàn)形式，例如微軟的“人立方”社交搜索引擎使用關(guān)系圖來表現(xiàn)人際關(guān)系。(2)面向數(shù)據(jù)。程序是數(shù)據(jù)結(jié)構(gòu)和算法，而數(shù)據(jù)結(jié)構(gòu)就是存儲數(shù)據(jù)的。在程序設(shè)計的發(fā)展歷程中，也可以看出數(shù)據(jù)的地位越來越重要。在邏輯比數(shù)據(jù)復(fù)雜的小規(guī)模數(shù)據(jù)時代，程序設(shè)計以面向過程為主;隨著業(yè)務(wù)數(shù)據(jù)的復(fù)雜化，催生了面向?qū)ο蟮脑O(shè)計方法。如今，業(yè)務(wù)數(shù)據(jù)的復(fù)雜度已經(jīng)遠(yuǎn)遠(yuǎn)超過業(yè)務(wù)邏輯，程序也逐漸從算法密集型轉(zhuǎn)向數(shù)據(jù)密集型。可以預(yù)見，一定會出現(xiàn)面向數(shù)據(jù)的程序設(shè)計方法，如同面向?qū)ο笠粯樱�在軟件工程、體系結(jié)構(gòu)、模式設(shè)計等方面對IT技術(shù)的發(fā)展產(chǎn)生深遠(yuǎn)的影響。

　　4.結(jié)束語

　　大數(shù)據(jù)引發(fā)思維變革。在大數(shù)據(jù)時代，數(shù)據(jù)的收集、獲取和分析都更加快捷，這些海量的數(shù)據(jù)將對我們的思考方式產(chǎn)生深遠(yuǎn)的影響。分析數(shù)據(jù)時要盡可能地利用所有數(shù)據(jù)，而不只是分析少量的樣本數(shù)據(jù)。相比于精確的數(shù)據(jù)，我們更樂于接受紛繁復(fù)雜的數(shù)據(jù)。我們應(yīng)該更為關(guān)注事物之間的相關(guān)關(guān)系，而不是探索因果關(guān)系。大數(shù)據(jù)的簡單算法比小數(shù)據(jù)的復(fù)雜算法更為有效。大數(shù)據(jù)的分析結(jié)果將減少決策中的草率和主觀因素，數(shù)據(jù)科學(xué)家將取代“專家”。 [科]

　　【參考文獻(xiàn)】

　　[1]鄔賀銓.大數(shù)據(jù)時代的機(jī)遇與挑戰(zhàn)[J].求是，2013(04).

　　[2]黃曉斌，鐘輝新.基于大數(shù)據(jù)的企業(yè)競爭情報系統(tǒng)模型構(gòu)建[J].情報雜志，2013(03)

　　中級工程師職稱論文發(fā)表期刊推薦《計算機(jī)研究與發(fā)展》是中國科學(xué)院計算技術(shù)研究所和中國計算機(jī)學(xué)會聯(lián)合主辦的學(xué)術(shù)性期刊，科學(xué)出版社出版，國內(nèi)外公開發(fā)行。她誕生于我國計算機(jī)事業(yè)的初創(chuàng)時期(1958年)，是我國第一個計算機(jī)刊物，它是隨著中國計算機(jī)事業(yè)的發(fā)展而成長起來的。