摘要：在分析動態(tài)副本創(chuàng)建策略的基礎(chǔ)上，對集中式的動態(tài)創(chuàng)建策略進行改進，將熱點數(shù)據(jù)副本的創(chuàng)建與數(shù)據(jù)訪問的歷史記錄相結(jié)合。最后通過數(shù)據(jù)網(wǎng)格模擬器進行模擬實驗，得出并分析了實驗結(jié)果。

　　關(guān)鍵詞：數(shù)據(jù)網(wǎng)格,副本優(yōu)化,熱點副本

　　在現(xiàn)代科學(xué)研究和應(yīng)用領(lǐng)域中，大量的數(shù)據(jù)是重要的資源，如高能物理和粒子物理、生物醫(yī)學(xué)研究、航空航天、數(shù)字地球、大型武器模擬、大型數(shù)據(jù)庫和數(shù)據(jù)倉庫等的應(yīng)用。其數(shù)據(jù)量將達到TB至PB的級別。同時，地理上廣泛分布的科研工作者和用戶都希望能訪問和分析這些龐大的數(shù)據(jù)，而現(xiàn)有的數(shù)據(jù)管理體系結(jié)構(gòu)、方法和技術(shù)已經(jīng)不能滿足人們對高性能、大容量分布存儲和分布處理的要求。因此，數(shù)據(jù)網(wǎng)格應(yīng)運而生，以解決上述應(yīng)用面臨的問題。

　　數(shù)據(jù)網(wǎng)格計算機為各種應(yīng)用提供了一個高性能、大容量、高速傳輸?shù)牟⑿蟹植紡V域計算平臺。它是對廣域范圍內(nèi)大規(guī)模的數(shù)據(jù)集進行分布式管理和分析及使用的一個綜合的體系結(jié)構(gòu)，實現(xiàn)網(wǎng)格環(huán)境中安全、可靠和有效的數(shù)據(jù)傳輸以及訪問、復(fù)制等操作，并提供到不同存儲系統(tǒng)的統(tǒng)一接口，較好地解決了上述問題， 從而使得數(shù)據(jù)密集型的高性能計算和大量的共享數(shù)據(jù)密集型的事務(wù)處理及科學(xué)研究成為可能。

　　在數(shù)據(jù)網(wǎng)格環(huán)境下，通過數(shù)據(jù)的復(fù)制使數(shù)據(jù)更接近用戶，可以更快執(zhí)行用戶提交的作業(yè)，在更短的時間內(nèi)訪問作業(yè)所需的數(shù)據(jù)文件，以快速提高數(shù)據(jù)訪問性能。作業(yè)通過資源代理(RB)提交給網(wǎng)格。RB將作業(yè)調(diào)度到不同的計算單元(CE)，以提高網(wǎng)格的吞吐量。副本管理器在每個站點管理站點與站點、存儲單元與計算單元接口間的數(shù)據(jù)流。副本優(yōu)化器負責(zé)副本的選擇、動態(tài)生成和刪除。在副本優(yōu)化服務(wù)執(zhí)行過程中，網(wǎng)絡(luò)性能和磁盤I/O也是影響作業(yè)調(diào)度和副本選擇的重要因素。優(yōu)化算法應(yīng)通過檢查計算單元和各個存儲單元之間的可用帶寬和存儲單元的磁盤I/O來從不同的存儲節(jié)點獲得最優(yōu)的副本。表明在網(wǎng)格環(huán)境下，磁盤吞吐時間能占用30%的傳輸時間。因此在計算數(shù)據(jù)傳輸時間時，應(yīng)考慮網(wǎng)絡(luò)帶寬和磁盤吞吐率。這樣的優(yōu)化策略可以更加接近真實的數(shù)據(jù)網(wǎng)格系統(tǒng)。

　　本文在有限的網(wǎng)絡(luò)帶寬和磁盤吞吐能力的情況下，根據(jù)不斷變化的外部訪問特征和副本訪問歷史記錄來對副本進行優(yōu)化，從而使得用戶可以就近訪問。整個數(shù)據(jù)網(wǎng)格系統(tǒng)達到一個負載均衡的狀態(tài)。

　　1相關(guān)工作

　　在用戶提交作業(yè)到作業(yè)完成這個過程中，副本管理器對作業(yè)的生命周期進行三處優(yōu)化：

　　a)資源代理(RB)決定作業(yè)在哪個計算單元上運行,即調(diào)度的優(yōu)化。通過計算一個代價函數(shù)來實現(xiàn)：

　　Cost=getAccessCost()+estimatedQueuingTime()。作業(yè)總的執(zhí)行是作業(yè)訪問文件時間和作業(yè)排隊時間之和。其中作業(yè)訪問數(shù)據(jù)文件時間包括數(shù)據(jù)文件讀取時間、網(wǎng)絡(luò)帶寬延遲時間和磁盤I/O時間。本文中的作業(yè)調(diào)度流程如圖1所示。

　　b) 作業(yè)運行中的動態(tài)副本選擇。一旦作業(yè)在計算單元(CE)上運行，它需要訪問不同的數(shù)據(jù)文件。由于一個數(shù)據(jù)文件在各個網(wǎng)格站點上可能存在多個副本，當(dāng)一個作業(yè)需要訪問某個數(shù)據(jù)文件時，副本優(yōu)化器(RO)通過調(diào)用函數(shù)�ゞetBest�勃〧ile()來找到最優(yōu)的文件副本。

　　c)動態(tài)副本優(yōu)化，即觸發(fā)在第三方站點上復(fù)制數(shù)據(jù)文件。每個站點對所請求的數(shù)據(jù)文件進行監(jiān)控和記錄。當(dāng)特定的數(shù)據(jù)文件成為熱點數(shù)據(jù)時，則可以考慮將該文件復(fù)制到最有可能被訪問到的第三方站點。本文通過數(shù)據(jù)文件的前�玁��次訪問歷史記錄來判斷該數(shù)據(jù)文件是否可成為熱點副本，并通過一定的算法對其進行復(fù)制。

　　本文在使用OptorSim模擬器的基礎(chǔ)上對副本管理器的三處優(yōu)化進行改進。OptorSim通過模擬(歐洲)數(shù)據(jù)網(wǎng)格中各個獨立部件之間的交互作用，從而達到評估不同的數(shù)據(jù)管理策略——副本優(yōu)化算法性能的目的。它以EDG的結(jié)構(gòu)為基礎(chǔ)，包括了所有必需的部件，但是重點是在數(shù)據(jù)管理的副本機制上。使用OptorSim模擬器可以用數(shù)據(jù)復(fù)制與作業(yè)調(diào)度算法相結(jié)合的手段來對不同的算法作出評估，從而最大限度地利用網(wǎng)格資源。

　　2算法優(yōu)化

　　復(fù)制機制決定動態(tài)產(chǎn)生副本的時間以及副本放置的位置。主要有兩種方法，即集中的和分布的動態(tài)復(fù)制方法。本文根據(jù)目前數(shù)據(jù)網(wǎng)格拓撲結(jié)構(gòu)的特點，在集中式動態(tài)復(fù)制算法的基礎(chǔ)上，提出了一種基于訪問歷史記錄的熱點副本產(chǎn)生算法。通過自動產(chǎn)生熱點數(shù)據(jù)的副本，并把副本移動到其他站點上，以求提高數(shù)據(jù)網(wǎng)格總體的性能。

　　4結(jié)束語

　　本文在集中式動態(tài)副本創(chuàng)建算法的基礎(chǔ)上，將熱點副本的創(chuàng)建與作業(yè)訪問數(shù)據(jù)文件的歷史記錄相結(jié)合，使副本創(chuàng)建更具預(yù)見性，并且準確性也有了一定的提高。在此基礎(chǔ)上，通過OptorSim模擬器，將此算法從兩種不同的角度與其他兩種算法相比較，并得出了實驗數(shù)據(jù)。 但是對于每次復(fù)制操作，不僅網(wǎng)絡(luò)帶寬資源被消耗，而且由于磁盤I/O和CPU利用會使副本服務(wù)器負載加重。復(fù)制頻度必須受到控制，以避免網(wǎng)絡(luò)和服務(wù)器負載過重。本文下一步的工作將對歷史訪問記錄中的�玁��取值進行進一步的研究，并討論在不同的取值時，算法的優(yōu)劣，使其做到使整個數(shù)據(jù)網(wǎng)格系統(tǒng)能夠負載均衡，用戶可以就近訪問所需要的數(shù)據(jù)文件，為用戶提供一種快速、優(yōu)質(zhì)的服務(wù)。