導語：大數(shù)據(jù)分析下存儲優(yōu)化算法研究一文來源于網(wǎng)友上傳，不代表本站觀點，若需要原創(chuàng)文章可咨詢客服老師，歡迎參考。

摘要：隨著大數(shù)據(jù)時代的來臨，不僅為人們的生產(chǎn)生活提供了極大的便利，同時也為企業(yè)與政府部門的長足發(fā)展提供有力的信息保障，對我國實現(xiàn)現(xiàn)代化建設目標具有重要影響?，F(xiàn)階段，在大數(shù)據(jù)分析背景下，如何有效地提高存儲系統(tǒng)的訪問效率，實現(xiàn)數(shù)據(jù)的優(yōu)化統(tǒng)計與整合，已經(jīng)成為當今社會廣泛關(guān)注的首要課題，并受到相關(guān)學者的高度關(guān)注。本文主要就基于大數(shù)據(jù)分析下的存儲優(yōu)化算法展開探討，希望對日后的相關(guān)研究有所幫助。

關(guān)鍵詞：大數(shù)據(jù)；存儲優(yōu)化算法；訪問效率；適應算法

在這個信息爆炸的時代，如何有效提高數(shù)據(jù)信息的統(tǒng)計效率，實現(xiàn)數(shù)據(jù)信息的動態(tài)監(jiān)管，已經(jīng)成為現(xiàn)代人們正在面臨的全新挑戰(zhàn)。據(jù)有關(guān)部門統(tǒng)計，在2009年，我國的數(shù)據(jù)總量已經(jīng)達到0.8zb，而2010與2011年的數(shù)據(jù)總量更是呈前一年的50%的速率增長，分別達到了1.2zb與1.8zb，并據(jù)相關(guān)專家推測，到2020年我國數(shù)據(jù)總量將為50zb。在這種情況下，對存儲設備與數(shù)據(jù)的優(yōu)化算法都紛紛提出了更高要求，因而進行大數(shù)據(jù)存儲優(yōu)化算法研究就顯得至關(guān)重要。

1新時代下大數(shù)據(jù)的特征與存儲需求

海量、高速、多樣性、真實性、復雜性構(gòu)成了大數(shù)據(jù)的五大特征。但是，隨著我國科技水平的不斷提升，數(shù)據(jù)庫應用技術(shù)的不斷創(chuàng)新，對設備的存儲功能提出了更高要求，具體表現(xiàn)為：首先，現(xiàn)階段大多數(shù)計算機的計算速率與存儲容量已經(jīng)無法大數(shù)據(jù)的存儲需求，雖然可以一定程度上提高機器內(nèi)在配置，但其投入成本較為昂貴，不適用于廣泛使用。這就好比一個正常人能夠搬起100斤重的物品，經(jīng)過他不懈的鍛煉與努力，他最終能夠搬起200斤重的物品，但是如何這個物品的總重量為1000斤，憑借這個人的鍛煉與努力是獨立無法完成搬運的，大數(shù)據(jù)存儲亦是如此。其次，對于傳統(tǒng)的數(shù)據(jù)庫而言，只能簡單地滿足數(shù)據(jù)類型的存儲與查詢，無法滿足大數(shù)據(jù)的多樣化發(fā)展需求。最后，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫系統(tǒng)對于數(shù)據(jù)的分析請求與處理請求無法提供有力的支持，致使大數(shù)據(jù)的高效性存儲大打折扣。

2基于大數(shù)據(jù)下的存儲優(yōu)化算法研究

2.1、基本索引算法

（1）哈希索引算法是由于原來的哈希表思想演變而來，主要是利用華西索引算法提高存儲系統(tǒng)的應用功能，比如在數(shù)據(jù)添加、數(shù)據(jù)刪除、數(shù)據(jù)修改的同時，能夠同時進行數(shù)據(jù)查詢，從而滿足使用者的多樣化需求。比如，在Bitcask系統(tǒng)運行中，我們可以利用哈希索引算法來實現(xiàn)數(shù)據(jù)的添加與查詢操作，提高鍵值存儲系統(tǒng)的運行效率，擴大數(shù)據(jù)存儲容量，進而進一步提高用戶的使用體驗。

（2）B樹索引算法是在哈希索引算法上的創(chuàng)新與升級，它不僅能夠支持數(shù)據(jù)的隨機讀取，還能進一步擴大數(shù)據(jù)的搜尋與掃描范圍，進而提高數(shù)據(jù)的查詢效率。同時，B樹索引算法還包括了數(shù)據(jù)隨機訪問功能與范圍查詢功能，擴大數(shù)據(jù)庫的存儲容量，加快了數(shù)據(jù)的訪問速度，從而實現(xiàn)對數(shù)據(jù)的存儲優(yōu)化計算。

2.2、內(nèi)存分配算法

（1）首次適應算法。在該算法使用前，應先將內(nèi)存中的閑置內(nèi)存塊與單向鏈表數(shù)據(jù)結(jié)構(gòu)進行有效連接，并對用戶所需的數(shù)據(jù)進行一次查詢，直到找到滿意的閑置內(nèi)存塊，通過鏈表發(fā)送給用戶，從而實現(xiàn)數(shù)據(jù)存儲的優(yōu)化處理。在這里需要注意的是，由于首次適應算法的查詢方式比較單一，通常都是從head節(jié)點開始，這在一定程度上就導致了head節(jié)點相鄰的空閑內(nèi)存塊出現(xiàn)被多次分配的現(xiàn)象，而鏈表尾端的節(jié)點分配率較低，從而影響節(jié)點的分配平衡。

（2）循環(huán)首次適應算法。該種算法是首次適應算法的升級與改良，主要是將閑置內(nèi)存鏈表轉(zhuǎn)變成為循環(huán)鏈表，擴大系統(tǒng)的存儲容量，便于數(shù)據(jù)查詢。該種計算方法的好處在于，能夠更加均勻地進行數(shù)據(jù)的內(nèi)存塊分配，從而有效避免出現(xiàn)分配不平衡現(xiàn)象。

（3）最佳適應算法。該種算法的設計出發(fā)點與首次適應算法、循環(huán)首次適應算法有所不同，其主要是按照閑置內(nèi)存塊從小到大的方式建立起鏈表連接，從而根據(jù)用戶的請求需求進行順次分配，減少數(shù)據(jù)存儲的大量開銷。

（4）最差適應算法。該種算法與最差適應算法正好相反，其主要是將閑置內(nèi)存塊從大到小的方式建立起鏈表連接，雖然這種方式初看存在著一定的不合理性，但卻能有效解決最佳適應算法中出現(xiàn)內(nèi)存碎塊的問題，避免內(nèi)存碎塊過大占有大量的存儲空間，從而在提高數(shù)據(jù)計算與優(yōu)化效率的同時，促進大數(shù)據(jù)時代的更好發(fā)展。

結(jié)束語

綜上所述，隨著“互聯(lián)網(wǎng)+”時代的來臨，物聯(lián)網(wǎng)、云計算、社交平臺、短視頻APP等得到快速發(fā)展，并產(chǎn)生大量的新型數(shù)據(jù)，對社會的可持續(xù)發(fā)展與人們的正常生活都具有重要影響。因此，在這個以數(shù)據(jù)為尊的時代，我們應設備的存儲功能，加大數(shù)據(jù)優(yōu)化算法的研究與投入，充分發(fā)揮大數(shù)據(jù)在社會生產(chǎn)與人們生活中的優(yōu)勢作用，從而在提高社會各界發(fā)展水平的同時，促進我國各項事業(yè)的可持續(xù)發(fā)展。

參考文獻：

[1]宋亞奇，周國亮，朱永利，等.云平臺下輸變電設備狀態(tài)監(jiān)測大數(shù)據(jù)存儲優(yōu)化與并行處理[J].中國電機工程學報，2015，35(2):255-267.

[2]程學旗，王元卓，靳小龍.網(wǎng)絡大數(shù)據(jù)計算技術(shù)與應用綜述[J].科研信息化技術(shù)與應用，2013，4(6):3-14.

[3]吳章玲，金培權(quán)，岳麗華，等.基于PCM的大數(shù)據(jù)存儲與管理研究綜述[J].計算機研究與發(fā)展，2015，52(2):343-361.

[4]楊俊杰，廖卓凡，馮超超.大數(shù)據(jù)存儲架構(gòu)和算法研究綜述[J].計算機應用，2016，36(9):2465-2471.

作者:黃正鵬 王力 張仕學 余廷忠 張起榮 單位:貴州工程應用技術(shù)學院信息工程學院