MBC文件批量上傳及去冗余存儲效果
去冗余存儲技術(shù)的背景
隨著計算機技術(shù)的快速發(fā)展,人類進(jìn)入信息時代.信息和數(shù)據(jù)存儲已經(jīng)成為人們?nèi)粘I钪蟹浅V匾囊徊糠帧F髽I(yè)和用戶的數(shù)據(jù)存儲量大量增長.數(shù)據(jù)的存儲
能力越來越高,在數(shù)據(jù)存儲為人類提供服務(wù)帶來方便的同時,也出現(xiàn)了大量的冗余數(shù)據(jù)。統(tǒng)計顯示,有62%的數(shù)據(jù)都有一些冗余信息,某些情況下,數(shù)據(jù)冗余率甚至達(dá)到了驚人的兒百倍比,如何解決數(shù)據(jù)最爆發(fā)帶來的數(shù)據(jù)冗余問題,成為了當(dāng)今科研機構(gòu)的研究熱點,同時也帶來了嚴(yán)峻的播戰(zhàn),數(shù)據(jù)冗余的去除,無疑可以大量節(jié)約存儲空間,提高存儲空間的利用率,降低存儲和維護(hù)成本,滿足數(shù)據(jù)的爆發(fā)式增長需求。
MBC客戶端
上傳 5171個文件,用時 28分鐘
服務(wù)端目錄收到
原因:
服務(wù)端采用去冗存儲技術(shù),因此相同的文件只是上傳一次;
去冗存儲技術(shù)驗證:
對數(shù)據(jù)庫 OI_FILE_USE_REF_X? 進(jìn)行統(tǒng)計
文檔柜屬性查看
關(guān)于去冗余存儲:
客戶端發(fā)送的目錄
服務(wù)端接受到的:
客戶端 276m? –? 服務(wù)端 257m = 去冗余 19m