大規(guī)模分布式存儲(chǔ)系統(tǒng)的定義如下：

“分布式存儲(chǔ)系統(tǒng)是大量普通PC服務(wù)器通過(guò)Internet互聯(lián)，對(duì)外作為一個(gè)整體提供存儲(chǔ)服務(wù)?！?/p>

分布式存儲(chǔ)系統(tǒng)具有如下幾個(gè)特性：

●可擴(kuò)展。分布式存儲(chǔ)系統(tǒng)可以擴(kuò)展到幾百臺(tái)甚至幾千臺(tái)的集群規(guī)模，而且，隨著集群規(guī)模的增長(zhǎng)，系統(tǒng)整體性能表現(xiàn)為線性增長(zhǎng)。

●低成本。分布式存儲(chǔ)系統(tǒng)的自動(dòng)容錯(cuò)、自動(dòng)負(fù)載均衡機(jī)制使其可以構(gòu)建在普通PC機(jī)之上。另外，線性擴(kuò)展能力也使得增加、減少機(jī)器非常方便，可以實(shí)現(xiàn)自動(dòng)運(yùn)維。

●高性能。無(wú)論是針對(duì)整個(gè)集群還是單臺(tái)服務(wù)器，都要求分布式存儲(chǔ)系統(tǒng)具備高性能。

●易用。分布式存儲(chǔ)系統(tǒng)需要能夠提供易用的對(duì)外接口，另外，也要求具備完善的監(jiān)控、運(yùn)維工具，并能夠方便地與其他系統(tǒng)集成，例如，從Hadoop云計(jì)算系統(tǒng)導(dǎo)入數(shù)據(jù)。

分布式存儲(chǔ)系統(tǒng)的挑戰(zhàn)主要在于數(shù)據(jù)、狀態(tài)信息的持久化，要求在自動(dòng)遷移、自動(dòng)容錯(cuò)、并發(fā)讀寫(xiě)的過(guò)程中保證數(shù)據(jù)的一致性。分布式存儲(chǔ)涉及的技術(shù)主要來(lái)自?xún)蓚€(gè)領(lǐng)域：分布式系統(tǒng)以及數(shù)據(jù)庫(kù)，如下所示：

●數(shù)據(jù)分布：如何將數(shù)據(jù)分布到多臺(tái)服務(wù)器才能夠保證數(shù)據(jù)分布均勻？數(shù)據(jù)分布到多臺(tái)服務(wù)器后如何實(shí)現(xiàn)跨服務(wù)器讀寫(xiě)操作？

●一致性：如何將數(shù)據(jù)的多個(gè)副本復(fù)制到多臺(tái)服務(wù)器，即使在異常情況下，也能夠保證不同副本之間的數(shù)據(jù)一致性？

●容錯(cuò)：如何檢測(cè)到服務(wù)器故障？如何自動(dòng)將出現(xiàn)故障的服務(wù)器上的數(shù)據(jù)和服務(wù)遷移到集群中其他服務(wù)器？

●負(fù)載均衡：新增服務(wù)器和集群正常運(yùn)行過(guò)程中如何實(shí)現(xiàn)自動(dòng)負(fù)載均衡？數(shù)據(jù)遷移的過(guò)程中如何保證不影響已有服務(wù)？

●事務(wù)與并發(fā)控制：如何實(shí)現(xiàn)分布式事務(wù)？如何實(shí)現(xiàn)多版本并發(fā)控制？

●易用性：如何設(shè)計(jì)對(duì)外接口使得系統(tǒng)容易使用？如何設(shè)計(jì)監(jiān)控系統(tǒng)并將系統(tǒng)的內(nèi)部狀態(tài)以方便的形式暴露給運(yùn)維人員？

●壓縮/解壓縮：如何根據(jù)數(shù)據(jù)的特點(diǎn)設(shè)計(jì)合理的壓縮/解壓縮算法？如何平衡壓縮算法節(jié)省的存儲(chǔ)空間和消耗的CPU計(jì)算資源？

分布式存儲(chǔ)系統(tǒng)挑戰(zhàn)大，研發(fā)周期長(zhǎng)，涉及的知識(shí)面廣。一般來(lái)講，工程師如果能夠深入理解分布式存儲(chǔ)系統(tǒng)，理解其他互聯(lián)網(wǎng)后臺(tái)架構(gòu)不會(huì)再有任何困難。

文章引用：http://www.lt-ad.com/new/159.html

本站文章為深圳網(wǎng)站建設(shè)·源美網(wǎng)絡(luò)原創(chuàng)策劃，如有版權(quán)糾紛或者違規(guī)問(wèn)題，請(qǐng)聯(lián)系我們刪除，謝謝！