網站seo優化

HDFS架構。首先，管理網絡上(shàng)多台計算機的(de)存儲的(de)文件系統稱爲(wéi / wèi)分布式文件系統。HDFS(Hadoop分布式文件系統）就(jiù)是(shì)其中之(zhī)一(yī / yì ／yí)，并且是(shì)專門爲(wéi / wèi)諸如MapReduce之(zhī)類的(de)分布式編程框架開發的(de)文件系統，用于(yú)執行大(dà)規模數據處理。HDFS使用服務器/客戶端架構，每個(gè)HDFS群集主要(yào / yāo)由兩部分組成，一(yī / yì ／yí)個(gè)是(shì)NameNode，另一(yī / yì ／yí)個(gè)是(shì)DataNode。“名稱”節點主要(yào / yāo)控制HDFS文件系統的(de)名稱空間，并維護存儲在(zài)整個(gè)集群中的(de)文件系統樹。與元數據有關的(de)所有服務也(yě)由名稱節點進程提供，因此它們也(yě)稱爲(wéi / wèi)元數據節點。“名稱”節點記錄文件名和(hé / huò)拆分文件的(de)塊列表之(zhī)間的(de)映射關系，以(yǐ)及塊和(hé / huò)實際系統之(zhī)間的(de)對應關系。“名稱”節點以(yǐ)快照的(de)形式在(zài)本地(dì / de)文件系統中存儲映射關系，并在(zài)每次系統重新啓動時(shí)在(zài)本地(dì / de)加載映像，并獲取文件的(de)存儲地(dì / de)址。在(zài)大(dà)多數情況下，名稱節點僅被動地(dì / de)接受來(lái)自數據節點的(de)請求，執行其任務并更新。數據節點是(shì)實際存儲文件的(de)節點，通常一(yī / yì ／yí)個(gè)物理系統對應一(yī / yì ／yí)個(gè)數據節點。通常，不(bù)執行數據節點的(de)磁盤陣列備份，因爲(wéi / wèi)文件被設計爲(wéi / wèi)備份到(dào)多個(gè)數據節點，而(ér)不(bù)是(shì)一(yī / yì ／yí)個(gè)數據節點上(shàng)的(de)多個(gè)文件。HDFS數據塊備份和(hé / huò)分發策略存儲一(yī / yì ／yí)系列數據塊，每個(gè)文件都在(zài)其中劃分。除最後一(yī / yì ／yí)個(gè)分段數據塊外，分段成文件的(de)所有其他(tā)數據塊大(dà)小相同。爲(wéi / wèi)了(le／liǎo)提高容錯能力，通常以(yǐ)多份副本備份數據塊，同時(shí)用戶也(yě)可以(yǐ)自行配置數據塊的(de)大(dà)小和(hé / huò)備份副本的(de)數量。基于(yú)HDFS的(de)應用程序可以(yǐ)通過配置文件更改參數，創建數據備份時(shí)，用戶可以(yǐ)指定塊備份的(de)數量或稍後對其進行修改，但是(shì)在(zài)HDFS中，每個(gè)文件一(yī / yì ／yí)次寫入。名稱節點會定期在(zài)每個(gè)數據節點上(shàng)執行心跳檢查和(hé / huò)數據庫快速狀态報告，以(yǐ)确定哪些數據節點當前可用以(yǐ)及哪些數據文件已存儲。通常，如果很長時(shí)間未收到(dào)數據節點的(de)心跳，則系統會使它無效并重新啓動該節點以(yǐ)恢複數據從而(ér)重新加入系統。