HDFS

Hadoop Distributed File System Apache™Hadoop®是一個分散式大數據系統。是一款支援數據密集型分佈式應用程式開源軟體框架。Hadoop的核心模組分為儲存和計算模組，前者被稱為Hadoop分散式檔案系統（HDFS），後者即MapReduce計算模型。Hadoop框架先將檔案分成資料塊並分散式地儲存在叢集的計算節點中，接著將負責計算任務的代碼傳送給各節點，讓其能夠並列地處理資料。這種方法有效利用了資料局部性，令各節點分別處理其能夠存取的資料。

Tag 標籤:Tech