hadoop是什么？
Hadoop是使用Java編寫，允許分布在集群，使用簡單的編程模型的計(jì)算機(jī)大型數(shù)據(jù)集處理的Apache的開源框架。 Hadoop框架應(yīng)用工程提供跨計(jì)算機(jī)集群的分布式存儲(chǔ)和計(jì)算的環(huán)境。 Hadoop是專為從單一服務(wù)器到上千臺(tái)機(jī)器擴(kuò)展，每個(gè)機(jī)器都可以提供本地計(jì)算和存儲(chǔ)。
Hadoop的架構(gòu)
在其核心，Hadoop主要有兩個(gè)層次，即_
MapReduce
MapReduce是一種并行編程模型，用于編寫普通硬件的設(shè)計(jì)，谷歌對(duì)大量數(shù)據(jù)的高效處理(多TB數(shù)據(jù)集)的分布式應(yīng)用在大型集群(數(shù)千個(gè)節(jié)點(diǎn))以及可靠的容錯(cuò)方式。 MapReduce程序可在Apache的開源框架Hadoop上運(yùn)行。
Hadoop分布式文件系統(tǒng)
Hadoop分布式文件系統(tǒng)（HDFS）是基于谷歌文件系統(tǒng)（GFS），并提供了一個(gè)設(shè)計(jì)在普通硬件上運(yùn)行的分布式文件系統(tǒng)。她與現(xiàn)有的分布式文件系統(tǒng)有許多相似之處。來自其他分布式文件系統(tǒng)的差別是顯著。她高度容錯(cuò)并設(shè)計(jì)成部署在低成本的硬件。提供了高吞吐量的應(yīng)用數(shù)據(jù)訪問，并且適用于具有大數(shù)據(jù)集的應(yīng)用程序。
除了上面提到的兩個(gè)核心組件，Hadoop的框架還包括以下兩個(gè)模塊_
Hadoop如何工作？
建立重配置，處理大規(guī)模處理服務(wù)器這是相當(dāng)昂貴的，但是作為替代，可以聯(lián)系許多普通電腦采用單CPU在一起，作為一個(gè)單一功能的分布式系統(tǒng)，實(shí)際上，集群機(jī)可以平行讀取數(shù)據(jù)集，并提供一個(gè)高得多的吞吐量。此外，這樣便宜不到一個(gè)高端服務(wù)器價(jià)格。因此使用Hadoop跨越集群和低成本的機(jī)器上運(yùn)行是一個(gè)不錯(cuò)的選擇。
Hadoop運(yùn)行整個(gè)計(jì)算機(jī)集群代碼。這個(gè)過程包括以下核心任務(wù)由 Hadoop 執(zhí)行_
數(shù)據(jù)最初分為目錄和文件。文件分為128M和64M（128M最好）統(tǒng)一大小塊。
Hadoop的優(yōu)勢
Hadoop框架允許用戶快速地編寫和測試的分布式系統(tǒng)。有效并在整個(gè)機(jī)器和反過來自動(dòng)分配數(shù)據(jù)和工作，利用CPU內(nèi)核的基本平行度。
