mapreduce(MapReduce是什么)

1 map函數的輸出先由MapReduce框架處理,然后再被發送到reduce函數。這一處過程根據鍵來對鍵/值對進行排序和分組。

2整個數據流的例子如圖2-1所示。在圖的底部是Unix的管道,模擬整個MapReduce的流程。

圖2-2MapReduce中單一reduce任務的數據流圖

10reduce任務的數目并不是由輸入的大小來決定,而是單獨具體指定的。如果有多個reducer,map任務會對其輸出進行分區,為每個reduce任務創建一個分區(partition)。每個分區包含許多鍵(及其關聯的值),但每個鍵的記錄都在同一個分區中。分區可以通過用戶定義的partitioner來控制,但通常是用默認的分區工具,它使用的是hash函數來形成"木桶"鍵/值,這種方法效率很高。

一般情況下,多個reduce任務的數據流如圖2-3所示。此圖清楚地表明了map和reduce任務之間的數據流為什么要稱為"shuffle"(洗牌),因為每個reduce任務的輸入都由許多map任務來提供。shuffle其實比此圖所顯示的更復雜,并且調整它可能會對作業的執行時間產生很大的影響。

圖 2-3多個reduce任務的MapReduce數據流

11有可能不存在reduce任務,不需要shuffle的時候,這樣的情況是可能的,因為處理可以并行進行。在這種情況下,唯一的非本地節點數據傳輸是當map任務寫入到HDFS中(見圖2-4)。

圖 2-4MapReduce中沒有reduce任務的數據流

12 在集群上MapReduce作業的數量被可用帶寬限制,因此要保證map和reduce任務之間傳輸的代價是最小的。Hadoop允許用戶聲明一個combiner,運行在map的輸出上-- 該函數的輸出作為reduce函數的輸入。由于combiner是一個優化方法,所以Hadoop不保證對于某個map的輸出記錄是否調用該方法,調用該方法多少次。換言之,不調用該方法或者調用該方法多次,reducer的輸出結果都一樣。

combiner的規則限制著可用的函數類型。Hadoop權威指南中舉了一個求最高氣溫和平均氣溫的例子,很好的說明了這點。求最高氣溫就可以使用,求平均氣溫使用可能出錯。因此combiner并不能取代reduce函數。雖然它可以幫助減少map和reduce之間的數據傳輸量,但是是否在MapReduce作業中使用combiner是需要慎重考慮的。

13Hadoop提供了一個API來運行MapReduce,并允許你用除java以外的語言來編寫自己的map和reduce函數。Hadoop流使用Unix標準流作為Hadoop和程序之間的接口,所以可以使用任何語言,只要編寫的MapReduce程序能夠讀取標準輸入,并寫入到標準輸出。流適用于文字處理,在文本模式下使用時,它有一個面向行的數據視圖。

到此,關于“MapReduce是什么”的學習就結束了,希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習,快去試試吧!若想繼續學習更多相關知識,請繼續關注本站網站,小編會繼續努力為大家帶來更多實用的文章!