400-650-7353

精品課程

MapReduce編程原理 MapReduce編程原理是什么？

發布： 大數據培訓 發布時間：2021-08-06 14:30:46

推薦答案
品牌型號：聯想 YOGA 14c/系統版本：windows7

MapReduce是采用一種分而治之的思想設計出來的分布式計算框架，主要被應用于搜索領域，解決海量數據的計算問題。MapReduce由兩個階段組成：Map和Reduce，用戶只需要實現map()和reduce()兩個函數，即可實現分布式計算。

1、Map階段

map task的map()函數以key-value對作為輸入，產生一系列kv對作為中間輸出寫入本地磁盤。

2、Reduce階段

reduce()函數通過網絡將map的輸出(kv對)作為輸入，產生另一系列kv對作為最終輸出寫入到hdfs，這時的key-value對是計算結果。

MapReduce的優點：

1)易于編程

MapReduce只需簡單地實現一些接口,就可以完成一個分布式程序,這個分布式程序可以分布到大量廉價的PC機上運行。

2)良好的可擴展性

當計算機資源得不到滿足的時候,可以通過簡單的增加機器來擴展它的計算能力。

3)高容錯性

比如一臺機器掛了,可以把它上面的計算任務轉移到另一個節點上運行,不至于整個任務運行失敗,而且這個過程不需要人工干預,完全由hadoop內部完成。

4)高吞吐量

能對PB量級以上海量數據進行離線處理，適合離線處理而不適合實時處理。
 

其它答案
冰闊落2020-06-22 18:56:36

MapReduce執行步驟：

1、map任務處理

(a)讀取輸入文件內容，解析成key、value對。對輸入文件的每一行，解析成key、value對。每一個鍵值對調用一次map函數。

(b)寫自己的邏輯，對輸入的key、value處理，轉換成新的key、value輸出。

2、reduce任務處理

(a)在reduce之前，有一個shuffle的過程對多個map任務的輸出進行合并、排序。

(b)寫reduce函數自己的邏輯，對輸入的key、value處理，轉換成新的key、value輸出。

(c)把reduce的輸出保存到文件中。

上一篇：dns服務器地址

下一篇：dns查詢方式

中公旗下IT培訓品牌

  • 中公教育品牌

    　中公教育是一家中國領先的全品類職業教育機構，提供超過100個品類的綜合職業就業培訓服務。公司在全國超過1000個直營網點展開經營，深度覆蓋300多個地級市，并正在快速向數千個縣城和高校擴張。

  • 完善就業體系

    通過階段性授課機制，和每階段的定期考核，先讓學員能夠學會所學內容，才能找打合適工作。最后一個階段為就業課程，從技術和面試兩個方面加深就業能力，并且還有不定期的雙選會供大家選擇。

  • 全程面授+實戰技術

    線下課程全程是師資面對面教學，不會存在上課只對著大屏幕上課的情況，有問題都可以在課上得到解答。并且優就業通過自主研發大綱和學習路線，并且定期更新課程所學技術，讓大家所學技術不落伍。

中公優就業專業職業規劃老師

為您詳細答疑解惑，更能領取免費課程

相關問題

更多課程

專業課程老師將第一時間為您解答

立即答疑
修改
優就業：ujiuye

關注中公優就業官方微信

  • 關注微信回復關鍵詞“大禮包”，領80G學習資料
主站蜘蛛池模板： 好吊妞视频这里有精品| 理论亚洲区美一区二区三区| 午夜激情视频在线| 娇小老少配xxxxx丶| 欧美精品亚洲精品日韩1818| 131美女爽爽爽爱做视频| 亚洲AV午夜成人片| 国产丰满麻豆videossexhd| 少妇熟女久久综合网色欲| 欧美综合社区国产| 草莓视频秋葵视频在线观看ios| 一本色道无码道在线观看| 国产九九久久99精品影院| 天天澡天天摸天天爽免费| 柳菁菁《萃5》专辑| 真实男女动态无遮挡图| 中文字幕在线亚洲精品| 亚洲精品成人久久| 国产自在线观看| 秋霞理论最新三级理论最| 18禁美女裸体免费网站| 中文字幕视频一区| 农村乱人伦一区二区| 国产精品女同久久久久电影院| 手机在线观看你懂的| 精品无码久久久久久久动漫| 182tv午夜精品视频在线播放| 久99re视频9在线观看| 亚洲人成网站在线观看青青| 国产精品15p| 大陆一级毛片免费视频观看i| 永久看一二三四线| 精品在线观看免费| 越南大胆女人体337p欣赏| 49pao强力在线高清基地| 久久国产乱子免费精品| 动漫美女羞羞漫画| 国产一区二区免费在线| 国产欧美精品区一区二区三区 | 久久久久琪琪去精品色无码| 亚洲女初尝黑人巨高清|