MapReduce

May -Akda: Louise Ward
Petsa Ng Paglikha: 9 Pebrero 2021
I -Update Ang Petsa: 1 Hulyo 2024
Anonim
What is MapReduce?
Video.: What is MapReduce?

Nilalaman

Kahulugan - Ano ang kahulugan ng MapReduce?

Ang MapReduce ay isang modelo ng programming na ipinakilala ng Google para sa pagproseso at pagbuo ng malalaking set ng data sa mga kumpol ng mga computer.


Una nang nabuo ng Google ang balangkas para sa layunin ng paghahatid ng web page ng Google, at pinalitan ng bagong balangkas ang naunang pag-index ng mga algorithm. Nahanap ng mga developer ng nagsisimula ang balangkas ng MapReduce na kapaki-pakinabang dahil ang mga gawain sa library ay maaaring magamit upang lumikha ng kahanay na mga programa nang walang anumang mga alalahanin tungkol sa komunikasyon ng infra-cluster, pagsubaybay sa gawain o mga proseso ng paghawak sa kabiguan.

Ang MapReduce ay tumatakbo sa isang malaking kumpol ng mga makina ng kalakal at lubos na nasusukat. Ito ay may ilang mga form ng pagpapatupad na ibinigay ng maraming mga wika sa programming, tulad ng Java, C # at C ++.

Isang Panimula sa Microsoft Azure at ang Microsoft Cloud | Sa buong gabay na ito, malalaman mo kung ano ang lahat ng cloud computing at kung paano makakatulong ang Microsoft Azure sa iyo upang lumipat at patakbuhin ang iyong negosyo mula sa ulap.

Ipinaliwanag ng Techopedia ang MapReduce

Ang balangkas ng MapReduce ay may dalawang bahagi:


  1. Ang isang function na tinatawag na "Map," na nagpapahintulot sa iba't ibang mga punto ng ipinamahagi na kumpol upang ipamahagi ang kanilang gawain
  2. Ang isang function na tinatawag na "Bawasan," na idinisenyo upang mabawasan ang pangwakas na anyo ng mga resulta ng kumpol sa isang output

Ang pangunahing bentahe ng balangkas ng MapReduce ay ang pagpapahintulot sa kasalanan nito, kung saan ang pana-panahong mga ulat mula sa bawat node sa kumpol ay inaasahan kapag nakumpleto ang trabaho.

Ang isang gawain ay ililipat mula sa isang node sa iba pa. Kung ang mga abiso ng master node na ang isang node ay tumahimik para sa isang mas mahabang pagitan kaysa sa inaasahan, ang pangunahing node ay gumaganap ng proseso ng reassignment sa frozen / naantala na gawain.

Ang balangkas ng MapReduce ay kinasihan ng "Map" at "Bawasan" na mga function na ginamit sa functional programming. Ang pagproseso ng computational ay nangyayari sa data na nakaimbak sa isang file system o sa loob ng isang database, na kumukuha ng isang hanay ng mga halaga ng input key at gumagawa ng isang hanay ng mga halaga ng output key.


Araw-araw, maraming mga programa ng MapReduce at MapReduce na trabaho ang naisagawa sa mga kumpol ng Googles. Ang mga programa ay awtomatikong kahanay at naisakatuparan sa isang malaking kumpol ng mga makina ng kalakal. Ang sistema ng runtime ay tumatalakay sa pagkahati ng data ng pag-input, pag-iskedyul ng pagpapatupad ng mga programa sa kabuuan ng isang hanay ng mga makina, paghawak sa kabiguan ng makina at pamamahala ng kinakailangang intermachine na komunikasyon. Ang mga programer na walang karanasan sa kahanay at ipinamamahaging mga system ay madaling magamit ang mga mapagkukunan ng isang malaking ipinamamahaging sistema.

Ginagamit ang MapReduce sa ipinamamahaging grep, ipinamamahagi na uri, pagbabalik sa web-graph na pagbabalik, stats ng pag-access sa web, clustering ng dokumento, pag-aaral ng makina at pagsasalin ng istatistika.