Pinagmulan: Agsandrew / Dreamstime.com
Takeaway:
Ang mga pamamaraan ng Source-agnostic ay mainam para sa pagproseso ng data para sa Hadoop analytics.
Ang pagsasama ng mga mapagkukunan ng data sa Hadoop ay isang kumplikadong negosyo. Ang ilan sa mga dahilan para dito ay:
- Ang mga pasadya, tiyak na mapagkukunan na script na pinagsama ang mga mapagkukunan ng data ay may problema.
- Ang paggamit ng pagsasama ng data o mga tool sa agham ng data ay nagpapakilala ng labis na kawalan ng katiyakan.
- Ang pagdaragdag ng data mula sa mga panlabas na mapagkukunan ay susunod sa imposible.
Ngayon, tatalakayin ko kung paano pinahusay ang Hadoop analytics sa pamamagitan ng mga teknolohiyang mapagkukunan-agnostic na ginagawang madali upang pagsamahin ang mga panloob at panlabas na mapagkukunan ng data. Bilang karagdagan sa paglalarawan kung paano gumagana ang mga pamamaraan ng agnostiko, sasakop din ako kung bakit kailangan ng Hadoop analytics na may built-in na mga kakayahan sa intelihente at paglilipat ng kaalaman, isang pag-unawa sa mga ugnayan at mga katangian ng data, at isang nasusukat at mataas na pagganap na arkitektura.
- Mga pamamaraan ng Source-agnostic isama ang isang nababaluktot, modelo ng resolusyon ng entidad na nagbibigay-daan sa mga bagong mapagkukunan ng data na idaragdag gamit ang tunog na istatistika, maaaring maulit na mga proseso ng agham ng data. Ang mga prosesong ito ay gumagamit ng mga algorithm upang mangalap ng kaalaman mula sa data, at masuri, suriin ito upang matukoy ang pinakamahusay na diskarte sa pagsasama.
Hindi mahalaga kung gaano ang fragment o hindi kumpleto ang orihinal na mga tala ng mapagkukunan, ang mga teknolohiya ng Hadoop analytics ay dapat na mapagkukunan agnostiko at magagawang pag-isahin ang data nang hindi binabago o manipulahin ang data ng mapagkukunan. Ang mga teknolohiyang ito ay dapat ding lumikha ng mga indeks ng entidad batay sa nilalaman ng data, at mga katangian tungkol sa mga indibidwal at kung paano sila umiiral sa mundo. Upang maisagawa ito, dapat nilang maunawaan ang nilalaman ng data, con, istraktura at kung paano nauugnay ang mga sangkap sa isa't isa. - Ang built-in na data sa agham at kadalubhasaan ng pagsasama ng data nagbibigay-daan sa data na malinis, pamantayan at maiugnay sa isang mataas na antas ng kawastuhan at katumpakan. Ang mga tool sa Visualization at ulat ay tumutulong sa mga analyst na suriin at matuto mula sa data, at gumanap ng system tuning batay sa kaalaman na nakuha mula sa iba't ibang mga hakbang sa proseso.
- Pag-unawa sa mga relasyon sa pagitan ng mga entidad ay nagreresulta sa mas tumpak na mga proseso ng paglutas ng entidad. Bilang ang mga entity sa real-mundo ay hindi lamang ang kabuuan ng kanilang mga katangian, kundi pati na rin ang kanilang mga koneksyon, dapat gamitin ang kaalaman sa relasyon upang makita kung pareho ang mga rekord. Mahalaga ito lalo na sa paghawak ng mga kaso ng sulok at malaking data.
- Pag-characterize ng data nagpapabuti ng pagsusuri, paglutas at pag-link ng data sa pamamagitan ng pagkilala at pagbibigay ng con para sa impormasyon sa mga mapagkukunan ng data. Makakatulong ito upang mapatunayan ang nilalaman, density, at pamamahagi ng data sa loob ng mga haligi ng nakabalangkas na impormasyon. Ang pagkakakilanlan ng data ay maaari ding magamit upang makilala at kunin ang mahahalagang data na may kaugnayan sa nilalang (pangalan, address, petsa ng kapanganakan, atbp.) Mula sa hindi nakaayos at semi-nakabalangkas na mapagkukunan para sa ugnayan kasama ang nakaayos na mga mapagkukunan.
- Scalable, kahanay na arkitektura mabilis na gumaganap ng analytics kahit na sinusuportahan ang daan-daang mga nakaayos, semi-nakabalangkas at hindi nakaayos na mga mapagkukunan ng data, at sampu-sampung bilyun-bilyong mga talaan.
Ang Hadoop ay nagbabago sa paraan ng pagsasagawa ng mundo ng analytics. Kapag ang mga bagong mapagkukunan-agnostic analytics ay idinagdag sa Hadoop ecosystem, maaaring maiugnay ng mga samahan ang mga tuldok sa maraming mga panloob at panlabas na mapagkukunan ng data at makakuha ng mga pananaw na hindi posible bago.
Ang artikulong ito ay orihinal na nai-post sa Novetta.com. Ito ay tambo dito na may pahintulot. Napanatili ng Novetta ang lahat ng mga copyright.