Nilalaman
- Lumilikha ang ETL ng mga Bottlenecks para sa Analytics
- Ang pag-stream ng ETL sa Pag-aaral ng Machine at AI
- Walang Mga bug, Walang Stress - Ang Iyong Hakbang sa Hakbang Patnubay sa Paglikha ng Software na Pagbabago ng Buhay nang Walang Pagsira sa Iyong Buhay
Pinagmulan: Pop Nukoonrat / Dreamstime.com
Takeaway:
Mahalaga ang data para sa negosyo, ngunit upang maging kapaki-pakinabang ito, walang dapat na anumang mga pagkakamali sa pagkolekta, pagproseso at paglalahad ng data na iyon. Maaaring masubaybayan ng artipisyal na intelihente ang mga proseso ng ETL upang matiyak na wala silang error.
Ang ETL (katas, pagbago at pag-load) ay isa sa pinakamahalagang proseso sa malaking data analytics - at nang sabay-sabay, maaari itong maging isa sa mga pinakamalaking bottlenecks nito. (Para sa higit pa sa malaking data, tingnan ang 5 Nakatutulong na Big Data Courses na Maaari Mong Dalhin Online.)
Ang kadahilanan ay napakahalaga ng ETL na ang karamihan sa data na kinokolekta ng isang negosyo ay hindi handa, sa raw form nito, para sa isang analytics solution sa digest. Upang makagawa ng isang solusyon sa analytics upang lumikha ng mga pananaw, ang hilaw na data ay kinakailangang makuha mula sa aplikasyon kung saan ito kasalukuyang naninirahan, nagbago sa isang format na mababasa ng isang programa ng analytics, at pagkatapos ay mai-load sa programa ng analytics mismo.
Ang prosesong ito ay magkatulad sa pagluluto. Ang iyong mga hilaw na sangkap ay ang iyong raw data. Kailangang makuha ang mga ito (binili mula sa isang tindahan), binago (niluto), at pagkatapos ay mai-load (plated), bago sila masuri (natikman). Ang kahirapan at gastos ay maaaring masukat nang hindi maaasahan - madali itong gumawa ng keso ng mac n 'para sa iyong sarili, ngunit mas mahirap na lumikha ng menu ng gourmet para sa 40 katao sa isang hapunan. Hindi na kailangang sabihin, ang isang pagkakamali sa anumang oras ay maaaring gawin ang iyong pagkain hindi matutunaw.
Lumilikha ang ETL ng mga Bottlenecks para sa Analytics
Ang ETL ay sa ilang mga paraan ng bedrock ng proseso ng analytics, ngunit mayroon din itong ilang mga disbentaha. Una sa lahat, ito ay mabagal at computationally mahal. Nangangahulugan ito na ang mga negosyo ay madalas na pinahahalagahan lamang ang kanilang pinakamahalagang data para sa analytics, at iimbak lamang ang natitira. Nag-aambag ito sa katotohanan na hanggang sa 99% ng lahat ng data ng negosyo ay hindi ginagamit para sa mga layunin ng analytics.
Bilang karagdagan, ang proseso ng ETL ay hindi tiyak. Ang mga pagkakamali sa loob ng proseso ng ETL ay maaaring masira ang iyong data. Halimbawa, ang isang maikling error sa network ay maaaring maiwasan ang data na ma-extract. Kung ang iyong data ng mapagkukunan ay naglalaman ng maraming mga uri ng file, maaaring maaari silang mabago nang hindi maayos. Ang basurahan, labas ng basura, ayon sa sinasabi nila - ang mga pagkakamali sa proseso ng ETL ay halos tiyak na ipahayag ang kanilang mga sarili sa mga tuntunin ng hindi tumpak na mga analytics.
Ang isang napinsalang proseso ng ETL ay maaaring magkaroon ng masamang bunga. Kahit na sa pinakamahusay na kaso, marahil ay kailangan mong muling patakbuhin ang ETL, na nangangahulugang isang pagkaantala ng oras - at pansamantala, ang iyong mga tagagawa ng desisyon ay walang tiyaga. Sa pinakapangit na sitwasyon, hindi mo napansin ang hindi tumpak na analytics hanggang sa nagsimula kang mawalan ng pera at mga customer.
Ang pag-stream ng ETL sa Pag-aaral ng Machine at AI
Maaari mong - at marahil gawin - magtalaga ng isang tao upang subaybayan ang ETL, ngunit sa totoo lang hindi gaanong simple. Ang masamang data ay maaaring magresulta mula sa mga error sa proseso na nangyayari nang mabilis na hindi nila napansin sa totoong oras. Ang mga resulta ng isang napinsalang proseso ng ETL ay madalas na hindi naiiba mula sa wastong pagkarga ng data. Kahit na maliwanag ang mga pagkakamali, ang problema na lumikha ng error ay maaaring hindi gaanong madaling masubaybayan. (Upang malaman ang higit pa tungkol sa pagsusuri ng data, tingnan ang Role ng Job: Data Analyst.)
Ang mabuting balita ay ang makina ay maaaring mahuli kung ano ang hindi makakaya ng tao. Ito ay ilan lamang sa mga paraan kung saan maaaring mahuli ng pag-aaral ng AI at machine ang mga pagkakamali sa ETL bago sila maging tumpak na analytics.
Walang Mga bug, Walang Stress - Ang Iyong Hakbang sa Hakbang Patnubay sa Paglikha ng Software na Pagbabago ng Buhay nang Walang Pagsira sa Iyong Buhay
Hindi mo mapagbuti ang iyong mga kasanayan sa pagprograma kapag walang nagmamalasakit sa kalidad ng software.
1. Alamin at Alert Across ETL Metrics
Kahit na ang iyong data ay isang patuloy na paglipat ng larawan, ang proseso ng ETL ay dapat pa ring gumawa ng mga pare-pareho na halaga sa isang pare-pareho ang bilis. Kapag nagbago ang mga bagay na ito, sanhi ng alarma. Ang mga tao ay maaaring makakita ng mga malalaking swings sa data at makilala ang mga pagkakamali, ngunit ang pag-aaral ng makina ay maaaring makilala ang mga pagkakamali sa subtler, nang mas mabilis. Posible para sa isang sistema ng pag-aaral ng machine na mag-alok ng real-time na anomalya na pagtuklas at alerto ang departamento ng IT nang direkta, na pinahihintulutan silang i-pause ang proseso at lutasin ang isyu nang hindi kinakailangang itapon ang mga oras ng pagsisikap ng computational.
2. Natutukoy ang Mga Tukoy na Bottlenecks
Kahit na ang iyong mga resulta ay tumpak, maaari pa rin silang lumabas nang dahan-dahan upang magamit. Sinabi ni Gartner 80% ng mga pananaw nagmula sa analytics ay hindi kailanman makukuha upang lumikha ng halaga ng pananalapi, at maaaring iyon ay dahil ang isang pinuno ng negosyo ay hindi makakakita ng isang pananaw sa oras upang samantalahin ito. Ang pag-aaral ng machine ay maaaring sabihin sa iyo kung saan ang iyong system ay nagpapabagal at nagbibigay sa iyo ng mga sagot - pagkuha ng mas mahusay na data, mas mabilis.
3. Doblehin ang Epekto ng Pamamahala ng Pagbabago
Ang mga system na gumagawa ng iyong data at analytics ay hindi static - patuloy silang tumatanggap ng mga patch at pag-upgrade. Minsan, nakakaapekto ang mga ito sa paraan ng paggawa o pagpapakahulugan ng mga datos - na humahantong sa hindi tumpak na mga resulta. Ang pag-aaral ng makina ay maaaring mag-flag ng mga resulta na nagbago at bakas ang mga ito sa tukoy na naka-patched na machine o aplikasyon.
4. Bawasan ang Gastos ng Mga Operasyon
Ang mga natigil na operasyon ng analytics pantay na nawawalang pera. Ang oras na ginugugol mo hindi lamang kung paano malutas ang problema kundi pati na rin sino ang may pananagutan para sa paglutas ng problema ay oras na maaari mong paggastos ng halaga ng gusali. Ang pagkatuto ng makina ay nakakatulong na makarating sa puso ng bagay sa pamamagitan ng pag-alerto lamang sa mga koponan na maaaring responsable para sa pagtugon sa mga tiyak na uri ng insidente, na pinapayagan ang natitirang departamento ng IT na magpatuloy sa pagsasagawa ng mga pangunahing tungkulin sa trabaho. Bilang karagdagan, ang pag-aaral ng makina ay makakatulong sa pag-alis ng mga maling positibo, bawasan ang pangkalahatang bilang ng mga alerto habang pinapataas ang kadiliman ng impormasyon na maaari nilang ibigay. Tunay na totoong pagkapagod, kaya ang pagbabagong ito ay magkakaroon ng masusukat na epekto sa kalidad ng buhay.
Pagdating sa pagpanalo sa negosyo, mahalaga ang analytics. Ang isang landmark na pag-aaral mula sa Bain Capital ay nagpapakita na ang mga kumpanya na gumagamit ng mga analytics ay higit sa dalawang beses na malamang na overperform sa pananalapi. Nagbibigay ang ETL ng pundasyon para sa tagumpay sa arena na ito, ngunit ang mga pagkaantala at mga pagkakamali ay maaari ring maiwasan ang tagumpay ng isang programa ng analytics. Samakatuwid, ang pagkatuto ng makina, ay nagiging isang napakahalaga na tool para sa tagumpay ng anumang programa ng analytics, na tumutulong upang masiguro ang malinis na data at tumpak na mga resulta.