Nilalaman
- Walang Mga bug, Walang Stress - Ang Iyong Hakbang sa Hakbang Patnubay sa Paglikha ng Software na Pagbabago ng Buhay nang Walang Pagsira sa Iyong Buhay
- Down sa Negosyo
- Paano Magbabago ang Kafka ng Pamamahala ng Data
Takeaway:
Gagawin ni Kafka para sa mga sistema ng impormasyon kung ano ang ginagawa ng LinkedIn para sa mga taong negosyante: panatilihin silang konektado sa buong malawak na saklaw.
Sa pamamagitan ng paniniwalang matindi sa isang bagay na hindi pa rin umiiral, nilikha natin ito. Ang wala sa iba ay anuman na hindi namin sapat na nais.~ Franz Kafka
Ang pangangailangan ay nananatiling ina ng imbensyon. Tulad ng sinabi sa akin ng isang matalino na consultant, "Kung may isang bagay na kailangang mangyari sa isang samahan, nangyayari ito." Ang kanyang punto ay dalawang-tiklop: 1) ang ilang mga tao ay palaging makakahanap ng isang paraan upang magawa ang mga bagay; at, 2) pamamahala ng matatanda, o kahit na sa pamamahala ng gitnang, ay maaaring hindi alam ang eksaktong kung paano nagagawa ang mga bagay sa loob ng kanilang sariling pagkakatatag.
Kung palawigin natin ang talinghaga na iyon sa buong uniberso ng pamamahala ng data, makakakita tayo ng isang pagbabagong nagaganap ngayon. Ang hilaw na presyon ng malaking data, na sinamahan ng axis ng streaming data, ay lumilikha ng labis na presyon na ang mga sistema ng legacy ay naglalakad sa mga gilid, kung hindi gumuho nang buo. Gayunpaman, may mga hindi mabilang na mga propesyonal na nangyayari tungkol sa kanilang mga trabaho sa sandaling ito, na higit sa lahat ay hindi alam ang katotohanan na ito.
Ang data-driven, data-driven na negosyo ay may isang front-row seat, at sa maraming mga paraan sa pagmamaneho ng pagbabagong ito. Isaalang-alang kung paano pinangalanan ng mga powerhouse tulad ng Yahoo !, at LinkedIn ang sideways ng industriya ng software ng kumpanya sa kanilang mga nakagaganyak na donasyon upang buksan ang mapagkukunan: Hadoop, Cassandra at ngayon Kafka, na ang lahat ay pinagbantay ng Apache Foundation, na isang pangunahing manlalaro sa metamorhphosis na ito .
Ano ang tibok ng lahat ng pagbabagong ito? Ang nasaksihan ngayon ay ang pang-uri ng pag-reclassification at pagsasaayos muli ng pamamahala ng data mismo. Hindi ito sasabihin na ang mga sistemang pamana ay maubos at papalitan na. Sasabihin sa iyo ng sinumang beterano ng industriya na ang pakyawan na pagbubura ng mga system ng legacy ay nangyayari nang madalas hangga't ang Chicago Cubs ay nanalo sa World Series. Ito ay isang bihirang kaganapan, upang masabi.
Ano ang totoong nangyayari ay ang isang sobrang istraktura ay itinatayo sa buong paligid ng mga sistemang luma. Isaalang-alang ang pagkakatulad ng mga daanan ng interstate, na madalas na tumataas sa itaas ng mga lungsod at bayan na kanilang pinaglilingkuran, na idinisenyo upang maihatid ang mga tao at kargamento sa mga sentro ng populasyon, at magbigay ng egress sa sinuman at anumang bagay sa loob nila. Hindi nila pinalitan ang mga umiiral na mga kalsada nang labis na dagdagan ang mga ito ng mga alternatibong bilis.
Ang mga eksaktong eksaktong ginagawa ng Apache Kafka: nagbibigay ito ng mga ruta ng high-speed para sa paggalaw ng data sa pagitan at sa gitna ng mga sistema ng impormasyon. Upang sundin ang pagkakatulad ng highway, marami pa ring mga kumpanya na gumagamit ng mga linear queues, o ang lumang pamantayan ng ETL (extract-transform-load); ngunit ang mga landas na ito ay may mababang mga limitasyon ng bilis, at maraming mga pulot; bukod dito, ang mga gastos sa pagpapanatili ay madalas na labis na labis; mahirap ang signage.
Nag-aalok si Kafka ng isang alternatibong pamamaraan para sa paghahatid ng data, isa na tiyak na real-time, scalable at matibay. Nangangahulugan ito na ang Kafka ay hindi lamang isang sasakyan ng kilusan ng data, kundi pati na rin isang data ng replika; at sa isang tiyak na lawak, isang ipinamamahagi na teknolohiya ng database. Dapat nating maging maingat tungkol sa pagkuha ng pagkakatulad nang labis, dahil may mga katangian ng sumusunod na mga database ng ACID na hindi pa isport ni Kafka. Gayunpaman, ang pagbabago ay totoo.
Ito ay mahusay na balita para sa landscape ng impormasyon, sapagkat ang data ay libre ngayon upang ilipat ang tungkol sa bansa - at ang mundo, para sa bagay na iyon. Ano ang isang beses na isang masakit na pagpilit, lalo na ang pagpindot sa mga bintana ng batch para sa mga proseso ng ETL, ngayon ay nagkakalat na tulad ng fog na nagbibigay daan upang limasin ang kalangitan sa ilalim ng sulyap ng isang mainit na araw. Kapag ang paglipat ng data mula sa isang system patungo sa isa pang nagiging linya ng hangganan, isang panahon ng mga bagong oportunidad na lumulubog.
Walang Mga bug, Walang Stress - Ang Iyong Hakbang sa Hakbang Patnubay sa Paglikha ng Software na Pagbabago ng Buhay nang Walang Pagsira sa Iyong Buhay
Hindi mo mapagbuti ang iyong mga kasanayan sa pagprograma kapag walang nagmamalasakit sa kalidad ng software.
Ang mga tao ay malamang na kumakatawan sa pinaka alitan sa kalsada patungo sa mga bagong hinaharap. Matindi ang pagkamatay ng matandang gawi. Natutuwa si Nary isang CIO tungkol sa paggawa ng mga pagbabago sa pakyawan sa mga sistema ng negosyo. Sinabi ng isang matalinong senior executive ng papel: "Maghanda ka na mag-isa." Sa loob ng isang taon ng komentong iyon, siya ay isang consultant. Hindi ito isang madaling landas, sinusubukan upang pamahalaan ang hindi kapani-paniwalang mundo ng data ng negosyo.
Ang mabuting balita ay ang Kafka ay nagbibigay ng isang on-rampa sa hinaharap. Dahil ito ay nagsisilbing isang high-powered, multi-faceted bus, lumilikha ito ng mga tulay sa pagitan ng mga system ng legacy at ang kanilang mga kahinaharap na katapat. Sa gayon, ang mga samahan na yakapin ang bagong pagkakataon na may bukas na isip at sapat na badyet ay makakapasok sa bagong mundo, nang hindi iniiwan ang dati. Thats isang seryosong malaking pakikitungo.
Down sa Negosyo
Habang ang Apache Kafka ay isang teknolohiyang bukas na mapagkukunan, libre para sa sinumang i-download at gamitin, ang mga tao na lumikha ng software na ito para sa LinkedIn ay tumiwalag sa isang hiwalay na nilalang na tinatawag na Confluent, na nakatuon sa pagpapatigas ng alay para sa paggamit ng negosyo. Tulad ng Cloudera, Hortonworks at MapR na binuo ang kanilang mga negosyo sa paligid ng open-source na proyekto ng Apache Hadoop, kaya ang Confluent ay naglalayong gawing pera ang Kafka.
Sa isang kamakailang panayam na InsideAnalysis, ipinaliwanag ng Confluent CEO at co-founder na si Jay Kreps ang pinagmulan nito sa LinkedIn:
"Sinusubukan naming lutasin ang iba't ibang mga problema doon. Ang isa ay, mayroon kaming lahat ng iba't ibang mga system system na may iba't ibang uri ng data. Mayroon kaming mga database at mayroon kaming mga file ng log at mayroon kaming mga sukatan tungkol sa mga server at mayroon kaming mga gumagamit na nag-click sa mga bagay. Ang pagkuha ng lahat ng mga datos na iyon - kung gaano ito naging malaki - ay talagang mahirap.Ang lakas ng data ay nariyan lamang kung maaari mong makuha ito sa mga aplikasyon, o pagproseso, o mga system na nangangailangan nito.
"Ang iba pang problema namin ay pinagtibay namin ang Hadoop, at iyon ay isang bagay na nasangkot ako. Mayroon kaming kamangha-manghang platform sa pagproseso ng offline na maaari naming sukatan at mailalagay namin ang lahat ng aming data. Para sa LinkedIn ang lahat ng aming data ay nangyari sa tunay oras ay may patuloy na henerasyon ng data.Maraming laging pagkakamali habang sinubukan naming aktwal na magtayo ng mga pangunahing bahagi ng negosyo mula sa aming data; sa pagitan ng isang bagay na tumakbo minsan sa isang araw, marahil sa gabi, at nabuo ng mga resulta sa susunod na araw, at ang ganitong uri ng patuloy na data - maikling oras ng pakikipag-ugnay - na kailangan mong makamit. Nais naming makagawa ng isang bagay na naging sa paligid ng akademya, ngunit hindi talaga isang pangunahing bagay, na kung saan ay magagawang i-tap at iproseso ang mga daluyan ng data habang sila ay nabuo, sa halip na umupo sila. "
Kumbaga. Ang mga eksaktong eksaktong hinahanap ngayon ng Confluent na gawin sa data ng negosyo ng lahat ng mga hugis at sukat. Ang pagkakataon sa paglalaro? Greenfield. Lantaran, sa buong kasaysayan ng software ng negosyo, maaaring magtaltalan ng isa na ang nalalabi na merkado para sa teknolohiyang ito ay talagang kumuha ng cake. Walang isang malaking samahan, o kahit na mabigat na negosyo ng data, na hindi makikinabang nang mahigpit mula sa teknolohiyang ito.
Ito ay totoo lalo na dahil sa aspeto ng neurological ng teknolohiyang ito; hindi lamang ang kaisipan na kasangkot, kundi ang likas na katangian ng ginagawa ni Kafka para sa mga sistema ng impormasyon. Dahil ang Kafka ay maaaring magamit upang pamahalaan ang paggalaw ng data sa buong isang samahan, maaari itong matingnan bilang higit pa sa isang pulis ng trapiko, ngunit sa halip ay ang talino ng operasyon mismo. Nasa mga unang yugto ng pangitain, ngunit panigurado, ang tunay nito.
Paano Magbabago ang Kafka ng Pamamahala ng Data
Upang maunawaan kung paano mababago ni Kafka ang likas na katangian ng pamamahala ng data, isipin lamang ang tungkol sa mga paraan kung saan nagbago ang networking sa LinkedIn. Ang paghahanap ng mga kasamahan ay naging mas madali; nakikipag-ugnay sa mga tao ngayon ay isang snap. Gagawin ni Kafka para sa mga sistema ng impormasyon kung ano ang ginagawa ng LinkedIn para sa mga taong negosyante: panatilihin silang konektado sa buong pinakamalawak na saklaw ng mundong ito.
Ang spinoff ng Confluent ay simbolo ng isang bagay na maaari nating tawaging New Innovation, isang kilusan na hinimok ng pag-decoupling ng software development at closed-source mentality, na ginagabayan ng mga tagalikha ng teknolohiyang open-source, fueled ng malaking halaga ng venture capital, na-monetized ng for-profit na mga kumpanya na naghahangad na baguhin ang paraan kung paano lumikha, magtipon, mag-analisa at magamit ang data ng mga organisasyon at tao.
Upang sipiin si Franz Kafka, "Mula sa isang tiyak na punto, wala nang anumang pagtalikod. Iyon ang puntong dapat marating."
Naipasa namin ang Rubicon. Hindi na bumalik ang Theres ngayon.