Nilalaman
- Ano ang Pag-aaral ng Reinforcement?
- Walang Mga bug, Walang Stress - Ang Iyong Hakbang sa Hakbang Patnubay sa Paglikha ng Software na Pagbabago ng Buhay nang Walang Pagsira sa Iyong Buhay
- Mga Makina para sa mga Pamimili
- Malapit na
- Malaki ang Pag-iisip
- Landas sa Adoption
Pinagmulan: Juliatimchenko / Dreamstime.com
Takeaway:
Ang pag-aaral ng pagpapalakas ay isang subset ng artipisyal na katalinuhan at pag-aaral ng makina na maaaring mahulaan ang mga kinalabasan at makakatulong sa mga gumagamit na gumawa ng mas mahusay na mga pagpapasya.
Ang mga namimili ay patuloy na naghahanap ng nasusukat at matalinong mga solusyon kapag sinusubukan upang makakuha ng isang gilid sa lalong mapagkumpitensyang mga kondisyon sa marketing. Hindi kataka-taka na ang artipisyal na intelektwal (AI) at ang pag-aaral ng makina (ML) ay pinagtibay na ngayon sa pamamagitan ng mga tatak at kanilang mga organisasyon sa pagmemerkado. (Upang malaman ang higit pa sa mga pangunahing kaalaman sa ML, tingnan ang Learning sa Machine 101.)
Para sa mga hindi natuto, ang AI ay maaaring pangkalahatang isinasaalang-alang bilang isang teknolohiya kapag ang isang computer ay awtomatiko ang tinukoy na mga gawain na gagawin ng isang tao sa kabilang banda. Ang pag-aaral ng makina, bilang isang functional na lugar sa loob ng AI, ay kapag ang isang computer ay binigyan ng isang layunin sa pagtatapos, ngunit kailangang makalkula ang pinakamahusay na ruta sa sarili nitong.
Ngayon, nakikita namin ang mga teknolohiyang ito - lalo na ang pag-aaral ng makina - na na-deploy sa maraming mga lugar ng marketing, kabilang ang pagtuklas ng ad pandaraya, pagtataya ng pag-uugali ng consumer, mga sistema ng rekomendasyon, malikhaing pag-personalize at iba pa.
Habang maayos at mabuti iyon, mayroong isang bagong teknolohiya ng panlabas na, para sa mga namimili, ay tunay na maihahatid ang kahilingan na nilikha ng pagkatuto ng makina. Tinatawag itong "pag-aaral ng pampalakas" (RL).
Ano ang Pag-aaral ng Reinforcement?
Ang hakbang-pagbabago mula sa ML hanggang RL ay higit pa sa isang liham. Karamihan sa mga gawain na ipinagkaloob sa pag-aaral ng makina ay may kasamang paggamit ng isang solong hakbang, tulad ng "kilalanin ang imaheng ito," "maunawaan ang nilalaman ng libro" o "mahuli ang pandaraya." Para sa isang nagmemerkado, ang isang layunin ng negosyo tulad ng "akitin, panatilihin at makipag-ugnay sa mga gumagamit" ay likas na isang multi-hakbang at pang-matagalang isa, hindi madaling nakamit sa pag-aaral ng makina.
Ito ay kung saan ang pag-aaral ng pagpapatibay ay pumapasok. Ang mga algorithm ng RL ay tungkol sa pag-optimize para sa isang paglalahad at patuloy na pagbabago ng paglalakbay - isa kung saan nangyayari ang mga dinamikong mga problema. Sa pamamagitan ng paggamit ng isang matematika na "function na gantimpala" upang makalkula ang kinalabasan ng bawat permutation, makikita ang RL sa hinaharap at gumawa ng tamang tawag.
Ngayon, ang pinakamahusay na mga embodiments ng teknolohiyang paggupit na ito ay makikita sa mga laro at mga kotse na nagmamaneho sa sarili. Kapag talunin ng system ng Google ang GoogleGoGo ang pinakamahusay na manlalaro ng mundo ng board game Go noong nakaraang taon, ang kanilang lihim na sarsa ay pag-aaral ng pampalakas. Habang ang mga laro ay nagtakda ng mga patakaran, ang mga pagpipilian ng player para sa ruta patungo sa tagumpay ay nagbabago nang pabago batay sa estado ng lupon. Sa pamamagitan ng pag-aaral ng pampalakas, ang system ay nagkakaloob ng lahat ng posibleng mga permutasyon na maaaring magbago batay sa bawat susunod na paglipat.
Katulad nito, ang isang kotse na nagmamaneho sa sarili ay nagpapatuloy sa isang paglalakbay kung saan ang mga patakaran ng kalsada at lokasyon ng patutunguhan ay nananatiling maayos, ngunit ang mga variable sa kahabaan ng paraan - mula sa mga naglalakad hanggang sa mga bloke ng kalsada hanggang sa mga siklista - nagbago nang pabago-bago. Iyon ang dahilan kung bakit ang OpenAI, ang samahan na itinatag ng Ella Musk ng Tesla, ay gumagamit ng mga advanced na RL algorithm para sa mga sasakyan nito.
Walang Mga bug, Walang Stress - Ang Iyong Hakbang sa Hakbang Patnubay sa Paglikha ng Software na Pagbabago ng Buhay nang Walang Pagsira sa Iyong Buhay
Hindi mo maaaring mapabuti ang iyong mga kasanayan sa pag-programming kapag walang nagmamalasakit sa kalidad ng software.
Mga Makina para sa mga Pamimili
Ano ang ibig sabihin ng anuman sa mga namimili?
Maraming mga hamon ng pangunahing namumuhunan ang nilikha ng katotohanan na nagbabago ang kalagayan ng negosyo sa lahat ng oras. Ang isang nanalong diskarte sa kampanya ay maaaring maging hindi nasusukat sa paglipas ng panahon, habang ang isang lumang diskarte ay maaaring makakuha ng bagong traksyon. Ang RL ay isang hakbang patungo sa paggaya ng totoong katalinuhan ng tao kung saan natututo tayo mula sa tagumpay at / o kabiguan ng maraming mga kinalabasan, at bumubuo ng isang mapanalong diskarte sa hinaharap. Hayaan akong magbigay ng ilang mga halimbawa:
1. Pagpapahusay ng pakikipag-ugnayan ng gumagamit
Ituon ang pansin sa pakikipag-ugnay sa customer para sa isang chain ng restawran, at isang layunin na maparami ito nang sampung beses sa susunod na taon. Ngayon, ang isang kampanya sa marketing ay maaaring kasangkot sa isang pagbati sa kaarawan na may alok sa diskwento, marahil batay sa mga kagustuhan sa pagkain. Ito ay linear na pag-iisip kung saan tinukoy ng nagmemerkado ang isang panimula at pagtatapos.
Sa isang abalang mundo, ang buhay ng mga customer ay patuloy na nagbabago sa real-time - kung minsan ay mas nakikibahagi sila, kung minsan mas mababa. Sa pag-aaral ng pampalakas, ang isang sistema ay patuloy na muling magribrate kung alin ang mga taktika sa armory ng marketing, sa anumang naibigay na sandali, tumayo ang pinakamahusay na pagkakataon ng paglipat ng tatanggap patungo sa panghuli layunin ng 10x na pakikipag-ugnayan.
2. Dinamikong paglalaan ng badyet
Ngayon isipin ang isang senaryo ng advertising kung saan mayroon kang isang $ 1 milyong badyet at kailangan mong gumastos ng bawat araw hanggang sa katapusan ng buwan, inilalaan sa apat na magkakaibang mga channel: TV, promosyon ng katapatan, at Google. Paano mo masisiguro na ginugugol mo ang badyet sa pinakamainam na paraan? Ang sagot ay nakasalalay sa araw, ang mga target na gumagamit, ang presyo ng imbentaryo at isang host ng iba pang mga kadahilanan.
Sa pag-aaral ng pampalakas, gagamit ng mga algorithm ang makasaysayang data ng kinalabasan ng ad upang magsulat ng mga function na gantimpala na puntos ang ilang mga desisyon sa paggasta. Ngunit nagkakaroon din ito ng mga kadahilanan sa real-time tulad ng pagpepresyo at ang posibilidad ng positibong pagtanggap mula sa target na miyembro ng madla. Sa pamamagitan ng pag-aaral ng iterative, ang paglalaan ng paggasta ng ad sa buong buwan ay pabago-bagong magbabago. Kahit na ang pangwakas na layunin ay nakatakda, ang RL ay maglaan ng badyet sa pinakamahusay na paraan na posible sa lahat ng mga sitwasyon. (Para sa higit pa sa AI sa marketing, tingnan kung Paano Ang Rebolusyong Artipisyal na Magbabago sa Sales Industry.)
Malapit na
Ang pag-aaral ng pagpapalakas ay kinikilala ang pagiging kumplikado at kinikilala na ang mga tao ay heterogenous at mga account para sa mga katotohanan na ito, pagpapabuti ng bawat susunod na pagkilos sa paglipas ng panahon habang ang mga piraso ng iyong board ng laro ay nagbabago sa paligid nito.
Ang pag-aaral ng muling pagpapalakas ay higit pa sa pagpapanatili ng mga proyekto ng pananaliksik at mga nangungunang mga ampon. Ang konsepto at pamamaraan ng matematika ay nasa loob ng higit sa 40 taon, ngunit hindi posible para sa paglawak hanggang sa kamakailan lamang, salamat sa tatlong mga uso:
- Paglaganap ng kapangyarihan ng computing sa pamamagitan ng mga yunit ng pagproseso ng high-powered na graphics (GPUs).
- Ginagawa ng Cloud computing ang kapangyarihan ng high-end na magagamit sa isang maliit na bahagi ng gastos ng pagbili ng mga GPU mismo, na nagpapahintulot sa mga ikatlong partido na magrenta ng GPU upang sanayin ang kanilang modelo ng RL para sa ilang oras, araw o linggo sa isang medyo baratilyo-basement na presyo.
- Pagpapabuti sa alinman sa mga numerong algorithm o matalinong heuristics. Ang ilang mga kritikal na hakbang sa bilang sa isang algorithm ng RL ay nagagawa na ngayong mag-ipon sa mas mabilis na tulin ng lakad. Kung wala ang mga mahiwagang numero na trick na ito, hindi pa rin nila magagawa kahit na sa mga araw na pinakamalakas na computer.
Malaki ang Pag-iisip
Ang lahat ng ito ay nangangahulugan na ang mga bagong kapangyarihan ng pag-aaral ng pampalakas ay malapit nang makukuha sa sukat sa mga tatak at mga namimili. Gayunpaman, ang pagyakap sa ito ay mangangailangan ng isang shift sa mindset. Para sa isang manager ng marketing, ang teknolohiyang ito ay nangangahulugan ng kakayahang tanggalin ang kanilang mga kamay sa gulong.
Ang bawat negosyo ay may isang layunin, ngunit kapag ikaw ay malalim sa trenches, ang pang-araw-araw na mga aksyon na gagawin patungo sa hangaring iyon ay maaaring maging malabo. Ngayon ang teknolohiya ng RL ay magpapahintulot sa mga gumagawa ng desisyon na itakda ang layunin, pagkakaroon ng higit na pagtitiwala na ang mga sistema ay magplano ng kanilang pinakamahusay na kurso patungo dito.
Sa advertising, halimbawa, sa mga araw na ito maraming tao ang nakakaintindi na ang mga sukatan tulad ng pag-click-through rate (CTR) ay mga proxies lamang para sa mga tunay na kinalabasan ng negosyo, naibilang lamang dahil ang mga ito ay mabilang. Ang mga sistema ng pagmemerkado na hinihimok ng RL ay de-bigyang-diin ang naturang mga tagapamagitan at ang lahat ng mabibigat na pag-angat na nauugnay sa kanila, na nagpapahintulot sa mga boss na tumuon sa mga layunin.
Mangangailangan ito ng mga negosyong mag-isip tungkol sa kanilang malaking problema sa mas masigla at pangmatagalang paraan. Kapag ang tech ay mature, makamit nila ang kanilang layunin.
Landas sa Adoption
Ang pag-aaral ng pagpapatibay ay hindi pa handa para sa full-scale na paggamit ng mga tatak; gayunpaman, ang mga namimili ay dapat gumugol ng oras upang maunawaan ang bagong konsepto na maaaring baguhin ang paraan ng pagmemerkado ng mga tatak, na gumagawa ng kabutihan sa ilan sa mga unang mga pangako ng pagkatuto ng makina.
Kapag dumating ang lakas, darating ito sa software ng pagmemerkado na may isang interface ng gumagamit, ngunit ang mga gawain na kinakailangan ng software na ito ay magiging radikal na pinasimple. Para sa mga kawani, magkakaroon ng mas kaunting paglipat ng mga switch at numero ng pag-input, pati na rin ang hindi gaanong pagbabasa ng mga ulat sa analytics at kumikilos sa kanila. Sa likod ng dashboard, hahawak ng algorithm ang karamihan.
Hindi malamang na ang RL ay maaaring tumugma sa katalinuhan ng tao sa labas ng gate. Ang bilis ng pag-unlad nito ay depende sa feedback at mungkahi mula sa mga namimili. Dapat nating tiyakin na humihiling kami sa isang computer upang malutas ang tamang problema, at parusa ito kapag wala ito. Tulad ng kung paano mo ituturo ang iyong sariling anak, hindi ba?