Introduction nan Nan yon pwodwi matirite, li se souvan difisil jwenn yon enpak estatistikman enpòtan sou metrik biznis kle tankou revni pou chak itilizatè oswa kantite lòd yo. Pifò nan chanjman yo konsantre sou amelyorasyon pwen nan funnel la oswa etap endividyèl nan vwayaj la itilizatè a, ak enpak sa yo sou metrik biznis se anjeneral pèdi nan zwazo. Se poutèt sa, ekip pwodwi souvan chwazi yon konvèsyon ki korespondan kòm metrik objektif ak eksperyans konsepsyon nan yon fason ki reyalize pouvwa a estatistik ki nesesè. Sepandan, de fwa nan tan, nou panse ke metrik funnel pa deplase align ak dinamik la nan endikatè ki pi wo-nivo. Anplis de sa, nan kèk tès, konvèsyon nan etap yo ki anvan chanjman yo aplike ka chanje nan yon fason estatistikman enpòtan. Kòm yon rezilta, entèpretasyon eksperyans sa yo vin difisil, ak risk la nan fè desizyon erè ogmante. Kòm yon egzanp, konsidere yon sèvis kote yon itilizatè kreye yon lòd, resevwa ofri soti nan performers diferan, chwazi yon apwopriye, ak ap tann pou travay la dwe konplete. Suppose ke nou te devlope yon nouvo karakteristik ki pwolonje ofri a pi bon ak espere ogmante kantite lòd kote yon matche ant kliyan ak pèsonèl la rive. Nan eksperyans la, nou ka observe ke: 
 
 
 
 Pwodwi pou lòd siksè diminye. Total kantite lòd ak lòd konplete ogmante. Patisipasyon an nan lòd ki resevwa omwen yon ofrann diminye. Yon modèl sa a ka rive si itilizatè a gen kapasite pou retounen nan etap anvan yo ak, pou egzanp, re-pou voye lòd la. Nou te jwenn modèl yo menm jan an nan eksperyans pwòp nou yo. Nan inDrive, pasaje ka ofri pri pwòp yo, Lè sa a, yo jwenn ofri soti nan chofè yo ak chwazi ki pi apwopriye. Yon anpil itilizatè aktyèlman sèvi ak karakteristik komès ak, eseye jwenn yon pri pi bon, ka chanje kondisyon an lòd ak kreye li ankò. Sa mennen nan yon seri lòd anvan yon vwayaj reyèlman rive. Ekip satisfaksyon pasaje nou an se responsab pou vwayaj la nan itilizatè a soti nan moman an ki te kreye lòd la nan konplètman vwayaj la. Nan atik sa a, nou pral eksplike ki jan nou te etidye modèl sa yo konpòtman ak, ki baze sou yo, entwodwi nouvo metrik ki te ede fè rezilta tès plis entelijan. Itilizasyon sa a pral itil pou analizè pwodwi ak manadjè pwodwi ki travay ak pwodwi ki gen yon konplèks, non-linyè itilizatè vwayaj, kote interpretasyon metrik mande yo konsidere patnè konpòtman ak repete aksyon itilizatè. Ki jan yo pote metrik kle ak metrik fonèl? Nan pwodwi nou an, funnel la se apeprè sa a: yon pasaje kreye yon lòd, resevwa ofrann soti nan chofè yo, chwazi youn ki apwopriye, espere chofè a vini, ak Lè sa a, kòmanse ak fini vwayaj la. Imagine ke nou lanse yon ti chanjman nan UI: nou montre itilizatè a yon bar pwogrè pandan y ap chèche pou yon kondwi, nan lòd yo diminye enkyetid. Nou espere ke ak bar pwogrè, itilizatè yo pral pi souvan ap tann pou ofrann kondwi ak, kòm yon rezilta, fè plis vwayaj. Li logik yo chwazi konvèsyon an soti nan kreyasyon lòd nan resevwa yon bi kòm metrik objektif pou yon tès sa a. Kòm yon rezilta nan tès, nou wè: 
 
 
 
 
 Konte vwayaj: ↑ (pa yon ogmantasyon estatistikman enpòtan) Nimewo lòd: ↑ ↑ (pou yon ogmantasyon estatistikman enpòtan) CR soti nan lòd yo bay: ↓↓ (Statisticky Significant Reduction) Kòmanse pousantaj: ↓↓ (Statisticky Significant Reduction) Nou wè yon ti ogmantasyon nan kantite vwayaj, yon ogmantasyon estatistikman enpòtan nan kantite lòd, men nan menm tan an, yon diminye nan konvèsyon soti nan kreyasyon lòd nan resevwa yon bi, ak yon diminye nan pati nan vwayaj siksè. Si itilizatè a interaksyon ak karakteristik la sèlman apre kreye lòd la, se konsa nan premye gade, li sanble ke nou pa te kapab enfliyanse kantite lòd yo kreye. Si gwoup la tès te pase yo enkli itilizatè ki gen tendans yo kreye lòd plis souvan, ogmantasyon an nan kantite lòd ka distorsion nan endikatè funnel ak eksplike dinamik la pozitif nan vwayaj. Sepandan, yon analiz pi profond te montre ke sa a pa te yon pwoblèm randomizasyon. Apre bar la pwogrè te parèt, kèk itilizatè ki te tande pou yon tan long pou chauffeur ofri te kòmanse anile lòd anvan epi fè yon lòt tès yo pran yon vwayaj. Kòm yon rezilta, kantite re-ordres te ogmante pi (pwoteksyon estatistikman enpòtan). Ki jan Reorders Afekte Key ak Funnel metrik? Apre kreye yon lòd, yon itilizatè ka retire nan etap diferan: si yo pa te resevwa ofrann soti nan chofè, si pri a ofri pa te apwopriye, oswa pita si chofè a te pran tan pou rive. Nan ka sa yo, kèk itilizatè pa sispann eseye, men kreye yon nouvo lòd yo finalman jwenn yon woulib. Nou rele eseye repete sa yo reorderers. Nan plas nan flux la itilizatè lineyè espere, nou observe sik la repete - itilizatè eseye pase senaryo a menm plizyè fwa. Lè analize efikasite a nan tès repete, nou te observe ke pousantaj siksè yo se souvan anpil pi ba. Si itilizatè yo kòmanse re-enstale pi souvan, sa a afekte tout etap nan funnel la - ki gen ladan moun ki anvan chanjman aktyèl la. An menm tan, nan yon varyete senaryo (pou egzanp, lè nou ankouraje itilizatè yo eseye ankò anvan yo kite), nou ka observe yon efè pozitif sou metrik biznis nan pi wo nivo. Kòmanse Reorders Objektif nou an se yo konprann si entansyon itilizatè yo (pa tès endividyèl) te kòmanse fini nan vwayaj pi souvan. Pou fè sa, nou te bezwen bay yon definisyon pi estrikti nan yon "vwayaj entansyon" ki ta pèmèt nou kraze plizyè reorder nan yon sèl itilizatè. Apre diskite ak ekip yo, nou te konklike ke de lòd yo ta dwe gen pwopriyete sa yo pou yo konsidere kòm yon sèl entansyon pou pran yon vwayaj: 
 
 
 
 Pickup ak drop-off pwen nan tou de lòd yo pa ta dwe diferan enpòtan. Tan yo kreye lòd yo ta dwe tou pre (ordres mete nan yon entèval kout). Premye lòd la pa ta dwe te konplete pa yon vwayaj. Rès a te defini valè kantite lajan - sa ki ta dwe konsidere kòm "touche nan tan" ak "petik chanjman nan wout." Nan premye, sa yo kantite lajan te definye ki baze sou bezwen biznis, se konsa, premye bagay nou te deside fè te re-kontrole ki jan byen valè sa yo korespondan ak konpòtman itilizatè reyèl. Nou te jwenn sa a: 
 
 
 
 
 Nan ka nan re-chanjman, itilizatè rale chanje pwen destinasyon (pwen B). Pickup pwen (pwen A) chanje pi souvan, men nan pifò ka, nesesèman - sou 50 mèt soti nan pozisyon orijinal la. Pifò re-ordres rive nan premye 10-20 minit yo. Apre sa, nou fikse pwen A ak B nan 500 mèt ak te eseye wè ki pati nan reorder yo te fè pa mwens pase X minit. 
 
 Premye koupe yo mete nou byen: yo kouvri plis pase 90% nan re-kouvri, ak plis ogmante prag yo prèske pa afekte pati a kouvri. Nan ka sa ki lè yon itilizatè kreye twa oswa plis lòd nan yon ranje, kolaps se fè sèksman: an premye, premye ak dezyèm lòd yo tcheke ak fusion, Lè sa a, dezyèm ak twazyèm, ak sou sa - si kondisyon yo nan tan ak kote pwochen yo te satisfè. Alternatif Kòm yon apwòch opsyonèl, nou konsidere lè l sèvi avèk yon identifye sesyon mobil nan gwoup lòd nan yon sèl entansyon. Sepandan, opsyon sa a te montre ke yo se mwens konfyans pou de rezon: 
 
 
 Yon sesyon ka interrupted oswa "pwopriye", pou egzanp, lè yon itilizatè mete yon lòd, Lè sa a, pran yon vwayaj, epi byen bonè kreye ak ranpli yon nouvo. Nan ka sa yo, limit sesyon pa korespondan ak konpòtman reyèl. Done analiz mobil se mwens presizyon pase done backend: tan evènman ak lòd yo ka anrejistre ak retardations oswa pèdi. Kòm yon rezilta, nou te deside pa sèvi ak identificateur a sesyon kòm baz la pou definisyon yon intention vwayaj. nouvo metrik Kòm yon rezilta, nou te kreye yon entite nouvo ak definye yon règ pou fòme yon ID inik. Nimewo a final ak adopte se "agregated order". Baze sou entite sa a, nou te bati plizyè metrik derive: 
 
 
 Aggregated funnel - pèmèt nou evalye konvèsyon san yo pa distorsions ki gen rapò ak reorders ak fè rezilta tès plis entèrpretab. Funnels nan premye, dezyèm, ak pita tès - ede nou konprann ki aksyon stimule itilizatè a fè yon tès repete ak ogmante chans pou siksè li. Koulye a, kite tès la nou diskite anvan epi konpare valè yo te jwenn nan diferan apwòch. 
 
 
 
 
 
 
 
 
 
 
 
 Metric 
 Classic Funnel 
 Aggregated Funnel 
 Interpretation 
 
 
 
 
 
 Rides 
 ↑ (not statistically significant growth) 
 Same counting 
 No change 
 
 
 
 
 
 Orders 
 ↑↑ (statistically significant growth) 
 ~0 (not statistically significant) 
 The number of intentions hardly changed — the growth in orders is explained by reorders 
 
 
 
 
 
 Done rate 
 ↓↓ (statistically significant drop) 
 ↑ (not statistically significant growth) 
 The shares of successful orders and successful intentions move in different directions 
 
 
 
 
 
 Order → bid 
 ↓↓ (statistically significant drop) 
 ↓ (not statistically significant drop) 
 Within an intention, users began to receive bids less often; the effect is close to statistical significance Ride nan ↑ (not statistically significant growth) Konte nan menm Pa chanjman Orè ↑ ↑ (Statistically Significant Growth) ~0 (pa estatistikman enpòtan) Nimewo entansite pa chanje - ogmantasyon an nan lòd yo eksplike pa reorderers Rate nan ↓↓ (Statisticky Significant Drop) ↑ (pa yon kwasans estatistikman enpòtan) Aksyon an nan lòd siksè ak entansyon siksè deplase nan direksyon diferan Orè nan bid ↓↓ (Statisticky Significant Drop) ↓ (pa diminye estatistikman enpòtan) Nan yon entansyon, itilizatè yo te kòmanse resevwa ofri mwens; efè a se prèske estatistik signifikan. Pou eksplike poukisa konvèsyon an "order → bid" diminye, nou te tcheke nan ki jan egzakteman itilizatè fè reorder. Li te montre ke konpòtman divize an de modèl: 
 
 
 Yon kèk itilizatè te kòmanse sispann rechèch pi vit san yo pa t 'attend pou yon bi. Yon lòt gwoup, anplis de sa, te kòmanse ogmante pri a pi souvan lè re-konvèti, ak lòd sa yo te mwens souvan anile apre aksepte. Kontinye kòmantè: 
 
 
 CR nan ogmantasyon pri apre reorder: ↑ ↑ (statistically significant growth) Aggregated bid → done: ↑ ↑ (statistically significant growth) Konklisyon Pafwa, interaksyon itilizatè ak yon pwodwi pa ka eksplike konplètman pa metrik funnel klasik. Rezilta yo observe ka sanble kontradiktif, ak nan ka sa yo, li enpòtan pou sèvi ak metrik ki reflete patnè konpòtman kliyan yo oswa, tankou nan ka nou an, kreye nouvo entite ki deskripsyon reyalite nan plis presizyon.

This story contains new, firsthand information uncovered by the writer.

inDrive.Tech

Odyo sa a pwodui nan lang orijinal istwa a!

Measuring Non-Linear User Journeys: Rethinking Funnels Metrics nan A / B Tès

About Author

KÒMANtè

KANDYE TAGS

ATIK SA A TE PREZANTE NAN

Related Stories

Code Smell 260 - Crowdstrike NULL

It's Gonna Be May... a New Mobile App Update, Pixelated Avatars, Revamped Story Pages and More

Code Refactoring Tips: No. 015 - Remove NULL

HN Editor Picks: Top Tech Stories of March 2023

Code Smell 260 - Crowdstrike NULL

It's Gonna Be May... a New Mobile App Update, Pixelated Avatars, Revamped Story Pages and More

Code Refactoring Tips: No. 015 - Remove NULL

HN Editor Picks: Top Tech Stories of March 2023

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps