如何推進(jìn)多方合作的A/B測試項(xiàng)目?

2020-7-24    資深UI設(shè)計(jì)者

在多方合作的項(xiàng)目中,我們需要規(guī)劃項(xiàng)目的合理落地方案,并在執(zhí)行過程中和各方有效溝通。結(jié)合近期羚瓏商家合作測試項(xiàng)目的實(shí)踐經(jīng)歷,聊聊我在項(xiàng)目中的心得體會。

項(xiàng)目背景

我們想了解京東首焦banner中,設(shè)計(jì)因素對點(diǎn)擊效果的影響情況。做這件事最大的限制在于投放數(shù)據(jù)會受多種因素影響,不僅是一個(gè)設(shè)計(jì)因素的選擇,還有比如人群、出價(jià)、品牌、類目等因素的不同,都能影響到最終的投放結(jié)果。因此,從總體樣本中取樣進(jìn)行分析的意義不大。為了解決上述問題,我們招募了一些能控制其他因素的品牌廣告主,與有能力支持投放的測試投放系統(tǒng)合作,共同完成A/B測試。

需求拆解與規(guī)劃

不難發(fā)現(xiàn)這個(gè)需求會涉及到多個(gè)項(xiàng)目角色,意味著將有復(fù)雜的推進(jìn)流程,需要提前拆解與規(guī)劃,才能保證項(xiàng)目進(jìn)度可控。

如何推進(jìn)多方合作的A/B測試項(xiàng)目?來看京東的實(shí)戰(zhàn)案例!

△ 測試項(xiàng)目流程與分工

我們可以分三步來進(jìn)行:

1. 找到項(xiàng)目關(guān)鍵步驟

關(guān)鍵步驟是將一個(gè)項(xiàng)目的推進(jìn)拆解成多個(gè)階段,找到關(guān)鍵步驟,也就知道了每個(gè)階段的主要任務(wù),可以進(jìn)一步分工來推進(jìn)項(xiàng)目。

如何找到關(guān)鍵步驟?我們可以從項(xiàng)目目標(biāo)中提取。測試項(xiàng)目的目標(biāo)是找到設(shè)計(jì)因素與投放點(diǎn)擊效果的影響關(guān)系。這個(gè)目標(biāo)里提取重要的關(guān)鍵詞為:設(shè)計(jì)因素、投放點(diǎn)擊效果、影響關(guān)系。面對這些關(guān)鍵詞我們會有疑問產(chǎn)生如「測試設(shè)計(jì)因素是什么?有哪些?」、「如何投放」、「如何判斷影響關(guān)系」,再進(jìn)行串聯(lián)梳理,得到完整步驟流程。

2. 明確角色任務(wù)與產(chǎn)出

每個(gè)階段的主要任務(wù),可以拆解分工給項(xiàng)目角色,項(xiàng)目角色也就有了各自的任務(wù),角色產(chǎn)出物則是任務(wù)執(zhí)行的結(jié)果,將直接推動(dòng)項(xiàng)目進(jìn)入下一環(huán)節(jié)。所以為了順利推進(jìn)項(xiàng)目,我們需要根據(jù)項(xiàng)目實(shí)際情況評估角色任務(wù)分工是否合理,產(chǎn)出是否滿足項(xiàng)目要求。

比如在「設(shè)計(jì)測試圖片」這個(gè)步驟中,有兩個(gè)分工方案,讓廣告主或我們自己設(shè)計(jì)圖片。我們從項(xiàng)目時(shí)長、溝通成本、潛在風(fēng)險(xiǎn)等維度進(jìn)行評估,判斷廣告主把控變量不嚴(yán)謹(jǐn)會導(dǎo)致測試數(shù)據(jù)無效,且外部合作溝通成本較高時(shí)間不夠,所以最后將設(shè)計(jì)圖片的任務(wù)分給了內(nèi)部。

3. 預(yù)判項(xiàng)目風(fēng)險(xiǎn)

對流程規(guī)劃得越詳細(xì),在后續(xù)合作過程中越容易把控項(xiàng)目的節(jié)奏,項(xiàng)目風(fēng)險(xiǎn)越低。

再如「設(shè)計(jì)測試圖片」這個(gè)關(guān)鍵步驟,詳細(xì)展開執(zhí)行流程會發(fā)現(xiàn)涉及到交互設(shè)計(jì)師、兩方視覺設(shè)計(jì)師、廣告主四個(gè)角色。對于項(xiàng)目執(zhí)行角色,產(chǎn)出物的質(zhì)量及按時(shí)交付尤為重要,所以重點(diǎn)把控輸出準(zhǔn)確性與完成時(shí)間。對于項(xiàng)目決策角色,也就是決策最終投放哪些圖片的廣告主,溝通配合尤為重要。所以基于規(guī)避風(fēng)險(xiǎn)也對項(xiàng)目流程進(jìn)行了優(yōu)化,前置在項(xiàng)目之初,要求廣告主提前準(zhǔn)備交付內(nèi)容,規(guī)定交付時(shí)間及格式,以及充分溝通說明圖片設(shè)計(jì)產(chǎn)出之后不能進(jìn)行較大改動(dòng)。

結(jié)論推導(dǎo)的重要前提與方法

1. 保證數(shù)據(jù)有效

測試結(jié)論來源于測試數(shù)據(jù),我們首先應(yīng)該保證回收數(shù)據(jù)的有效性。測試項(xiàng)目的關(guān)鍵指標(biāo)是點(diǎn)擊率,即點(diǎn)擊量與曝光量的比值。當(dāng)圖片本身曝光量低時(shí),我們認(rèn)為隨著曝光量增加,點(diǎn)擊率比值波動(dòng)范圍仍然較大,數(shù)據(jù)還未穩(wěn)定在某個(gè)區(qū)間段,會影響結(jié)論準(zhǔn)確性,判定為無效數(shù)據(jù)。發(fā)現(xiàn)類似這種問題,我們會和廣告主商量繼續(xù)投放,延長測試時(shí)間來增加曝光。

2. 充分測試

要想得到可靠普適的結(jié)論,需要對比多組樣本的測試結(jié)果。對于某個(gè)設(shè)計(jì)因素,我們先進(jìn)行了單一廣告主的投放數(shù)據(jù)對比,可以找到投放效果最優(yōu)和最差的設(shè)計(jì)水平。然后又將多個(gè)廣告主的結(jié)果進(jìn)行對比,會發(fā)現(xiàn)存在不一致的情況,驗(yàn)證了單組樣本結(jié)論不能作為類目結(jié)論輸出。如果多個(gè)廣告主結(jié)果一致,或呈現(xiàn)某一趨勢,則結(jié)論在該類目可以認(rèn)為較為普適。

3. 差異分析

對于多組樣本結(jié)果不一致的情況,可以從組間因素差異著手分析。

如何推進(jìn)多方合作的A/B測試項(xiàng)目?來看京東的實(shí)戰(zhàn)案例!

△ 背景設(shè)計(jì)因素測試結(jié)果

上圖是兩個(gè)廣告主分別測試背景設(shè)計(jì)因素得到的結(jié)果。第一組的投放結(jié)果為實(shí)景設(shè)計(jì)效果更好,第二組則為普通平面設(shè)計(jì)效果更好。產(chǎn)生這樣差異的原因是什么呢?我們先找出組間可能導(dǎo)致這一結(jié)果的因素,分別是顏色和產(chǎn)品。從顏色上看,是否平面+黑色效果更好呢?我們看了其他廣告主結(jié)果,否定了這一猜想。再從產(chǎn)品圖來看,兩個(gè)產(chǎn)品的識別度是不同的,我們將其他廣告主該因素測試圖按產(chǎn)品是否容易識別分組,最終得出兩組不同的結(jié)論:當(dāng)產(chǎn)品圖易識別時(shí),背景設(shè)計(jì)對效果影響不大;當(dāng)產(chǎn)品圖不易識別時(shí),實(shí)景圖效果更好。這也就解釋了上圖結(jié)果不一致的原因。

回顧整個(gè)項(xiàng)目,我個(gè)人認(rèn)為項(xiàng)目中最重要的工作是溝通。下面我來分別談?wù)剝?nèi)外部溝通的經(jīng)驗(yàn)。

雙贏是外部合作溝通的基石

與外部團(tuán)隊(duì)、廣告主合作推進(jìn)項(xiàng)目,需要及時(shí)有效的溝通,什么是有效的溝通呢?

1. 圍繞對方利益談配合

廣告主只看轉(zhuǎn)化結(jié)果,我們?nèi)绻徽勗O(shè)計(jì)不談轉(zhuǎn)化,廣告主是不會想要出錢參與項(xiàng)目的,那么項(xiàng)目也將停滯不前。所以在合作前,我們做了項(xiàng)目及團(tuán)隊(duì)包裝,用真實(shí)的案例讓廣告主快速理解參與項(xiàng)目所能帶來的價(jià)值,并用團(tuán)隊(duì)以往的作品、能力展示讓廣告主了解與我們合作的優(yōu)勢。廣告主越認(rèn)同項(xiàng)目價(jià)值及我們的專業(yè)度,配合度就會越高。

如何推進(jìn)多方合作的A/B測試項(xiàng)目?來看京東的實(shí)戰(zhàn)案例!

△ 招募PPT中的真實(shí)案例介紹

2. 圍繞對方目標(biāo)來「推銷」方案

在推進(jìn)項(xiàng)目這一點(diǎn)上,找到目標(biāo)一致的點(diǎn)更容易促成各方意見達(dá)成一致。

我們合作的廣告主很多會選擇外包banner設(shè)計(jì),所以廣告主們習(xí)慣了做傳說中的「甲方爸爸」,難免會對視覺設(shè)計(jì)方案有各種主觀意見。比如,某電視廣告主不喜歡紅色圖片設(shè)計(jì),想要藍(lán)色。對于這樣的分歧,我個(gè)人喜歡用引導(dǎo)式的溝通方法。首先,不要急于表達(dá)自己或否定對方的意見,可以以疑問句式來猜測對方的目的。「喜歡藍(lán)色是希望用沉穩(wěn)的顏色來表現(xiàn)產(chǎn)品的高級感嗎?」,如果猜測正確,對方會因自己的需求被理解而更容易溝通,這時(shí)再繼續(xù)闡述用紅色如何表達(dá)高級感;如果猜測不正確,對方會順勢說出原因,我們再圍繞對方的目標(biāo)進(jìn)一步溝通。如果對方毫無理由「不喜歡這個(gè)設(shè)計(jì)」,而設(shè)計(jì)師并不覺得有設(shè)計(jì)問題,那么我們需要停止專業(yè)角度的溝通,從設(shè)計(jì)是否滿足當(dāng)前階段項(xiàng)目需求的角度來溝通,方案則更容易被接受。

內(nèi)部合作各盡所能發(fā)揮優(yōu)勢

內(nèi)部合作分交互、視覺、用研三種不同的崗位角色,在項(xiàng)目中都發(fā)揮著自己重要的作用。

交互擅長統(tǒng)籌與拆解問題,團(tuán)隊(duì)的內(nèi)部溝通能產(chǎn)生多種解題思路,對項(xiàng)目的推進(jìn)至關(guān)重要;在遇到如需要統(tǒng)計(jì)學(xué)分析、樣本設(shè)置等專業(yè)問題時(shí),用研可以提供更專業(yè)的分析方法與幫助,為我們實(shí)現(xiàn)科學(xué)分析提供有力支持;視覺設(shè)計(jì)師對banner設(shè)計(jì)有豐富的經(jīng)驗(yàn),可以在各個(gè)環(huán)節(jié)中發(fā)揮優(yōu)勢。從項(xiàng)目之初就參與設(shè)計(jì)因素拆解、測試方案設(shè)置,可以補(bǔ)充視覺相關(guān)的設(shè)計(jì)因素,在優(yōu)化測試方案、風(fēng)險(xiǎn)預(yù)期方面都可以提供重要的建議。在結(jié)論推導(dǎo)中,對圖中的因素差異敏感度高,可以根據(jù)數(shù)據(jù)提出關(guān)鍵猜想。

文章來源:優(yōu)設(shè)    作者:京東設(shè)計(jì)中心JDC

藍(lán)藍(lán)設(shè)計(jì)www.bouu.cn )是一家專注而深入的界面設(shè)計(jì)公司,為期望卓越的國內(nèi)外企業(yè)提供卓越的UI界面設(shè)計(jì)、BS界面設(shè)計(jì) 、 cs界面設(shè)計(jì) 、 ipad界面設(shè)計(jì) 、 包裝設(shè)計(jì) 、 圖標(biāo)定制 、 用戶體驗(yàn) 、交互設(shè)計(jì)、 網(wǎng)站建設(shè) 平面設(shè)計(jì)服務(wù)

分享本文至:

日歷

鏈接

個(gè)人資料

存檔