如何量化用戶(hù)體驗(yàn)?

2020-12-15    資深UI設(shè)計(jì)者

互聯(lián)網(wǎng)下半場(chǎng),所有的比拼都在產(chǎn)品體驗(yàn);然而“體驗(yàn)”是一個(gè)非常抽象的詞,我們?cè)趺窗岩粋€(gè)抽象的概念拆解成可落地執(zhí)行的策略,作用到企業(yè)中后臺(tái)產(chǎn)品上,怎么衡量策略的有效性,這一直是我們團(tuán)隊(duì)面臨的重大課題。

1.

業(yè)界關(guān)于體驗(yàn)度量的經(jīng)驗(yàn)

目前關(guān)于“體驗(yàn)度量”比較成熟的理論模型當(dāng)屬 Google 的 HEART 模型,另外還有 ISO 9126 軟件質(zhì)量模型和Davis 的 TAM 技術(shù)接受模型。后人在此基礎(chǔ)上進(jìn)行了很多實(shí)踐,譬如 SAP 的用戶(hù)體驗(yàn)問(wèn)卷(UEQ)、Oracle 的客戶(hù)體驗(yàn)價(jià)值公式(CX)等。公司內(nèi)部各個(gè) BU 也在不斷的嘗試和探索,譬如新零售技術(shù)團(tuán)隊(duì)的 TES 模型。技術(shù)團(tuán)隊(duì)研發(fā)效能的 DEVA 模型,國(guó)際 UED 語(yǔ)音設(shè)計(jì)的 HII 模型,阿里云的 QoUE 模型??v觀這些模型和實(shí)踐,大多是主觀數(shù)據(jù)和客觀數(shù)據(jù)的結(jié)合。

如何量化用戶(hù)體驗(yàn)?試試阿里這個(gè)新出的「兩章一分法」!

我們團(tuán)隊(duì)也曾提出過(guò) TECH 、PTECH 模型,但由于模型的操作門(mén)檻較高、對(duì)埋點(diǎn)數(shù)據(jù)有不少要求,難以推廣到各條業(yè)務(wù)線(xiàn)。痛定思痛后,我們決定重新回歸業(yè)務(wù),回歸“體驗(yàn)度量”的初心,去繁從簡(jiǎn),提高通用性。

2.

企業(yè)中后臺(tái)產(chǎn)品的特點(diǎn)

企業(yè)級(jí)中后臺(tái)產(chǎn)品最大的特點(diǎn)是任務(wù)性質(zhì)非常明確;用戶(hù)使用這類(lèi)產(chǎn)品通常是為了解決某個(gè)確定的問(wèn)題點(diǎn),期待用新的解決方式降本增效。

如何量化用戶(hù)體驗(yàn)?試試阿里這個(gè)新出的「兩章一分法」!

桌面研究也表明:可用性問(wèn)題是軟件行業(yè)的普遍問(wèn)題:在英國(guó),一般商用計(jì)算機(jī)用戶(hù)只有30%-40%的有效生產(chǎn)率;軟件缺陷中,48%是可用性問(wèn)題。

正是基于上述原因,我們嘗試提出了“兩章一分”的標(biāo)準(zhǔn),分別從設(shè)計(jì)驗(yàn)收、可用性測(cè)試、易用度分?jǐn)?shù)等三個(gè)維度對(duì)產(chǎn)品體驗(yàn)進(jìn)行體檢和把關(guān)。

3.

什么是「兩章一分」

如何量化用戶(hù)體驗(yàn)?試試阿里這個(gè)新出的「兩章一分法」!

1. 設(shè)計(jì)驗(yàn)收章

“設(shè)計(jì)驗(yàn)收章”主要有 3 個(gè)維度:產(chǎn)品還原度、任務(wù)流程跑通率、單頁(yè)面加載時(shí)間。

產(chǎn)品還原度:指技術(shù)同學(xué)的最終產(chǎn)出與設(shè)計(jì)稿之間的差異;

匯總?cè)斯ぶ悄芫€(xiàn)、技術(shù)風(fēng)險(xiǎn)線(xiàn)等 5 個(gè)產(chǎn)品近 1 年的可用性測(cè)試結(jié)果。除功能、性能問(wèn)題外,高頻體驗(yàn)問(wèn)題主要集中在“幫助引導(dǎo)”、“操作反饋”、“任務(wù)流程”、“概念術(shù)語(yǔ)”、“功能入口”這 5 個(gè)方面。同時(shí),結(jié)合之前項(xiàng)目沉淀的設(shè)計(jì)經(jīng)驗(yàn)和設(shè)計(jì)工具,我們最終將“產(chǎn)品還原度”的子維度定為“信息導(dǎo)航”、“幫助引導(dǎo)”、“操作反饋”、“文案名詞”;每個(gè)子維度用 2-3 句描述來(lái)進(jìn)行評(píng)分。

如何量化用戶(hù)體驗(yàn)?試試阿里這個(gè)新出的「兩章一分法」!

任務(wù)流程跑通率:驗(yàn)收確認(rèn)能跑通的主干任務(wù)流程數(shù),在所有主干任務(wù)流程數(shù)中的占比;舉個(gè)例子,設(shè)計(jì)稿中枚舉了 10 條主干任務(wù)流程,驗(yàn)收發(fā)現(xiàn)其中 9 條已跑通,那么任務(wù)流程跑通率就是 9/10*100%=90%。

單頁(yè)面加載時(shí)間:接入雨燕性能指標(biāo)數(shù)據(jù)的產(chǎn)品看“首次有效渲染時(shí)長(zhǎng) fmp”這個(gè)指標(biāo);未接入的產(chǎn)品直接主觀判斷,超過(guò) 3 秒的視為不合格。

2. 可用性測(cè)試章

“可用性測(cè)試章”也在驗(yàn)收階段執(zhí)行,同樣有三個(gè)參評(píng)維度:最終完成率、人均求助次數(shù)和高阻礙頁(yè)面。

如何量化用戶(hù)體驗(yàn)?試試阿里這個(gè)新出的「兩章一分法」!

我們沒(méi)有考慮將可用性測(cè)試的常用指標(biāo)——操作時(shí)長(zhǎng)作為參評(píng)維度,主要原因是企業(yè)中后臺(tái)產(chǎn)品類(lèi)型多、使用場(chǎng)景復(fù)雜程度各自不同:用語(yǔ)雀創(chuàng)建企業(yè)空間只需要 5 分鐘;用云鳳蝶搭建一個(gè)后臺(tái)頁(yè)面可能需要 60 分鐘,用 sofa stack 創(chuàng)建并發(fā)布一個(gè)應(yīng)用可能需要 2-3 個(gè)小時(shí)……難以確定可以作為標(biāo)準(zhǔn)的具體操作時(shí)長(zhǎng)。

3. 易用度分?jǐn)?shù)

“易用度分?jǐn)?shù)”標(biāo)準(zhǔn)為 5.5 分。

4.

「兩章一分」的實(shí)踐

1. 案例實(shí)踐現(xiàn)狀

截至 2020 年 9 月,已有 58 個(gè) 產(chǎn)品實(shí)踐過(guò)“兩章一分”系列方法,基本覆蓋平臺(tái)設(shè)計(jì)團(tuán)隊(duì)支撐的重點(diǎn)項(xiàng)目及 UV 超過(guò) 100 的產(chǎn)品。詳細(xì)數(shù)據(jù)如下圖:

如何量化用戶(hù)體驗(yàn)?試試阿里這個(gè)新出的「兩章一分法」!

完整體驗(yàn)“兩章一分”的 18 個(gè)產(chǎn)品,僅可用性測(cè)試就幫助發(fā)現(xiàn) 364 個(gè)問(wèn)題,平均每個(gè)產(chǎn)品發(fā)現(xiàn) 20 個(gè)問(wèn)題;其中,“九州2.0 發(fā)布部署”發(fā)現(xiàn)問(wèn)題數(shù)多達(dá) 53 個(gè)。

如何量化用戶(hù)體驗(yàn)?試試阿里這個(gè)新出的「兩章一分法」!

2. 實(shí)操經(jīng)驗(yàn)提煉

設(shè)計(jì)驗(yàn)收:共創(chuàng)式驗(yàn)收

企業(yè)中后臺(tái)產(chǎn)品生產(chǎn)階段中,由于一般沒(méi)有專(zhuān)門(mén)的測(cè)試同學(xué),因此設(shè)計(jì)驗(yàn)收都是由設(shè)計(jì)師或 PD 單獨(dú)執(zhí)行,沒(méi)有作為必選環(huán)節(jié),有時(shí)候甚至?xí)驗(yàn)殚_(kāi)發(fā)周期緊張而直接略過(guò);既沒(méi)有方法論,又缺乏儀式感。

“兩章一分”的實(shí)踐中,我們首次踐行“共創(chuàng)式驗(yàn)收”,以項(xiàng)目組會(huì)議的方式,邀請(qǐng)各個(gè)角色共同參與到驗(yàn)收環(huán)節(jié)中:如果產(chǎn)品沒(méi)有什么技術(shù)門(mén)檻,那么各個(gè)角色分別獨(dú)立操作核心流程;如果產(chǎn)品有一定的技術(shù)門(mén)檻,則由技術(shù)同學(xué)操作核心流程,同時(shí)共享屏幕,其他同學(xué)從旁觀察。操作完畢后,項(xiàng)目組內(nèi)共同討論發(fā)現(xiàn)的體驗(yàn)問(wèn)題,并將問(wèn)題落地到 Aone 中進(jìn)行排期管理落地。

如何量化用戶(hù)體驗(yàn)?試試阿里這個(gè)新出的「兩章一分法」!

可用性測(cè)試:引入“技術(shù)支持”+圈定測(cè)試人數(shù)+ 線(xiàn)上測(cè)試降成本

  • 引入“技術(shù)支持”

企業(yè)中后臺(tái)產(chǎn)品通常有一定的技術(shù)門(mén)檻,以 SOFAstack的測(cè)試任務(wù)為例:

使用 sofaboot 技術(shù)棧,創(chuàng)建 “hello world” 應(yīng)用,通過(guò)“經(jīng)典版”發(fā)布部署模式發(fā)布成功。

測(cè)試過(guò)程中經(jīng)常會(huì)出現(xiàn)一些涉及到底層技術(shù)系統(tǒng)的問(wèn)題,非設(shè)計(jì)同學(xué)能解決,因此我們建議做企業(yè)中后臺(tái)產(chǎn)品的可用性測(cè)試時(shí),需要配備至少一名技術(shù)支持同學(xué),以備不時(shí)之需。

  • 圈定測(cè)試人數(shù)

如何量化用戶(hù)體驗(yàn)?試試阿里這個(gè)新出的「兩章一分法」!

Jakob Nielsen 在 2000年提出測(cè)試 5 人就能發(fā)現(xiàn) 85%的可用性問(wèn)題;結(jié)合我們的實(shí)際業(yè)務(wù)場(chǎng)景:有些產(chǎn)品真實(shí)客戶(hù)非常難找;前期“共創(chuàng)式驗(yàn)收”已跑通核心主干流程;因此我們將測(cè)試人數(shù)限制為 3 人。

  • 線(xiàn)上測(cè)試降成本

我們開(kāi)始實(shí)操案例時(shí),恰逢疫情期間,于是就引入了線(xiàn)上遠(yuǎn)程測(cè)試的方式;后續(xù)實(shí)踐下來(lái),發(fā)現(xiàn)遠(yuǎn)程測(cè)試能在觀察、分析階段顯著降低執(zhí)行成本。

通過(guò)釘釘或阿里郎發(fā)起視頻會(huì)議,邀請(qǐng)參加測(cè)試和觀察的同學(xué)入會(huì),請(qǐng)測(cè)試用戶(hù)共享操作屏幕,主持人錄屏捕捉用戶(hù)操作軌跡,PD、技術(shù)等項(xiàng)目組成員從旁觀察。測(cè)試結(jié)束后,使用語(yǔ)音轉(zhuǎn)文本工具,快速將音頻轉(zhuǎn)成文字。這種模式最大的好處有兩點(diǎn):

  • 突破了距離和觀察人數(shù)的限制;從實(shí)踐來(lái)看,現(xiàn)場(chǎng)測(cè)試結(jié)合遠(yuǎn)程測(cè)試的模式,至少能同時(shí)對(duì) 2-3 人進(jìn)行測(cè)試,執(zhí)行成本減半;
  • 語(yǔ)音轉(zhuǎn)文本后,顯著提升了分析效率。

如何量化用戶(hù)體驗(yàn)?試試阿里這個(gè)新出的「兩章一分法」!

執(zhí)行階段的多樣化

最開(kāi)始提出“兩章一分”的時(shí)候,我們?cè)鞠M@套標(biāo)準(zhǔn)能被作為判斷產(chǎn)品體驗(yàn)是否好用,能否上線(xiàn)的標(biāo)準(zhǔn)之一;但實(shí)際并未推動(dòng)成功。這里面有很多原因,其中一個(gè)非常實(shí)際的問(wèn)題是很多產(chǎn)品需要調(diào)用線(xiàn)上數(shù)據(jù)庫(kù)才能跑通核心流程,在測(cè)試階段沒(méi)法跑通;這就導(dǎo)致在測(cè)試階段做可用性測(cè)試無(wú)法真實(shí)還原用戶(hù)場(chǎng)景。

此外,設(shè)計(jì)師或 PD 新接手某款產(chǎn)品時(shí),也希望能通過(guò)可用性測(cè)試的方式來(lái)快速了解產(chǎn)品問(wèn)題?;貧w到“兩章一分”的初心——幫助產(chǎn)品發(fā)現(xiàn)體驗(yàn)問(wèn)題,因此,我們拓展了方法的執(zhí)行階段,不再局限于測(cè)試或驗(yàn)證階段,只要場(chǎng)景適合,都可以用。

3. 典型案例:LinkE 研發(fā)運(yùn)維中心一期

產(chǎn)品簡(jiǎn)介

LinkE 研發(fā)運(yùn)維中心是云通未來(lái) Serverless 戰(zhàn)場(chǎng)的重要產(chǎn)品;業(yè)務(wù)方希望用該產(chǎn)品來(lái)整合研發(fā)同學(xué)日常高頻使用的研發(fā)、運(yùn)維、中間件平臺(tái),大幅減少平臺(tái)割裂和跳轉(zhuǎn),提供沉浸式的產(chǎn)品體驗(yàn)。

目前該產(chǎn)品還處于 0-1 建設(shè)的階段。

實(shí)踐過(guò)程

  • 為了確保產(chǎn)品體驗(yàn)良好,設(shè)計(jì)師在驗(yàn)收階段引入“兩章一分”,進(jìn)行共創(chuàng)驗(yàn)收和可用性測(cè)試;
  • 共創(chuàng)驗(yàn)收階段,邀請(qǐng) PD、技術(shù) 等 8 名同學(xué)一起參與,最終結(jié)果為“通過(guò)”;
  • 可用性測(cè)試階段,設(shè)計(jì)師根研發(fā)通用場(chǎng)景,招募 6 名研發(fā)同學(xué)參與兩個(gè)可用性測(cè)試任務(wù),分別為:任務(wù) 1,基于代碼變更完成研發(fā)自測(cè)聯(lián)調(diào);任務(wù) 2,基于發(fā)布完成分支的集成、預(yù)發(fā)、灰度、生產(chǎn)

結(jié)果用戶(hù)在任務(wù) 2 遇到高阻礙頁(yè)面,導(dǎo)致可用性測(cè)試結(jié)果為“不通過(guò)”,任務(wù) 2 的易用度分為僅 4.4 分,顯著低于 5.5 分的參考標(biāo)準(zhǔn);最終發(fā)現(xiàn) 30+ 問(wèn)題點(diǎn),并推動(dòng) PD 思考產(chǎn)品邏輯設(shè)置是否合理。

如何量化用戶(hù)體驗(yàn)?試試阿里這個(gè)新出的「兩章一分法」!

實(shí)踐效果

  • 經(jīng)過(guò)兩次完整實(shí)踐,LinkE 設(shè)計(jì)師已能完全獨(dú)立操作執(zhí)行“兩章一分”;
  • 業(yè)務(wù)方的參與度 & 認(rèn)知度提升明顯:已開(kāi)始習(xí)慣將“兩章一分”設(shè)為項(xiàng)目里程碑,并全員參與進(jìn)來(lái)。

如何量化用戶(hù)體驗(yàn)?試試阿里這個(gè)新出的「兩章一分法」!

4. 實(shí)踐總結(jié)

在實(shí)踐過(guò)程中,我們發(fā)現(xiàn)企業(yè)中后臺(tái)產(chǎn)品的典型場(chǎng)景大致可以分為 4 個(gè)場(chǎng)景;不同場(chǎng)景面臨的設(shè)計(jì)項(xiàng)目有所偏重;不同設(shè)計(jì)項(xiàng)目在體驗(yàn)度量方面的切入點(diǎn)也有所不同。譬如:云鳳蝶是一個(gè)典型的沉浸式畫(huà)布頁(yè)面,所有操作幾乎都是通過(guò)編輯器屬性面板來(lái)調(diào)整,那么如何來(lái)評(píng)估編輯器的效率呢?通過(guò)一系列實(shí)踐和思考,我們提出可以通過(guò)“高頻屬性查找、配置的步驟數(shù)和時(shí)間”、“設(shè)置相同組件屬性的耗時(shí)變化”等指標(biāo)進(jìn)行衡量。以下是我們根據(jù)不同典型場(chǎng)景、設(shè)計(jì)項(xiàng)目提出的體驗(yàn)度量切入點(diǎn)。

如何量化用戶(hù)體驗(yàn)?試試阿里這個(gè)新出的「兩章一分法」!

5.

「兩章一分」的未來(lái)

經(jīng)過(guò) S1 長(zhǎng)達(dá)幾個(gè)月的探索:我們制定了“兩章一分”的標(biāo)準(zhǔn);對(duì) 30+ 產(chǎn)品進(jìn)行了易用度分?jǐn)?shù)的測(cè)試,捕捉分?jǐn)?shù)基線(xiàn);提煉實(shí)操方法技巧,并賦能給各位設(shè)計(jì)師;聯(lián)合設(shè)計(jì)師和業(yè)務(wù)方跑通近 20 個(gè)案例。不管是問(wèn)題發(fā)現(xiàn)數(shù)量,還是設(shè)計(jì)師、業(yè)務(wù)方的主觀反饋,都讓我們堅(jiān)定“兩章一分”在企業(yè)中后臺(tái)產(chǎn)品體驗(yàn)優(yōu)化中是一個(gè)相對(duì)有效的模式。為此,S2 我們打算繼續(xù)深化。

如何量化用戶(hù)體驗(yàn)?試試阿里這個(gè)新出的「兩章一分法」!

  • 落標(biāo)準(zhǔn):在關(guān)鍵業(yè)務(wù)線(xiàn)將“兩章一分”落地到業(yè)務(wù)生產(chǎn)環(huán)節(jié)中,不過(guò)“兩章一分”就不能上線(xiàn);
  • 分基線(xiàn):區(qū)分不同產(chǎn)品類(lèi)型和迭代大小,制定不同的易用度分?jǐn)?shù)基線(xiàn);
  • 升方法:針對(duì)跨產(chǎn)品、跨域等難以推動(dòng)的橫向體驗(yàn)項(xiàng)目,我們考慮升級(jí)方法,如將可用性測(cè)試升級(jí)為“用戶(hù)體驗(yàn)日”,以便更好地推動(dòng)問(wèn)題落地;
  • 閉案例:針對(duì) S1 已跑通的業(yè)務(wù),我們會(huì)在 S2 進(jìn)行案例閉環(huán)測(cè)試,以驗(yàn)證優(yōu)化效果是否真的能在“兩章一分”上體現(xiàn)出來(lái);
  • 始運(yùn)營(yíng):我們會(huì)挑選一些案例在公司內(nèi)外發(fā)聲,找相關(guān)業(yè)務(wù)領(lǐng)域的團(tuán)隊(duì)進(jìn)行交流和探討;并從案例中總結(jié)和提煉設(shè)計(jì)技巧,幫助業(yè)務(wù)成長(zhǎng)。

總結(jié)

我們團(tuán)隊(duì)當(dāng)前支持的企業(yè)中后臺(tái)產(chǎn)品以 0-1 階段產(chǎn)品為主,PD 通常缺少用戶(hù)意識(shí)和體驗(yàn)優(yōu)化手段,這就導(dǎo)致了設(shè)計(jì)稿還原度較差、產(chǎn)品上手門(mén)檻較高。針對(duì)這一現(xiàn)狀,我們嘗試性地提出了“兩章一分”這個(gè)評(píng)價(jià)標(biāo)準(zhǔn),從設(shè)計(jì)驗(yàn)收、可用性測(cè)試、易用度分?jǐn)?shù) 3 個(gè)維度來(lái)評(píng)價(jià)產(chǎn)品當(dāng)前的體驗(yàn)現(xiàn)狀。

通過(guò) S1 50+ 產(chǎn)品的實(shí)操,我們一邊不斷完善評(píng)價(jià)標(biāo)準(zhǔn)和實(shí)操經(jīng)驗(yàn),一邊總結(jié)體驗(yàn)度量經(jīng)驗(yàn);共幫助 18 個(gè)產(chǎn)品發(fā)現(xiàn) 364 個(gè)產(chǎn)品,并在 link 、sofa 等重點(diǎn)產(chǎn)品線(xiàn)中落地到業(yè)務(wù)生產(chǎn)環(huán)節(jié)中,在業(yè)務(wù)方層面收到良好反饋。

在這過(guò)程中,我們總結(jié)了適合不同場(chǎng)景、不同設(shè)計(jì)項(xiàng)目的體驗(yàn)度量切入點(diǎn),驗(yàn)證了這種方式在當(dāng)前企業(yè)中后臺(tái)產(chǎn)品中確實(shí)有效。后續(xù)我們將嘗試細(xì)化標(biāo)準(zhǔn),閉環(huán)案例,對(duì)內(nèi)對(duì)外發(fā)聲等方式,更好地推動(dòng)體驗(yàn)思維在企業(yè)中后臺(tái)產(chǎn)品生根發(fā)芽;同時(shí),也期待能跟對(duì)這塊感興趣的同行朋友們多多交流。


文章來(lái)源:優(yōu)設(shè)   作者:
AlibabaDesign

藍(lán)藍(lán)設(shè)計(jì)www.bouu.cn )是一家專(zhuān)注而深入的界面設(shè)計(jì)公司,為期望卓越的國(guó)內(nèi)外企業(yè)提供卓越的UI界面設(shè)計(jì)、BS界面設(shè)計(jì) 、 cs界面設(shè)計(jì) 、 ipad界面設(shè)計(jì) 、 包裝設(shè)計(jì) 、 圖標(biāo)定制 、 用戶(hù)體驗(yàn) 、交互設(shè)計(jì)、 網(wǎng)站建設(shè) 、平面設(shè)計(jì)服務(wù)

分享本文至:

日歷

鏈接

個(gè)人資料

存檔