量化用戶研究:可用性測試

2022-3-1    seo達人


WHAT? 什么是用戶研究?

用戶研究聽起來是個非常大的學(xué)科和話題,沒有具象的描述和切實的研究方法就顯得虛無縹緲,讓人有種霧里看花的感覺。用戶研究和用戶體驗一樣,在國外市場得到驗證、認(rèn)可并被不同行業(yè)的企業(yè)所接受,而國內(nèi)市場處于萌芽階段,只有部分行業(yè)的頭部企業(yè)對其有較為清晰的認(rèn)知和應(yīng)用。

那么怎么定義用戶研究?首先,用戶研究的目的是了解用戶,對用戶有更清晰、具象的畫像,是一系列研究方法的概括型的名稱。聚焦互聯(lián)網(wǎng)行業(yè),什么崗位的同學(xué)最需要關(guān)注和學(xué)習(xí)用戶研究方法?與用戶、數(shù)據(jù)打交道的崗位需要對相關(guān)用研方法和分析方法有不同程度了解和應(yīng)用能力,例如,用戶研究員、市場研究員、數(shù)據(jù)分析師、產(chǎn)品經(jīng)理、體驗設(shè)計師、交互設(shè)計師等等。作為體驗設(shè)計師或交互設(shè)計師,可以通過研究方法對用戶目標(biāo)、需求和能力的系統(tǒng)研究,用于指導(dǎo)設(shè)計、產(chǎn)品結(jié)構(gòu)或者工具的優(yōu)化,提升用戶工作和生活體驗。

圖片

 

HOW? 怎么做用戶研究?

研究中包含的用研方法有很多,可以根據(jù)實際場景和資源選擇適合的方法,目前常用的實用性、可操作性比較強的四大方法:可用性測試、網(wǎng)站訪客(埋點數(shù)據(jù))、用戶調(diào)查、A/B Test。在設(shè)計過程中的每個階段,用戶研究是都需要做的工作,但很多時候由于工期較短,deadline在前,設(shè)計師在產(chǎn)品設(shè)計初期沒有辦法做到較為完善的用戶研究,那么這部分工作就會被延后,在驗證階段研究任務(wù)就會變得比較重,后期的優(yōu)化對此依賴性也比較強??捎眯詼y試是設(shè)計師在驗證階段相對比較能貼近用戶的用研方式,在測試過程中通過觀察用戶行為,從即時的反饋中更容易獲得貼近真實的定性數(shù)據(jù),用對話溝通的方式深度挖掘用戶遇到的問題,從而鎖定優(yōu)化重點。

圖片

 

1、了解可用性測試

1.1 可用性測試的優(yōu)勢

可用性測試是確定用戶是否完成目標(biāo)的核心方式,它與其他用戶研究方法有許多相同的測試指標(biāo),并且能夠得出較多可用的定性數(shù)據(jù),可以收集的數(shù)據(jù)類型也比較多,例如,完成率、出錯數(shù)、任務(wù)時間、任務(wù)水平的滿意度、測試水平的滿意度、尋求幫助的次數(shù)和可用性問題清單,這些數(shù)據(jù)極大的便利了后續(xù)的分析工作,幫助多維度的判斷產(chǎn)品的狀態(tài)、用戶的滿意度、體驗問題等等。

 

1.2 可用性測試的類型

可用性測試可以分為兩種測試類型:形成性測試(Formative Test)和總結(jié)性測試(Summative Test)

 

1.形成性測試:主要作用于查找與修復(fù)可用性問題,提供及時反饋便于改進,是設(shè)計師重點參與的測試類型

  • 通常以小樣本量的定性調(diào)查
  • 數(shù)據(jù)以問題描述和設(shè)計建議形成輸出
  • 采用頻率和嚴(yán)重性為指標(biāo)量化問題,追蹤那些用戶用到什么樣的問題,衡量完成任務(wù)時長,并判定他們是否成功的完成任務(wù)等

 

2.總結(jié)性測試:用指標(biāo)度量可用性,用來評估效果,其中又分為基準(zhǔn)測試和比較測試

圖片

 

1.3 可采集的數(shù)據(jù)

樣本量:通常大于30,當(dāng)數(shù)據(jù)量小于10可通過統(tǒng)計學(xué)方法計算得到有效統(tǒng)計分析結(jié)論

代表性:樣本能夠代表預(yù)期要描述的用戶群,若存在不同用戶群組中有重要差異因素的使用分層抽樣(Stratified Sampling)的方式

隨機性:考慮所有重要變量,設(shè)計理想樣本,合理合并用戶群組

測試數(shù)據(jù):現(xiàn)場/遠(yuǎn)程測試,觀察記錄用戶用戶行為,與用戶互動深入挖掘問題

完成率:即成功率,完成=1、失敗=0,完成率=完成任務(wù)用戶數(shù)/用戶總數(shù)

可用性問題:根據(jù)問題出現(xiàn)的頻率和影響程度評估嚴(yán)重性、優(yōu)先級

任務(wù)時間:任務(wù)完成時間、直到用戶失敗所用的時間、任務(wù)總時間

出錯數(shù):嘗試任務(wù)產(chǎn)生的無意識的出錯數(shù)量,診斷失敗原因,預(yù)判可能出現(xiàn)的場景

滿意度評分:使用標(biāo)準(zhǔn)化可用性問卷,回收數(shù)據(jù)計算得出

復(fù)合分?jǐn)?shù):復(fù)合型總結(jié)可為用戶體驗提供更好的總體描述

 

2、可用性測試問卷

經(jīng)過長期的研究和市場驗證,目前已沉淀出很多標(biāo)準(zhǔn)化的可用性問卷,不同的問卷的評估針對性不一樣,可以滿足大部分用研需求。使用標(biāo)準(zhǔn)化的問卷是因為這些問卷是經(jīng)過大量的使用后驗證校準(zhǔn)后產(chǎn)生的,是被認(rèn)可具有通識性的衡量標(biāo)準(zhǔn),這些問卷都具備客觀性、重復(fù)性、量化、經(jīng)濟、溝通、科學(xué)的普適性的優(yōu)質(zhì)屬性。

 

2.1 標(biāo)準(zhǔn)化的可用性測試問卷

問卷類型主要可以分為以下兩大類:

圖片

列表中的問卷大部分是需要繳納一定的費用后才能使用,但其中系統(tǒng)可用性整體評估問卷、軟件可用性問卷、場景后問卷是標(biāo)準(zhǔn)可用性問卷中可以免費使用的。應(yīng)用廣泛且被專家推薦的測試問卷是:軟件可用性問卷主要針對系統(tǒng)或功能進行整體評估,問題設(shè)計精煉清晰,使用快捷方便;單項難易度問題追求的是心理測試的簡單和適用性,有5分和7分制,7分制的可靠性更高;主觀腦力負(fù)荷問題是在線測試,靈敏性更好。綜合評估下,軟件可用性問卷(Software Usability Scale,SUS)是設(shè)計日常中最合適最經(jīng)濟實用的測試問卷。

 

2.2 軟件可用性問卷(SUS)

軟件可用性問卷是可用性測試結(jié)束時的主觀性評估問卷,應(yīng)用廣泛,測試后該問卷使用占比約43%。整個問卷共10題,每題為5分制,奇數(shù)項為正面描述,偶數(shù)項為反面描述,可以通過修改問題文案聚焦測試范圍;如有需要可以將偶數(shù)項的問題調(diào)整為正面描述,但數(shù)據(jù)驗證調(diào)整為正面描述的問卷結(jié)果與包含負(fù)面描述的問卷差異不大,不影響問卷的測試結(jié)論。在完成測試任務(wù)后,用戶需快速完成各個題目,不進行過多思考,若用戶因某些原因無法完成其中某個題目,則視為選擇中間值。

圖片

 

2.3 可用性、易用性抽取

問卷整體可以抽取部分題目作為子測量表來作為單獨的問卷有針對性的進行可用性和易學(xué)性測量,可用性由問卷中1-3、5-9題構(gòu)成,易學(xué)性由問卷中4、10題構(gòu)成。研究表明使用子測量表對量表的可信度的減低可忽略不計(0.92  → 0.91),并且使用子測量表可減少答題時間。

 

2.4 分值計算

得分計算:范圍在0-4,每題進行轉(zhuǎn)化分值;奇數(shù)題(正面):原始分減去1,(x-1);偶數(shù)題(負(fù)面):5減去原始分,(5-x)

  • SUS總分= 所有轉(zhuǎn)化過的分值相加 * 2.5, 多樣本算SUS總分均值
  • 可用性總分=所有轉(zhuǎn)化過的可用性分?jǐn)?shù)相加*3.125
  • 易用性總分=所有轉(zhuǎn)化過的易用性分?jǐn)?shù)相加*12.5

 

3、統(tǒng)計學(xué)描述方法

可用性測試因為耗費時間較長,能夠參與測試的用戶資源稀缺,回收樣本量小能夠收集到的樣本量一般會比較小。樣本量小的情況下這個樣本量所能概括的整體是范圍比較大的,會存在較大誤差,那么在較為嚴(yán)謹(jǐn)?shù)膱蟾嬷校赡苄枰獙λ梅謹(jǐn)?shù)和除測試樣本外的分值預(yù)期進行描述,這時候會涉及到統(tǒng)計學(xué)中常用的描述方式,即通過置信度及置信區(qū)間來描述,根據(jù)置信區(qū)間的下邊界看軟件是否低于行業(yè)標(biāo)準(zhǔn)。

 

3.1 相關(guān)概念

置信區(qū)間是指在一定概率下包含樣本位置總體參數(shù)的這部分?jǐn)?shù)值區(qū)間,通過計算置信區(qū)間來描述測試結(jié)果的概率。置信區(qū)間寬度和樣本量之間是一個逆平方根的關(guān)系, 樣本量越小,誤差越大,未知樣本數(shù)據(jù)可能所在的區(qū)間更大。

置信度就是說,你測得的均值,和總體真實情況的差距小于這個給定的值的概率,應(yīng)該是1-α;換句話描述,即我們有1-α的信心認(rèn)為,你測得的這個均值和總體的實際期望很接近了(測得的均值就是總體期望是很草率的,但是說,我有95%的把握認(rèn)為我測得的均值,非常接近總體的期望了)。研究員可以選擇0%-100%之間的任意數(shù)值的置信度,通常設(shè)為90%或95%(最常用)。

臨界值是在原假設(shè)下,檢驗統(tǒng)計量在分布圖上的點,這些點定義一組要求否定原假設(shè)的值。

圖片

 

3.2 置信區(qū)間計算

置信區(qū)間= (樣本平均值-誤差幅度)~(樣本平均值+誤差幅度)=(x -(x- μ))~(x +(x- μ))

  • x = 樣本平均值
  • 誤差幅度=臨界值*(樣本標(biāo)準(zhǔn)差/樣本量的平方根),即:(x – μ) = α* (s / sqrt(n))
  • α=臨界值(Excel函數(shù)=TINV(1-置信度,樣本量-1))
  • μ=被檢驗的基準(zhǔn)值(行業(yè)標(biāo)準(zhǔn))
  • s=樣本的標(biāo)準(zhǔn)差(Excel函數(shù)=STDEVP(N1,N2,..))
  • n=樣本量

tips:臨界值可以通過所設(shè)置信度和樣本量在t分布表中查找相應(yīng)的值

圖片

 

3.3 可用性測試策劃應(yīng)用

在做可用性測試前,需要進行很多準(zhǔn)備,過程中也需要記錄很多相關(guān)的信息,初步嘗試的設(shè)計師可以參照以下步驟完成可用性測試的整個流程:

  • Step1: 確定調(diào)研目標(biāo)(目的、用戶、時間、環(huán)境)
  • Step2: 確定測試任務(wù)(任務(wù)內(nèi)容、測試方案、SUS問卷地址),任務(wù)內(nèi)容可以通過抽取用戶體驗地圖(User Journey Map)流程中的觸點設(shè)計,保證流程的完整性和任務(wù)的關(guān)聯(lián)性

圖片

  • Step3: 引導(dǎo)測試用戶完成可用性測試,過程中記錄測試時間、用戶遇到的問題、發(fā)生的頻率等等,記錄類型可以根據(jù)測試測中點進行記錄

圖片

  • Step4:  用戶填寫SUS問卷,回收問卷分?jǐn)?shù)進行計算,得出SUS分?jǐn)?shù)、可用性分?jǐn)?shù)、易用性分?jǐn)?shù)的均值作為本次測試的結(jié)論

圖片

圖片

  • Step5: 作為補充,可以計算SUS樣本分?jǐn)?shù)的置信區(qū)間,預(yù)期未被測到的目標(biāo)用戶對產(chǎn)品的評分可能落在的區(qū)間,區(qū)間下限可橫向?qū)Ρ?,看是否低于行業(yè)標(biāo)準(zhǔn)??梢悦枋鰹椤皹颖痉?jǐn)?shù)標(biāo)準(zhǔn)誤差約=5.34,置信區(qū)間為63.78~69.12;有95%的把握認(rèn)為測得的均值接近總體期望,未測樣本分值將落在63.78~69.12之間,符合行業(yè)標(biāo)準(zhǔn)預(yù)期”。
  • Step6: 通過測試過程中觀察用戶行為,探討用戶提出或下意識忽略的問題,并進行問題的記錄和分類
  • Step7: 用戶訪談記錄問題進行解析,對問題的嚴(yán)重程度進行評級,選出問題較多的部分并提供可能的解決辦法進行優(yōu)化

圖片

  • Step8: 根據(jù)以上結(jié)論對測試進行總結(jié)性分析

 


 

原文鏈接:酷家樂用戶體驗設(shè)計(公眾號)

作者:藜漫

轉(zhuǎn)載請注明:學(xué)UI網(wǎng)》量化用戶研究:可用性測試

藍(lán)藍(lán)設(shè)計建立了UI設(shè)計分享群,每天會分享國內(nèi)外的一些優(yōu)秀設(shè)計,如果有興趣的話,可以進入一起成長學(xué)習(xí),請掃碼藍(lán)小助,報下信息,藍(lán)小助會請您入群。歡迎您加入噢~~希望得到建議咨詢、商務(wù)合作,也請與我們聯(lián)系。

截屏2021-05-13 上午11.41.03.png

分享此文一切功德,皆悉回向給文章原作者及眾讀者.
免責(zé)聲明:藍(lán)藍(lán)設(shè)計尊重原作者,文章的版權(quán)歸原作者。如涉及版權(quán)問題,請及時與我們?nèi)〉寐?lián)系,我們立即更正或刪除。

藍(lán)藍(lán)設(shè)計www.bouu.cn )是一家專注而深入的界面設(shè)計公司,為期望卓越的國內(nèi)外企業(yè)提供卓越的UI界面設(shè)計、BS界面設(shè)計 、 cs界面設(shè)計 、 ipad界面設(shè)計 、 包裝設(shè)計 、 圖標(biāo)定制 、 用戶體驗 、交互設(shè)計、 網(wǎng)站建設(shè) 平面設(shè)計服務(wù)、

UI設(shè)計公司、界面設(shè)計公司、UI設(shè)計服務(wù)公司、數(shù)據(jù)可視化設(shè)計公司、UI交互設(shè)計公司、高端網(wǎng)站設(shè)計公司、UI咨詢、用戶體驗公司、軟件界面設(shè)計公司



分享本文至:

日歷

鏈接

個人資料

存檔