為使用者研究招募和篩選測試人員

了解招募流程的偏見且避免,讓招募的測試人員能夠真實的代表您的目標群眾。

為研究招募測試人員是非常困難的任務;您必須吸引感興趣的人,安排面試時間,提醒他們記得參加面試。更糟糕的是,有時確實出現的測試者並不是合適的人選,因為他們根本沒有相關的經歷來提供有意義的反饋或見解,即使他們盡了最大努力。次等的測試者會對研究和設計決策產生負面的影響。

篩選調查 (Screening surveys also known as screeners) 是為了收集關於合格測試者經驗資訊的問卷以便:

  1. 快速確認和優先考慮能代表目標受眾的合格候選人
  2. 排除任何有可能不適合您研究的候選人

本文將會討論篩選調查在使用者研究招募過程的重要性以及如何招募他們的策略。

偏差抽樣

首先,對於任何研究,您都希望確保您招募的人能夠代表您的受眾。為了達成這個目標,您需要意識到招募過程可能會偏向某種類型的測試者。

舉例來說,每當您使用遠端測試平台提供測試者的時候,您可能會遇到專業測試者 - 即利用參與不同類型使用者研究測試賺錢的人。雖然這些測試者對於研究來說不一定是不好,但他們的動機可能會導致行為扭曲了研究結果。舉例來說有些人在無指引測試(Unmoderated test)時可能會快速的完成任務或回答問題,而不是以他們具體現實的經歷誠實努力的作答。另一些人甚至可能知道研究員期待什麼結果,並故意加強回應研究的需求。

雖然沒有萬無一失的方法去避開這些專業測試者,但您可以進一步利用篩選調查的回答來確定他們是否合適和誠實來減少這個問題。(例如測試者沒有隨便輸入 ABC 來代替一句有意義的句子)。要知道,篩選調查背後的目的就是減輕審查候選人時的勞力,雖然為了確保合格優質的測試者還是需要付出努力(無論是研究員還是專業的招募人員都是)。

同樣,如果您只依賴您個人的人脈來招募,這些人已經和您多少有些關係,可能不想給出負面反饋。和同事測試也會導致偏差的結果,因為他們可能已經很熟悉專案,組織,甚至不同類型研究的目標。

一般來說,您應該要排除專業的 UX 人員或那些對介面設計感興趣和 UX 相關的從業人員,因為他們對於 UX 問題過於敏感,很有可能他們會提供專家的評論而不是真實使用者的回饋。

即便所有人都是您的目標受眾,您還是需要確保您的研究外部效度(External validity)- 即您的測試者符合目標受眾標準和他們的興趣。例如;某人完全不喜歡運動或健走可能沒有太多動機到戶外用品網站上購物。

如何篩選測試者

1. 定義資格標準

首先您和您的團隊需要為研究定義測試者標準。同時考慮目標受眾的人口組成和他們使用產品的目的(要詳細了解整個過程可以參考免費的PDF)。這些標準將決定您的招募策略和篩選。

如果您使用自動招募平台,小心不要設定無關的排除條件進而限制了您的調查。例如您擔心遇到專業測試人員,然後您加入了一個排除問題 “您上次參加測試是什麼時候?” 您可能會排除過多的參加者,像是他們就只是第二次參加,而且剛好在這個月參加了不同的測試。

同樣,為了招募專業行銷人員,您可以選擇只接受廣告產業或行銷產業的從業人員,然而專業行銷人員並不是廣告業或行銷公司所獨有的,他們可能在非行銷產業的公司(如雜貨店或服裝店)執行該職位的工作。因此接受多個產業然後搭配職位描述中包含“行銷”關鍵字會更有效率。

2. 構建您的篩選問卷

在寫下您的問題時,考慮使用開放式或多選項問題來避免洩漏研究的目標。

舉例來說,Yes No 問題如您有玩過電玩遊戲嗎?就透露出研究可能和電玩遊戲有關。但如果您的問題是:過去 4 週內您曾經從事什麼活動?搭配選項如健行,閱讀,購物,電玩遊戲,那麼意圖就比較不明顯。分散注意力的選項可以讓參加者保持誠實以防止他們對問卷作假。

將最重要的排除標準放在問卷的前面,這樣您就可以快速消除明顯不適合的人,也不會浪費他們的時間。

問卷進行的邏輯可以加快篩選流程,因此考慮挑選一些支援分支功能(如選 A 選項可跳至第 3 題之類的)的問卷工具。

3. 選擇您的招募策略

您可以透過多種不同的方式為您的研究尋找參與者。基於您研究每種方法都有其優點和缺點。另外,您可能希望使用多種方式來招募。

專業招募機構

有很多專業的招募人員,他們的工作就是協助市場或 UX 研究人員找到符合資格的候選人;大多數甚至還會接手一些和最終測試者互動的工作例如安排時間、溝通、給付款項。這些機構通常在招募一般受眾(條件如性別、背景、財務狀況、年齡)方面可以比較廣泛。

對於招募高度專業人員或特定用戶群也特別有用(例如:尋找特定殘疾或有特殊背景背景的人)。他們經常提前審查參加者,參加者不出席的機率很低。因此他們通常比自動化工具或利用現有的使用者群更貴。

自動招募平台

市場上有很多 UX 研究的平台,其中一些支援自動篩選或招募的服務。如果目標是一般受眾,這種方式可能比較好,因爲成本相對低,能夠外包一些招募的工作,而且因為自動化時間相對比較快。然而,使用自動化招聘平台,遇到“專業測試人員”的風險更大,而且有時篩選設定選項(如問卷分支和邏輯功能)會受到工具限制。

既有使用者

許多公司會選擇從既有用戶中招募,並建立一群願意嘗試新功能或參與研究的志工。這種方式非常適合招募對特定產品有經驗的對象或取得針對員工的產品意見。

這種方法成本也較低,因為招募對象已經算半合格條件也沒有其他額外的招募費用。但通常還是要提供參加者一些獎勵或補助。還有建置和維護這些資料,安排時間,協調的工作等成本也是比較低的。一些大型企業甚至有專門內部的研究招募人員 - 協助基於各項研究建置、維護測試者資料。

既有用戶通常僅限於已經熟悉您的品牌和產品的人。這種情況下,將很難得到新用戶的意見。現有的使用者可能存在一些抽樣和確認偏差的問題;他們可能會傾向給出正向的反饋。

線上社群和群組(討論版,或專業社群)

當既有的使用者和自動化平台無法提供所需不同專業程度的參與者時,求助於線上社群和論壇可以篩選出具有特定經驗,背景,興趣的人。與招聘機構或平台相比,這些群組可以讓您以更低的成本滿足專業的招募需求。

雖然可以幫忙找到一群積極的參與者,但影響的範圍也相對小,僅限於群組的成員。而且他們不一定可以代表目標受眾。尤其是當群組中有些共同的觀點或有意見領袖時,很容易產生取樣偏差或團體迷思(Groupthink)。

與參加者溝通和確定資格也需要更多的時間和精力。 如果您決定聯繫群組或社交媒體平台的成員,建議請務必事先徵得群組管理員的許可。

攔截調查 Intercept studies / Hallway recruiting

如果您曾經聽過;請問您是否願意花 5 分鐘參加一項快速的調查嗎?您已經知道什麼是攔截調查了。這類型的調查可以通過虛擬的方式例如在您使用某網站時彈出一個視窗詢問,通過電話語音或在一些公共場合有人直接詢問。非常適合招募訪客、既有客戶、具有特定目標如使用特定功能的參加者。

不幸的是,這些工作非常浪費時間(對於需有人主持或現場對話的情況,無論是否找到參與者,研究人員都必須隨時待命)。根據您需求的特殊性有可能花比預期更多的時間 - 例如,可能很難招募到 100 個有訂閱最新消息的人來進行量化研究。

既有使用者一樣,這種研究(尤其是線上研究)可能會受到抽樣和確認偏差的影響,因為牽扯到客戶已經和品牌互動。

招募方式 範圍 費用 勞力 時間 偏差風險
專業招募機構 樣本廣泛 一般使用者、專業使用者
自動招募平台 樣本廣泛 一般使用者 低-中
現有使用者 樣本受限 既有使用者、資深用戶、員工 中-高
線上社群和群組 樣本受限 專業使用者 中-高
攔截調查 樣本受限 訪客、任務導向的使用者

4. 調整招募策略和篩選調查來吸引合適的參與者

時間很少或高收入的專業人士例如夜班,輪班工人,高階主管、,醫生,律師可能需要更高的獎勵來證明花在個人生活或工作的時間是值得的。他們也不太可能花大量時間填寫冗長的篩選問卷。

5. 如果您正在為研究招募兩種或更多類型的使用者…

您可以嘗試整合所有標準然後只出一份問卷,但需要權衡:

  • 從好的方面說,參加者不需要填寫好幾份問卷,這增加了您取得足夠樣本數量的可能性。
  • 您最終可能得到一個非常複雜的問卷邏輯,或者在候選人填完問卷之後您還是需要手動篩選。

舉例來說,假設您希望招募兩種類型的使用者:_不在技術領域工作的資深用戶_和_在技術領域工作的新手用戶_。您可以利用問卷邏輯分流兩者。或者您可以詢問每一個人是否在技術領域工作,並接著回答是資深用戶或新手用戶的問題;然後看看回覆並檢查是否符合您的需求。

6. 在最後正式核定測試者列表之前審查全部(合格與不符合資格)候選人的問卷

如果您和招募機構合作,可以要求他們提供全部填寫的問卷調查或至少提供那些篩選過的資料。

通過查閱這些問卷結果,您可以確認任何適合研究的申請者,如果有大致上符合條件,但不符合完整標準的目標受眾,您可以考慮將他們列入備選名單。

例如:如果您的目標受眾是有多個小孩的父母,主要照顧的叔叔或阿姨可能就不符合資格,但對於研究來說其實還是可以接受的。或者一些參加者由於選了某個答案已經被選出來了,但其實他們也可以是備選,例如他們可能對問題;您持有什麼手機?選了有 Android 手機的選項,但有可能他們 Android 和 iPhone 兩個都有.

7. 如果您不確定符合資格的測試者是否真的適合研究(例如您的招募條件具有高度針對性)

這種情況可能需要將研究分成兩部分:

  • 15 分鐘篩選面試
  • 30 - 60 分鐘的研究面試

篩選面試有兩個目的:

  1. 評估候選人以進一步確認篩選調查的結果並驗證他們是否適合研究和面試
  2. 透過審查資料(例如同意書,溝通方式,設備邀請,是否已按照應用誠實並完成要求的設定)為主要研究會議準備選定的測試者

8. 最後,通知獲取資格的參與者,開始為研究安排時程。

避免和半合格的候選人安排任何事情,除非您確定要邀請他們參加研究。一旦您承諾了一個缺,要取消預約,就有義務提供補償。

結論

無論您的使用者是誰,您必須要篩選研究對象來確保有效率的使用預算和您的時間。畢竟您的設計決策取決於這些資料。通過招募具有代表性的研究參與者,您的團隊可以減少偏見並建立針對特定用戶需求的體驗。

參考

作者

andyyou(YOU,ZONGYAN)

發表於

2021-11-18

更新於

2023-12-05

許可協議