こんにちは、
id:chris4403 です。
2014/5/29、はてな京都オフィス8FのセミナールームでDevLove関西「ユーザテストLive! 見学会 in KYOTO - 『あなたは"ユーザーテスト"を見たことありますか？』」が開催されました。
「アジャイル・ユーザービリティ」や「ユーザビリティエンジニアリング」の著者として有名な樽本徹也さんを話し手としてお迎えし、実際にユーザーテストを行って、その様子を参加者で見学するという内容。
最初に30分ほど、樽本さんによるユーザーテストに関するプレゼンテーションがありました（以下の資料は、別の会場で行った勉強会の資料ですが、当日の資料もほぼ同じ内容でした）。
その後、2名の被験者の方に対して1名ずつ、アプリケーションを利用したユーザーテストを行いました。今回、会場提供がはてなだったこともあり、ユーザーテストの対象アプリケーションとして、はてながリリースしているニュースアプリ「Presso」を利用しました。
事前に樽本さんとPressoのディレクションを担当した 
id:moret が打合わせを行い、ユーザーテストで利用するタスクとインタビューガイドを策定しました。本エントリの最後に付記していますので、タスクやインタビューガイドの作成の際に参考にしていただければと思います。
ユーザーテスト実施
はてなのセミナールームの後方には、昼寝スペースとしても有名な畳スペースがあります。 ユーザーテストはその畳スペースで行い、テストの様子を樽本さんお手製の書画カメラで撮影して、SkypeのビデオチャットでプレゼンスペースのPCに転送し、プロジェクタで大画面に映しました。テストの音声はワイヤレスマイクで拾って勉強会会場で聞こえるようにしました。Skypeの画質やラグ、マイクが拾う音声の大きさの問題がいくつかありましたが、中継は概ねうまくいったと思います。
肝心のテストでは、アプリ提供事業者としては色々と参考になる情報を得ることができました。 また、ユーザーテストを実施する様子を生で観察して、テストを実施する際のモデレーターの重要性がよくわかりました。テスト中に被験者が発する「なるほど」「えーと」「あれっ」といった声をひろって、「今何をされようとしていました？」といったフォローを入れ、被験者の頭の中の思考を言葉として出してもらうことで、より多くの気づきを得ることができます。当日モデレーターをされていた樽本さんは、さすがという感じで、被験者から多くの情報を引き出していました。
今回のテストは、実際のユーザーテストの前のパイロットテストという位置づけで、テストのタスクが正しく設定されているか（確認したいと思ったところが確認できるか）のテストになります。このパイロットテストで得られた知見をそのままアプリ開発にフィードバックするのはやめておいたほうが良い（被験者が少なく、偏りがあるので）というアドバイスもいただきましたが、気付きの多いテストとなりました。
勉強会 at はてな
はてなのセミナールームでは、今回の勉強会以外にも、4月と5月に以下のような勉強会が開催されています。 - DevLove関西 「自動テストの誤解とアンチパターン」 - Kyoto.なんか(仮)
また、6月4日（水）には、GitHub勉強会 in Kyoto も開催予定です。
今後も定期的に勉強会を開催していく予定ですので、興味をひかれる内容だと思ったときはぜひご参加ください。
Pressoユーザーテスト インタビューガイド
最後に、ユーザーテストのために作成したインタビューガイドを公開します。 このテキストを元に、樽本さんが被験者へテストを行いました。 今回のユーザーテストではPressoの基本動作部分を使ってもらうという狙いのもとにタスクを設計しました。また、それぞれのタスクについて特に注意して観察したいポイントを事前にまとめて置くことでテスト時に被験者の行動を見落としにくくしています。
事前インタビュー（5分）
Q1. 「差し支えのない範囲で結構ですので、自己紹介をお願いします。」
Q2. 「普段の通勤手段と所要時間を教えて下さい。」
Q3. 「スマホ用のニュースアプリはご利用になっていますか？ どういったニュースアプリ（Gunosy、Smartnews、Vingowなど）を利用されていますか。一番よく使うのは、どれですか？差し支えなければ、そのアプリを見せていただけませんか？ 」（※書画カメラのポジションを調整する。端末の持ち方を指示する。）
Q4. 「そのニュースアプリをどういったタイミングで立ちあげますか？（朝起きて、電車の中で、昼休み）」
Q5. 「はてなブックマークを使っていますか？ いつ頃から？」
事前説明（1分）
「これから、私どもが用意した端末でニュースアプリを使っていただきます。XXさんには、普段、ご自身の端末をお使いになるのと同じような気持ちで操作を行っていただきたいと思います。」
「今日、私たちがテストするのはアプリそのものであって、決してXXさんではありません。ですから、もし操作を失敗しても、気になさらないでください。」
「それから、出来れば、端末を操作しながら、思ったことを口に出していただけると、とても参考になります。しゃべりながらスマホを使ってみてください。特に、これから何をしようとしているのか、なぜそうしようと思うのか、を私に教えてください。」
「インタビューの途中でご質問いただいても結構ですが、今日はユーザの方がお一人で操作なさるときに、どのように振舞われるのかに興味を持っておりますので、その場では質問にお答えできないかもしれません。決して、XXさんの質問を無視したり、話を聞いていなかった訳ではありません。事前にご了承ください。」
シナリオ提示（1分）
「XXさんは『Presso』というニュースアプリをご存知ですか？」
知っている場合==> 知っている内容を簡単に確認したうえで情報提示シートを見せる。
知らない場合==> 情報提示シートを見せる。
「仮に、XXさんはPressoに興味を持って、ちょうど今、こちらの端末にPressoをインストールしたばかりの状態だとします。」
タスク1：ジャンルのフォロー、記事を読む （7分）
「Pressoでどんなニュースがどのように読めるのか、試してください。制限時間は5分間です。」
（タスク終了後）「今、試してみた感想は？」
＜観察ポイント＞
最初にフィード選択する時にすんなり3つ選べるか
フィードの切り替えに気づいているか
この時点でアプリへの食い付きはどういう感じか
フィード選択後に記事をザッピングする時にどういった顔つきになるか
読みたい記事はありそうか
タスク2：フィードの追加、カスタマイズ（7分）
「今度はPressoをもっと自分好みにカスタマイズすることにします。XXさんならば、どのようにカスタマイズしたいですか？――XXさんが興味のある分野は何ですか？ その中で、（もう少し小さい範囲で）特に興味のあることは何ですか？――そのようなニュースが読めるようにしてください。そして、実際にそれらのニュースを読んでみてください。」
＜観察ポイント＞
フィードの追加に興味をしめすか
フィードの追加をどのページからするか観察
探したいタグを簡単に検索、フォローできるか
フィードを探す画面でプレビューしているか（プレビューは必要そうか）
[ ジャンル | タグ ]のタブUIの切り替えはできているか
観察ポイント: 最近注目のタグに興味をしめすか
タスク3：フィード編集（3分）
「これまでに登録したフィードの中から、あまり興味のない分野を１つ削除してください。また、もっと見やすくなるようにフィードの順番を入れ替えてください。」
＜観察ポイント＞
削除UIに簡単にたどり着けるか
フィードの並び替えは行うか
タスク4：記事のシェア（1-2分）
「これまでに読んだ記事の中から、1本選んでTwitterへシェアしてください。」
==>TWFBアカウント情報（ダミー）提示。ただし、FB設定前にタスクを止める。
Twitterアカウント
＜観察ポイント＞
シェアボタンに気づくか
事後インタビュー（5分）
「これで、テストは終わりです。最後に、もう少しお話を聞かせてください。」
「今日、Pressoを使っていただきましたが、今の率直な感想をお知らせください。（ポジティブ｜ネガティブ）」
「XXさんは、これからも引き続きPressoを使ってみようと思いますか？ その理由は？」
「XXさんは、Pressoを他の人に薦めようと思いますか、0～10の数字でお答えください。 その理由は？」
App Store から無料でダウンロード
「Presso by はてなブックマーク」は、App Storeから無料でダウンロードできます。どうぞご利用ください。
