最新情報をお届けします！
LINEのPMが実践するMixed methodsとは？ 定性調査、定量分析の長所を結び付け、より早く、深く、正確に問題に対する理解を目指す。そんな調査方法、Mixed methodsが役に立った実例を公開。LINEのチャット関連機能の企画・改善を担当するPM、藤原麻耶さんが解説してくれた。
※2021年10月26日に開催された【Product Manager Conference 2021】より、LINE株式会社プロダクトマネージャー藤原麻耶さんのセッションをピックアップ。書き起こし形式で編集したものをお届けします。
>>>［関連記事］「UXリサーチ」に関する記事一覧はこちら
今日は定性調査と定量分析をミックスする「Mixed methods」活用事例と有効性についてお話ししたいと思います。
まず私の自己紹介ですが、LINEアプリのチャット関連機能の企画、改善を担当している藤原麻耶と申します。2018年にUXデザイナーとしてLINEに入社し、2020年にLINE企画室に異動して、プロダクトマネージャーとして働いています。
UXデザイナー時代からUXリサーチ、ユーザーインタビューが大好きで、定性調査が得意なほうのPMだと思っています。
まず、Mixed methodsとは何か。
定性調査と定量分析、それぞれの長所を結び付けた調査設計方法です。そうすることで、より早く、深く、正確に問題を理解できます。
たとえば、
・ユーザーインタビューでインサイトを発見。どれくらい一般的か、定量的なアンケートで確認する
・定量分析で出てきたユーザー行動が、どのような背景で起きているか、インタビューで確認する
・アンケートで「A」と答えたユーザーを抽出し、そのユーザーの行動ログを分析する
こういった定性・定量を結びつけたリサーチが、Mixed methodsの実例になるかと思います。
こう聞くと「やったことがある」という方も多いのではないでしょうか。さらに体系的に学ぶことで、定量・定性の違いが深く理解でき、効率的にミックスできます。そのために社内のメンバーたちと、この本を読んだのですが、すごくおすすめです。
とくに深く（定量分析と定性調査について）比較されていて。「定量分析は演繹的思考」で「定性調査は帰納的思考」など、背景に踏み込んでおり、理解を深め、有効な勉強ができる本だと思います。
ただ、今日はこの本の内容を掘り下げるのではなく、どのようにチームとプロジェクトにMixed methodsが良い影響が与えたか、実例をもとにお話したいと思います。
まず、私と「Mixed methods」の出会いです。
LINEにおけるプロジェクトチームの構成はPM、開発、デザインに加え、データサイエンティストがジョインすることも多くあります。
私のチームにも、“つよつよ”のデータサイエンティストがいて、雑談をしていました。その時に「最近、Mixed methodsの本が話題になっていますね」「おもしろそうなので読んでみようかな」と話をしたら「せっかくだから読書会しませんか」と言ってもらえて。かなり食い気味で「やりましょう！」と言いました（笑）
じつは「データに詳しい勢といろいろ話をし、コラボレーションを深めるチャンスだ」と思って。すごく嬉しかったことを覚えています。
いま現在、読書会は終わったものの、その後も週一度は集まり、雑談や学習をしており、社内外の勉強会など一緒に企画する時間になっています。
こういったプロセスを経て…さっそく結論なのですが、私が考えるMixed methodsがもたらす有効性は「あきらめず、本質的な価値をチームで追求するために便利な共通言語」だと思っています。
主にはデータ抽出、リサーチを得意とするメンバー間の話になりますが、Mixed methodsを取り入れる前は、
▼Mixed methodsを取り入れる前
定性調査 → プロジェクト前段階でユーザーニーズを確認する
定量分析 → プロジェクトが終わってリリース後の効果測定の時に行う
このような感じで、目的も、ペースも分断され、それぞれの調査でわからないところを諦めていました。
LINE特有かもしれませんが、プライバシーの問題などからデータが取れない、取ってはいけない部分も多い。「定量分析はここまでが限界」「それは仕方がない」というケースも、あるあるでした。
ただ、Mixed methodsを共通言語として持った後は、
▼Mixed methodsを取り入れたあと
・定性と定量、その両方で「ここ、調べてもらえますか？」とパスを送り合える
・手段を選ばず、一つの目的のためにチームで課題や価値を追求し、新たな結論にたどり着ける
・チーム開発の楽しさを最大化できる
これらが実現できる、いいツールだなと思っています。
では次に、Mixed methodsが役立った事例を紹介します。
先に断っておくと、途中からMixed methodsの考え方が合流したプロジェクト例で、「トークフォルダー」機能についてご紹介します。
こちら、LINEユーザーの方なら誰でも使えるのですが、
▼ ホームタブ
▼ 設定メニュー
▼ LINE Labs
▼ トークフォルダー ※トグルボタンを押す
これで使えるようになる機能です（2021年12月現在）
「LINE Labsは、いわば実験の場として使っているプラットフォームで、ボトムアップのプロジェクトや、まだユーザーニーズが確定しないものなどを提供してユーザーのフィードバックを集めています。はじめに基準を決めており、そこをクリアしたら全体に公開。クリアしなかったらクローズする、トークフォルダーはその1つの機能です」と藤原さん。
私たちがこの機能で解決したかったのは、「LINEをアクティブに使えば使うほど、トークリストの未読メッセージ管理が難しくなる」という状態の解消です。
特にヘビーユーザーだと「未読999+」と未読が溜まってしまう。これが起きると、本当に大切な友だち、家族との新着メッセージが埋もれてしまう。ここを解決したいと思いました。
そこで、カテゴリーごとにトークが振り分けられればと、優先度の高い大切な友だち、グループのメッセージに早くアクセスし、メッセージが確認できる。ここを目指した機能です。
少し細かい仕様を説明すると、まず［すべて］は、それまで通り「フォルダを使わない状態」と全く同じ見え方です。たとえば、トークタブから一定時間離れても［すべて］から新着メッセージが確認しやすくなる仕様となっています。
では、このプロジェクトを、どう進行したか。
Episode1）（リリース後の）定量分析で効果検証
Episode2）定性調査の実施
Episode3）さらなる定量分析
と、3つのステップで進みました。順を追って見ていければと思います。
Episode1「定量分析で効果検証」では、プロジェクト初期段階で想定していたKPIや検証項目に沿って、“つよつよ”のデータサイエンスチームに分析をお願いしました。
もともとの想定は、
ユーザーは［友だち］［グループ］のフォルダーでメッセージを確認するようになるだろう
と考えていたのですが、フタをあけてみると、
フォルダ別メッセージ確認数で見ると［すべて］が85%を占める
という結果になり、まったくの想定外でした。
［すべて］は「トークフォルダー無し」と全く同じ状態なので、そもそもフォルダー分けする必要あったのか？ といったネガティブな結果になってしまったのです。
さらに、この「トークフォルダー機能」をそのまま正式リリースすると、LINE公式アカウントなどの法人向けビジネスに対する悪影響を与える可能性も見えました。果たして、そこまでのリスクを取ってやるか。
この2点の疑問が投げかけられ、社内の意見も、結果も、ネガティブ。正式リリースのための基準も達成できず、クローズが視野に入る流れになってしまいました。
ただ、他にも気になるデータがありました。
いま現在の数字（2021年11月時点）ですので、分析段階とはまた違うのですが、「機能ONしてるユーザー」が約600万ユーザーほどいてものすごく多い。台湾に限っていえば、10%近いユーザーが、この機能をONしてくれています。
LINE Labsそのものが、意図的に探さなければ、使えない場所にあり、基本はアーリーアダプター向け。LINE Labsで提供する他機能と比較しても、10%はかなり高い数字でした。
さらに、LINE上の「友だち数」が多い人ほど、この機能を使い続ける傾向に。当初、想定していた「大量のメッセージを受け取る」課題を抱えがちなターゲットユーザーには受け入れられているデータも、同時に見えてきたのです。
さらに、SNSでの反響がとても良いことも特徴でした。
たとえば、
「肝心なトークが何処にいったか探せなくて未読も999+とかなっててLINE見るのも嫌になってたけど、トークフォルダ機能オンにしたら友だちと公式アカウント分かれたし、めっちゃ見やすくて快適になった」
といった、まさにほしかった声をいただくこともできました。
このEpisode1における、定量分析での効果検証の結論としては、
・［すべて］でメッセージを確認するユーザーが圧倒的に多い（この機能に価値はない？）
・ただ、機能ONにするユーザーは多い＆想定した課題を持つユーザーは使い続けてくれる
この相反するデータが手に入れることができました。
じつはここから、Mixed methodsが合流してきます。
まず「定量分析」が苦手な分野として、
・なぜ、その行動が起きたのかわからない
・抽出の軸は仮説に基づいており、見つけたいデータの立証に役立つが、自分たちが気づいていない部分は見つけにくい
ということ。ここを踏まえると、やはりまだ謎が残ります。
・ユーザーは何を期待して機能をONにした？
・使った結果、期待通りだった？
・利用意向は高そうなのに、［すべて］タップが多いのはなぜ？
これらの謎が解けていないのに、結論を出すのはまだ早い。相反するユーザー行動の「なぜ」を特定するために、定性調査をすることになりました。
そして、Episode2へと進むことになります。
定性調査は、台湾・タイ・日本ユーザー18名を対象に実施し、「使い続けている人」はもちろん「使うことをやめた人」の意見も得ていきました。
まず「何を期待していたか？」に関しては、
・トークルームが整理整頓できる
・［友だち］と［LINE公式アカウント］を分けて管理できる
という声が得られました。このあたりは意図通りだったところです。
次に「使って期待通りだったか？」に関しては、
・「期待通りだった」が大多数
・「期待と違った」という人は「移動が面倒なので、結局［すべて］しか開いていない」という回答。「［友だち］［グループ］フォルダーをデフォルトで開いていたい」「最後に開いたフォルダーを次にアクセスしたときも開きたい」という要望も。
こういった結果が得られました。そこから生まれた新たな仮説は、
ユーザーは自分の任意のフォルダを開いておきたいと思っているが、［すべて］に戻る仕様が、その行動を制限している
と、解釈ができました。
そして、先ほどの相反するデータに戻るのですが、
・［すべて］でメッセージを確認するユーザーが圧倒的に多い（この機能に価値はない？）
・ただ、機能ONにするユーザーは多い＆想定した課題を持つユーザーは使い続けてくれる
後者に関しては、「大切なトークを見逃さない」という価値を実際に感じてくれて、意図に沿った利用をしてくれていることがわかりました。
そして、問題の前者ですが、「ユーザーが望んで取っている行動ではない」ことが確認されました。要するに、半ば強制的に［すべて］に戻らされるので、仕方なく［すべて］でメッセージを確認している。この仕様を変更すれば、大きくデータが変わる可能性があるわけです。［すべて］しか使わない行動は、UIと仕様によって誘導されたもので、それが定性調査によって認識できました。
一見、シンプルな仕様の話なのですが、なぜ、もっと早くこの結論にたどり着けなかったか。それは、［すべて］しか使わない＝機能に価値がない、と結び付けてしまっていたからだと思います。
さらにもう1つ、定性調査をやろうと思ったビジネスサイドからの意見をご紹介します。
そもそも、この機能はビジネス的にもネガティブな影響が懸念されていました。ただ、法人向け事業のビジネスサイドの人から、
「とてもいい機能だと思う。短期的にビジネス目線で課題があっても、ユーザーの使いやすさを追求することは、最終的にビジネスにも絶対ポジティブに働く。関係者への説得は俺がやるから、何とかその価値を証明して欲しい」
と、すごいイケメンなコメントをもらって。「これは何とかしないといけないな」と、思いを新たにしました。
こういった背景もあり、Mixed methodsの考え方が合流し、定量分析では足りない部分を深掘り、全体像を確認する方向性に舵を切ることができました。
そして、「さらなる定量分析」のステージへと入っていきます。最後に「この機能には価値があります！」と言い切れる指標がどうしてもほしいと考えていました。
定性調査の結果を見る限り、必要とされている確信はありました。ただ、どうしたら計測ができるのか。
わかりやすいのは、
「トークフォルダー」が使われると「未読999＋」のような未読バッチカウントが減る
というもの。ただ、そもそも未読バッチカウントはデータとして取得しておらず、すぐに検証できる状態ではありませんでした。
また、未読メッセージは、メッセージの中身を確認せずとも「スワイプ既読」できてしまうので、その数が減ることは本質的ではありません。メッセージを読んで、リアクションし、コミュニケーションが生まれてこそ価値がある。なので、たとえ未読バッチカウントが減っていたとしても「この機能には価値がある」と言い切れない部分でした。
他にもいろいろな指標が考えられるため、チームでさまざまな議論をしました。そのなかで出てきたのが、トークフォルダー機能でメッセージが管理でき、大事なメッセージを見逃さなくなると何が起きるのか。単純にコミュニケーションが増えそうだ、と導き出すことができました。結果、ここがブレイクスルーになりました。
そもそも私たちのミッションは、ユーザーにより楽しく便利なコミュニケーションを提供すること。そのためにペインポイントを拾って機能を企画しました。いろいろな指標に溺れ、失いかけていた一番大切なものを思い出せた瞬間でした。
ここから、LINEのチャットの最も大きな価値である「メッセージ送信数を見てみよう」という話になりました。
当たり前ですが、メッセージは受け取るだけではダメですよね。
送信し、受け取った側が返し、コミュニケーションのキャッチボールが生まれます。ですので、自分からの送信数はすごく重要な指標。より楽しく、便利なコミュニケーションを実現すれば、メッセージの送信数は増えていく、と考えられます。
ただ、もし、ここがダメだったら、もう弁解の余地がなくなってしまう。「…この数字、本当に見ちゃいますか？」と話をしたのを覚えています。まさに「背水の陣」でした。
そして、再び“つよつよ”の方に分析をお願いし、見てもらったデータは、
ヘビーユーザーにおけるトークフォルダー利用開始2ヶ月でのメッセージ送信数の変化率
でした。結果としては、
日本・台湾 ＋3%
タイ ＋4%
という数字になりました。この数字に関して、高いのか、低いのか。小さな数字にも思えるのですが、データサイエンティストから、事実に基づくこういったコメントをもらうことができました。
「メッセージは、そもそも理由があって送るものであり、私たちは“理由”を提供するわけではない。UIの変更により、メッセージ数が有意に増えたり、減ったりすることは前例として非常に少ない。今回、このメッセージ数が有意に増えたことにはすごく価値がある」
こうして、
トークフォルダー機能は、ヘビーユーザー向けにLINEの本質的な価値、コミュニケーション量を増やす機能である
と、私自身がいい切れるようになりました。ここはすごく大きな成果だったと思っています。この結論を持つことで「機能をキープし、さらなる改善を検討していこう」と議論が大きくシフトするきっかけになりました。
この最後のステップは、KPIの再設計を通し、機能の本質的な価値の再定義・再確認ができたと思っています。
今回のケースは、Episode1で分析を完了し、クローズを検討してもおかしくありませんでした。
ただ、Mixed methodsが後押しをしてくれたおかげで「定量分析で取れていないところを深堀し、全体像を理解しよう」とチーム全体で進むことができました。
ここで冒頭にご紹介した、私が考えるMixed methodsがもたらす有効性を再掲します。
あきらめず、本質的な価値をチームで追求するために便利な共通言語
ポイントは「あきらめず」と「新たな結論にたどり着ける」にあります。パスを送り合い、新たな地にみんなで行けた。ここにすごく大きな価値がありました。
1つの課題に対し、「どうしようか」「これがいいんじゃないか」「この手法はどうか」と多くの会話も生まれた。そこから、私自身「チーム開発って楽しい」「一人じゃなくてみんなで課題に向かうのが楽しい」と感じられたことも、有効性だと思っています。
というわけで、本編はここまでとなります。
ここからは、おまけです。「自分のチームでも、今からMixed methodsを取り入れたい」という方に対し、おすすめステップをご紹介します。
プロダクトを開発するとき、一人ひとりの知識を共通言語化して「みんなの知識」にできればチームとして強いですよね。そこでMixed methodsの話題を媒介とし、定量が得意な人、定性が得意な人、それぞれの知識を共通言語化していくのがいいと思います。
そのやり方は、UXリサーチャーの野澤紘子さんがnoteで紹介しており、すごくわかりやすいので、ぜひ参考にしていただければと思います。
また、私がやってよかったのは、過去のプロジェクトでMixed methods的な事例はあるか、みんなで共有していくこともおすすめです。プロジェクトごとに定性、定量、どう見てきたか。何が最適か、話を深めていくとおもしろいと思います。ぜひ参考にしてみていただければと思います。
（おわり）
編集 ＝ 白石勝也
4月から新社会人となるみなさんに、仕事にとって大切なこと、役立つ体験談などをお届けします。どんなに活躍している人もはじめはみんな新人。新たなスタートラインに立つ時、壁にぶつかったとき、ぜひこれらの記事を参考にしてみてください！
経営者たちの「現在に至るまでの困難＝ハードシングス」をテーマにした連載特集。HARD THINGS STORY（リーダーたちの迷いと決断）と題し、経営者たちが経験したさまざまな壁、困難、そして試練に迫ります。
Notionナシでは生きられない！そんなNotionを愛する人々、チームのケースをお届け。
