楽天Webディレクション&デザイン2009: 常に改善、常に前進 変わり続ける楽天市場トップページ！
2009年11月28日(土曜日)
楽天Webディレクション&デザイン2009: 常に改善、常に前進 変わり続ける楽天市場トップページ！
公開: 2009年12月12日23時30分頃
メールマガジンの話の後は、「常に改善、常に前進 変わり続ける楽天市場トップページ！」。楽天市場のトップページを改善してきたお話。
楽天市場トップページ
- トップページ担当: 5名
- 1997年5月開始: 13店舗、売上げ32万円。売上げの半分は三木谷氏購入という噂も……
- 現在は3万店舗、600億円に成長。
- 2008年の注文実績は8900万件、これは0.3秒に1回の購入実績
- トップページのPVは490万/1日、1秒に57回アクセスされている
変遷
- 2005年にはほぼ現在のスタイル
- 細かなチューンナップを繰り返す
- 大幅に変更してしまうと、蓄積されたユーザー学習効果が失われることにより、重要指標への影響リスクが大きい
改善の例
- 商品検索経由の購入転換率が高い
- 検索の利用率が上がれば流通アップ→目立たせたい
- 検索窓を大きく?
- ABテストを実施: 従来ページ90% / テストページ10% (テストパターンの数だけ案分)
注意事項
- 対象の母数を揃える (表示率を揃える)
- 他要素への影響度合いも比較する (検索は良くなったが、他は悪化→×)
- テスト期間やサンプル数を考慮する。期間が短い場合は表示率を上げる
成功事例
検索窓のサイズ
- 検索窓の幅を変更: A.昔のまま / B.幅が広いバージョン
- 結果: B の流通貢献度 +0.36%
- 0.36%は小さく見えるが、半年で13億円の改善。この規模の改善を10箇所で行えば、130億円のプラスとなる
テキストの修正
- A.シューズ / B.靴
- 結果: 「靴」の方がクリック率 +17.5%
- ただし、効果についてはこの項目単独で判断しているのではなく、他の要素のクリック率も考慮している
バナー
- デザイン・モーションの異なるパターンを作成してABテスト
- 半年かけてFlashバナーのスタイルを確立した
- 結果: 動的Flashバナー +0.24%
失敗事例
ジャンル一覧の改善
- ジャンルが探しづらいのでは?
- ジャンルをグルーピング化してアイコン化 → 長期間試したが、従来のものの方が良かった
- オンマウスでサブジャンルをポップアップ → サブジャンルへの移動は増えたが、戻ってくる率が非常に高かった
- そのようなニーズがなかった事が分かった
- とりあえずやってみる、の精神。仮説には限界がある。
- 失敗は成功のもと。失敗を繰り返すことによって成功要因を絞り込める。
- テストは小数でやっているので、リスクは大きくない。
- 事実に勝る根拠はない
テストの落とし穴
- 計算できる馬ハンス : 試験者を変更・目隠しをしてテスト・群衆の中でテストしても正解を出した。出題者らが答えを知らない状態で出題すると……。
- 数字だけを根拠にしていると、根本を疑うことができなくなる
- 結果を疑うことも大事
Q&A
- 全部署・全ページでABテストができているわけではない
- トップページにはサーバサイドのツールを入れている
- ABテスト中に「これは何?」などの問い合わせを受けたことはない。そもそも、それほど悪影響のあるテストはしていないし、おかしいと気付いても問い合わせするほどではないのではないか。
ABテストで結果を出してきたというお話ですね。興味深いのはジャンル一覧の改善が失敗したという話。実際には画面キャプチャつきで説明されていたのですが、ビジュアルつきで分類されたもののほうが明らかに良さそうなのに、それが負けたというのは驚きました。負けっぷりの詳細が分からないので何とも言えませんが、そもそもジャンルはメインで使われていないので目立たせても仕方ない、ということなのかもしれないですね。
- 「楽天Webディレクション&デザイン2009: 常に改善、常に前進 変わり続ける楽天市場トップページ！」にコメントを書く
