システムの応答速度は本質的な価値提供であることを示す A/B テストの実例

内容 システム提供において、基本的に高速であればあるほど顧客は嬉しいものだが、実際のところ高速なシステムを提供して、どの程度の価値が発生するのかが気になったので、調べてみた。 2021/08/14 追記 A/Bテスト実践ガイド 真のデータドリブンへ至る信用できる実験とは の書籍で同様な事例が紹介されているとのこと。情報提供ありがとうございます。 実務でA/Bテストに向き合った人間であれば必ず一度は考えたことのあるトピックについて、アメリカのテックカンパニー(Airbnb, Google, LinkedInなど)勤務の著者らが国際会議で発表された研究もちゃんと引用して見解を述べており説得力がある。 従って、現時点における最高レベルの意思決定をデータ(A/Bテスト)に基づいて行いたいと思うなら、一度は目を通しておくべきであり関係者必携だと思う。 ※個人的には”Webサービスのレイテンシーと利益の関係(5章や”多くのスピード問題”の節)”がお気に入りで、サイトのレイテンシー改善がいかに収益に貢献し得るか、つまりCodeの実行速度というエンジニアのアウトプットがダイレクトに収益に貢献できるか?をデータに基づいてきちんと測っているのが印象的で興味深かった内容でした。 Amazon review Three Challenges in Building Industrial-Scale Recommender Systems” - Keynote for ORSUM@RecSys’20 3rd Workshop on Online Recommender Systems and User Modeling でのkeynote session で発表された内容 講演者は Sebastian Schelter さんという方で、アカデミックもインダストリーもどちらもバリバリにこなしている人だった。日本だとこういう経歴の人ってかなり珍しい気がするので、やはり層が厚い ふと@hagino3000 さんのツイートが印象に残っていたので、記録のためにこちらに。1年くらい前のやり取りだけど、印象に残っていて今回この記事を書いたきっかけでもある。 推薦システムのレイテンシが15msと32msで差が出るかA/B Testしたって。推薦結果は同じで片方はあえて遅らせたって事だよな、はじめて聴く実験だ。15msの方がrevenueが良かったとの事。 twitter 公開されている動画はこちら Three Challenges in Building Industrial-Scale Recommender Systems” - Keynote for ORSUM@RecSys’20 19,20枚目のスライド 要約すると、 既存の研究では、検索エンジン上で人工的に応答速度を遅らせた際にネガティブな影響が発生した。...

August 13, 2021 Â· Shunya Ueta