hurutoriya

機械学習システムの信頼性を数値化する論文「 What’s your ML test score? A rubric for ML production systems」

NIPS206 にて開催された Reliable Machine Learning in the Wild - NIPS 2016 Workshop (2016) という、現実世界でどうやって信頼性の高い機械学習に取り組んでいくかについてのワークショップがある。

ここで Google から発表された What’s your ML test score? A rubric for ML production systems がとても面白く、身になるものが多かったのでメモがてら抄訳を残しておく。

change logs


概略

Introduciton

ML Test Score の計算方法

前提条件

特徴量とデータセット

モデル開発

機械学習インフラストラクチャ

機械学習のためのモニタリング指標


翻訳でもし怪しい部分やもっとこうしたほうが良いというところがあれば、コメントか @hurutoriya までご連絡ください

実際読み込んで見ると、信頼性の高いモデルを届けるための秘訣が山盛りで、流石 Google 内のベストプラクティスをまとめたチェックリストですね 実際に開発している機械学習システムがあれば、この Test Score を当てはめてみてどの程度できているのか計測してみるが良さそう

機械学習エンジニアとして働く自分として、興味のど真ん中にあるようなワークショップだが、2016,2017 年の二回しか開催されておらず、非常に悲しい 逆に言えば、すごく先進的なワークショップでこのワークショップが開催されていたのは凄いことだ

自分が業務を通じて得た経験やベストプラクティスがすでに論文として世の中に公開されているのはすごく経験になるし、経験から学ぶのではなく歴史から学べるようにしていきたい! なので、この Workshop 論文の発展形として、The ML Test Score: A Rubric for ML Production Readiness and Technical Debt Reduction が発表されているので読んでみる

いや、実装寄りの勉強ばかりしていたけど気分転換にこういう知識体系に触れるのすごく楽しい

関連しているかもしれない記事

Support

記事をお読みくださりありがとうございます。 このウェブサイトの運営を支援していただける方を募集しています。 もしよろしければ、Buy Me a Coffee からサポート(投げ銭)していただけると、記事の執筆、情報発信のモチベーションに繋がります✨

--

記事を楽しめましたか? RSSで更新情報を配信しているので、お好きなフィードリーダーで購読してみてください。
また、記事へのリアクションやコメントなどを、以下のGitHub を利用したコメントシステムからしていただけると執筆の励みになります。

#machinelearning #paper #translation #mlops