Shunya UETA

Software Engineer As Data Scientist

Google, Facebookが提供する機械学習基盤まとめ

Posted at — Apr 9, 2018

Google, Facebookの機械学習基盤情報をまとめました

image

TFX

社内の勉強会でGoogle, Facebookが提供する機械学習基盤に関する論文を紹介したので、その資料を公開します#### 経緯

機械学習をサービスとして提供開始すると、継続的な学習やプロダクション環境での機械学習の提供はモデル構築以外にもいろいろと考える問題が多くなります¹

image

[1] Hidden technical debt in Machine learning systems NIPS’15

要するに機械学習をサービスとして届けるには、実はめちゃんこ大変なんだよという話なんですが、みんな同じ問題にぶち当たります。

そのためプロダクションレディなレベルで機械学習を提供できるプラットフォームを各社が提案しておりその中でもGoogle, Facebookの事例を提供します。

TL; DR;

Google : Tensorflow Expand

TFX: A tensor flow-based production-scale machine learning platform

Facebook : FBLeaner

Applied machine learning at facebook a datacenter infrastructure perspective HPCA18

ONNX を見ていると TensorFlow VS. ONNX 陣営が出来つつありどちらのプラットフォームに乗るかの戦略が大事だなと思います。

Googleはモバイル上のMLから超大規模分散学習までTFシリーズで提供、実際のサービング環境も TFServingというスタックを提供しはじめていて個人的にTensorFlowが何歩も先にいっているという所感

(逆にTensorFlow 一強状態になると、競争状態がなくなるので是非ONNX陣営には頑張ってほしい)

comments powered by Disqus