Pythonの関数のデフォルト引数はmutable(上書きされる)


例えば以下のように、デフォルト引数で初期化を行い、文字列を追加する関数があるとする。 def append_to(values=[]): values.append("Hoge") return values 期待する振る舞いとしては。 In [14]: def append_to(values=[]): ...: values.append("Hoge") ...: return values ...: In [17]: append_to() Out[17]: ['Hoge'] In [18]: append_to() Out[18]: ['Hoge'] と関数呼び出しごとに、values は空のリストに初期化されるので上記のように返っ…
Read more ⟶

[抄訳]: The ML Test Score: A Rubric for ML Production Readiness and Technical Debt Reduction


[抄訳] What’s your ML test score? A rubric for ML production systemsで紹介した論文の続編があったので読んでみました。 注意)この翻訳記事は原著論文の著者陣からレビューはされていません Shunya Ueta, are providing a translation and abridgment, which has not been reviewed by the authors. Change log 2021/02/03 ML Test Score を簡単に計算できるGoogle Spread…
Read more ⟶

[抄訳] What’s your ML test score? A rubric for ML production systems


NIPS206にて開催された Reliable Machine Learning in the Wild - NIPS 2016 Workshop (2016) という、現実世界でどうやって信頼性の高い機械学習に取り組んでいくかについてのワークショップがある ここで Google から発表された What’s your ML test score? A rubric for ML production systems がとても面白く、身になるものが多かったの…
Read more ⟶

CourseraでHow Google does Machine Learning の講義を修了した


Coursera でHow Google does Machine Learning の講義を修了した Certificate はこちら 7割が、機械学習プロジェクトの始め方、実際のハマりどころなどがGoogle 内の実例などに基づいて語られていて面白かった。 特に、 Secret Sourse ML Sutprise の部分が、アンチパターンや成功方法などが語られていて実際に実務…
Read more ⟶

Getting Started with Google Kubernetes Engine の講義を修了した


表題のとおりですが、Getting Started with Google Kubernetes Engine という Coursera の講義を終了しました 業務で k8s を本格的に使い始め、ちゃんと理解したいな~と思いこのコースを取りました。 半年前に Kubernetes完全ガイド impress top gearシリーズ をサラッと読んではいたのですが…
Read more ⟶

pandas.read_gbq を使わずに、Google BigQueryから高速にData ETL


pandas.read_gbq 便利ですよね。 クレデンシャルファイルを認証画面からコピペすれば Jupyter 上でさっと動き、Google Big Query が実行されてその結果がそのままデータフレームとして扱えます。 Jupyter と Google BQ を連携させたいときはいつも使っています 問題点 そこそこ大きなデータを持ってこ…
Read more ⟶

Tensorboard を わずか2行で Jupyter Notebook上で表示


Pytorch 1.2 からは公式に Tensorboard がサポートされている Tensorboard とは、学習の状況を可視化できる TensorFlow Family の一種 Jupyte Notebook 上で学習状況を確認したい場合に Tensorboard をそのまま表示して確認できれば楽なので、試してみる sample code: https://pytorch.org/docs/stable/tensorboard.html import torch import torchvision from torch.utils.tensorboard import SummaryWriter from torchvision import datasets, transforms # Writer will output to ./runs/ directory by default writer = SummaryWriter() transform = transforms.Compose([transforms.ToTensor(), transforms.Normalize((0.5,), (0.5,))]) trainset = datasets.MNIST('mnist_train', train=True,…
Read more ⟶

How to connect the Google Compute Engine via Visual Studio Code


1. Generate SSH config file using gcloud command line gcloud compute config-ssh https://cloud.google.com/sdk/gcloud/reference/compute/config-ssh You cant get ssh config for your Google Compute Engine project! Notice: you need choose target GCP project before run below command. gcloud config set project <your-project-id> 2. Install Remote SSH extention in Visual Studio Code. https://code.visualstudio.com/blogs/2019/07/25/remote-ssh 3. Press ⇧⌘P & Select target connection in Visual Studio Code! Finaly you can connect in Visual Studio Code. Welcome to VS code when you write the code in SSH connection. …
Read more ⟶

ビジネスでインパクトが出せるデータサイエンティストになるには


@pseudo_finite さんから 「ビジネスでインパクトが出せるデータサイエンティストになるためには」 をご恵贈していただいたので、感想をここに記します。 批評 1. データサイエンティストが力を発揮する場 データサイエンティストとして成果を発揮するには、事業ドメイン・そして…
Read more ⟶

How to concat image using skimage


When you need to concat same size image to make figure. skimage & numpy combination is too powerfull to concat images. This is sample script. from skimage import data, io import numpy as np img = skimage.data.astronaut() imgs= [img for i in range(10)] skimage.io.imsave("sample_h.png",np.hstack(imgs)) skimage.io.imsave("sample_v.png",np.vstack(imgs)) After that you can get below images. Via Gist: https://gist.github.com/hurutoriya/fedf059ad3db5c67b16d8d5dd6d3df70…
Read more ⟶