機械学習ジョブ用にML のContainer Runtime | Snowflake Documentation を使っているとここ最近、表題の
Session ended due to unreachable container.
が出てきて、そっとコンテナが落ちてジョブが止まり非常に体験が悪い。 そして、すべてのセルのキャッシュが消えるので、セルの実行がすべてやり直しになる。南無…
詳細なエラーはわからんが、現状確認できているのは、
- Snowflake notebookだと、SQLのcellの結果をそのまま to_pandas でDataframe にできるで紹介したようにnotebook内でＳＱＬを実行しているがＥＴＬするSQLの行数が200万行を超えると、このエラーが発生する
- 秘孔を突いてしまったのか、特定のPython スクリプトを実行するとこのエラーが発生する。計３時間くらいはトラブルシューティングに費やしたが、あれ、これローカルでやったらどうなるんやろとやってみたら何の問題もなく実行されて、ボーアバグ！！！となりました。
あとSnowflakeですが、BigQueryに比べるとSQLのエラーがめちゃくちゃ不親切。どの行でエラーが出ているのか教えてくれないのはなぜ？？？教えてくれ！！！ あと書いている最中に、パーサーが走って、それはエラーになるよと赤線で教えてくれるBigQueryは賢すぎたんだなと今思っています。
結論: 現状、Snowflake Notebookは本腰を入れて使うものではない… これはプロダクションでは使い物にならない