【PyTorch】DataParallelを使った並列GPU化の躓きどころ
今回はPyTorchを使って並列GPU化するときに実際に躓いたところの説明と解決方法を整理します。なお、ここに書く内容はちゃんとドキュメントなどを調べたものではなくて経験則的ものですので、正確な理解が必要な方は別途公式ドキュメントなどで調査することをお勧めします。
石川県でロードバイクとか機械学習をやっています。
今回はPyTorchを使って並列GPU化するときに実際に躓いたところの説明と解決方法を整理します。なお、ここに書く内容はちゃんとドキュメントなどを調べたものではなくて経験則的ものですので、正確な理解が必要な方は別途公式ドキュメントなどで調査することをお勧めします。
前回は、人工的に生成した正常/異常画像を用いて動作確認ついでにデモとして結果を掲載しました。人工的なデータなので綺麗な結果が出るのは当然ですので、今回はより実践に近いデータでやってみたいと思います。
GANを用いた画像データの異常検知をやってみました。今回はまずは動作確認の意味合いも兼ねて人工的に生成した画像データでデモをやってみました。
今回はSSDでの物体検出をやってみました。知識として知っているのと実装したことがあるというはかなり差があると思いますので,ちゃんとデータを用意して,推論用の画像は自分で実際に撮影してみて,より実務的な目的で使用できるかを検証してみました。
大手企業からベンチャー企業に転職して3ヶ月が経ちました。ある程度想定していたことではありますが,ベンチャーで働くということは大手とはかなり異なるところがあるなと思いますので,そのギャップについて思いつくままにかいてみました。
機械学習のお勉強が好きなだけの人を採用してしまうと、思った以上に周囲の人はストレスに感じてしまうことがあるということを、実体験をもとに書いてみました。
Twitterで久しぶりに感情的になって人に絡んでしまったのですが,そのときのことを振り返ってみると「人の意見を批判する」ってのは思った以上に難しい技術なんだろうなということとか,色々と得られたことがあったので整理してみました。
海洋物理で使用するデータを用いてDeep Learningで遊んでみました。今回は簡単に海面高度/水温から中規模程度の鉛直プロファイルの変化を再現できるかという観点でやってみました。
PyTorchでDeep Learningを実装する際に,データを入力する箇所がネットワーク内に複数ある場合の実装方法についてです。①モデル/②DataLoaderの作り方/③DataLoaderの使い方を順に確認していった後に,最後にまとめて全体のソースを記載しておきます。
Pythonで地図の等高線を描こうとしたときに,なぜか等高線だけが表示されないという問題がありました。その原因がなかなか分かりづらかったので備忘録として記事にしておきます。