セマンティックセグメンテーションで廊下を床検出してみた

鶴田です。M2になりました。今年度もよろしくおねがいします。

今回はセマンティックセグメンテーションで大学の廊下の床検出をやってみたので、その話をします。 セマンティックセグメンテーションとは、画像をピクセルごとに何の領域かを判断してクラスわけをする手法のことを指します。 ニューラルネットワークを用いた画像の分類手法なので、当然機械学習によってモデルを作っていくことになります。 今回は、画像のピクセルが床かそれ以外かを判断するモデルの獲得を目指します。 まずは、学習に使うデータセットの作成をしなければなりません。 手作業でデータセットを作っていくのは大変ですので、ZED2というステレオカメラを使って、床の検出を行うことで教師データの作成をしました。

よくみると、セグメンテーションがかなり雑な教師データになってしまっていますが...。とりあえず学習してみましょう! 学習には、Segmentation Models Pytorchを使いました。 サンプルコードもあって、扱いやすいです。

サンプルコードの画像の入力部分を修正したり、エンコーダを変更したりと、いい感じにカスタマイズして、学習してみると...。

それなりにうまくセグメンテーションしてくれるようになりました。