カメラを増やして見える世界

こんにちは、B4の柴田です。 だいぶ前の記事で単眼カメラを使ったSLAMを動かしたのですが。前方の形状取得にもう少し精度が欲しかったのでステレオカメラを使ってみようということになりました。

そこで利用したのがSTEREOLABS社のZED2というステレオカメラ。

このカメラではVisual inertial SLAMによる自己位置推定と、ステレオマッチング用のニューラルネットワークを用いた深度推定を行っています。

（上）走行経路、（下）自己位置推定

左から前方の景色、三次元形状、二次元に変換した形状。

かなりの精度で取得できている感じ。

深層強化学習モデルに入力し走行を行ったところ、適切にwaypointを設定することで安定した走行をすることができました。

単色の壁に対する深度推定。

ただ、単色の壁などでは深度推定が不安定になってしまうこともあり、汎用的な走行にはもう少し課題が残りそうです。

それでは今回はこの辺で、良いお年を～