図1は、NVIDIA ISAAC ROS Visual SLAMとNvbloxパイプラインの動作と統合を示しています。ここでは、VSLAMが姿勢を推定し、Nvbloxが周囲環境のマップを再構築することで、ロボットの自律航行を実現しています。

NVIDIA Isaac ROS VSLAMは、ステレオ視覚による位置推定とマッピングを同時に行うROS2パッケージです。これは、時刻同期されたステレオ画像ペアを用いてステレオ視覚慣性オドメトリを計算し、Isaac ElbrusのGPUアクセラレーションライブラリを利用します。視覚慣性オドメトリ、最適化、およびマッピングは、Isaac ROS VSLAMを構成する3つの要素です。 視覚オドメトリ（VO）は、カメラの開始点に対する相対位置を推定する技術です。図1に示すVOポーズは、VOによって推定されます。視覚同時位置推定・マッピング（VSLAM）手法は、このVOポーズを基盤として構築されており、ループ閉鎖の検出や、以前に認識された環境の領域を用いてSLAMポーズを推定することで、VOポーズの精度向上を目指しています。 Elbrusは、視覚データに加え、慣性計測装置（IMU）からの計測値も利用できます。照明が不十分だったり、カメラの正面に特徴のない長い面があったりするなど、VOで姿勢を推定できない場合、IMUに切り替わります。図1は、V-SLAMによって推定されたSLAM姿勢を示しています。

NVIDIA Isaac ROS Nvbloxは、カメラ画像から AMR の周囲環境をリアルタイムで 3D 再構築するために使用される ROS2 パッケージです。この再構築結果は、安全なナビゲーション経路を生成するための経路計画アルゴリズムで使用されることを目的としています。 Nvbloxは、この処理を高速化し、リアルタイム動作を可能にするためにNVIDIA CUDAを活用しています。このリポジトリには、NvbloxコアライブラリのROS2統合が含まれています。Nvbloxアルゴリズムは、切り捨て符号付き距離関数（TSDF）、メッシュ、およびユークリッド符号付き距離関数（ESDF）という3つの主要なコンポーネントで構成されています。 Nvbloxは、RGB画像、深度画像、およびSLAMポーズを入力として受け取り、可視化用のメッシュと経路計画用の距離スライスマップを出力します。Nvbloxは、RGB画像と深度画像のストリーム、および深度画像に対応するポーズから、2D距離マップスライスと3Dメッシュを生成します。可視化のために周囲環境の3D再構築に色付けを行うために使用されるRGB画像ストリームは、オプションです。 2D距離マップスライスは、各点と最も近い再構築された障害物との距離、およびRVIZ可視化用の3Dメッシュを表示します。可視化のための周囲環境の3D再構築はオプションです。2D距離マップスライスは、各点と最も近い再構築された障害物との距離に加え、RVIZ可視化用の3Dメッシュを表示します。