La figure 1 illustre le fonctionnement et l'intégration du pipeline NVIDIA ISAAC ROS Visual SLAM et Nvblox. Ici, le VSLAM estime les poses et Nvblox reconstruit la carte de l'environnement environnant pour la navigation autonome du robot.

NVIDIA Isaac ROS VSLAMest un package ROS2 qui effectue simultanément la localisation et la cartographie visuelles stéréo. Il calcule l'odométrie visuelle stéréo inertielle à l'aide d'une paire d'images stéréo synchronisées dans le temps et utilise la bibliothèque accélérée par GPU Isaac Elbrus. L'odométrie visuelle inertielle, l'optimisation et la cartographie sont les trois composants d'Isaac ROS VSLAM. L'odométrie visuelle (VO) est une technique permettant d'estimer la position de la caméra par rapport à son point de départ. La pose VO illustrée àla figure 1est estimée par VO. La méthode de localisation et de cartographie visuelles simultanées (VSLAM) s'appuie sur la pose VO et vise à améliorer la qualité des poses VO grâce à la détection de boucles fermées et à l'estimation des poses SLAM à l'aide de parties de l'environnement déjà observées. En plus des données visuelles, Elbrus peut utiliser les mesures d'une unité de mesure inertielle (IMU). Lorsque la VO ne parvient pas à estimer une pose, par exemple en cas de mauvais éclairage ou de longue surface sans relief devant la caméra, elle passe à l'IMU.La figure 1montre les poses SLAM estimées par V-SLAM.

NVIDIA Isaac ROS Nvbloxest un package ROS2 utilisé pour la reconstruction 3D en temps réel de l'environnement autour d'un robot mobile autonome (AMR) à partir d'images de caméra. La reconstruction est destinée à être utilisée par les planificateurs d'itinéraires pour générer un itinéraire de navigation sûr. Nvblox utilise NVIDIA CUDA pour accélérer ce processus et permettre un fonctionnement en temps réel. Ce référentiel contient l'intégration ROS2 pour la bibliothèque principale Nvblox. L'algorithme Nvblox comprend trois composants clés : la fonction de distance signée tronquée (TSDF), le maillage et la fonction de distance signée euclidienne (ESDF). Nvblox utilise une image RVB, une image de profondeur et une pose SLAM comme entrées et génère des maillages pour la visualisation, ainsi qu'une carte de distance par tranches pour la planification de trajectoire. Nvblox génère une carte de distance 2D par tranches et un maillage 3D à partir d'un flux d'images RVB et de profondeur et de la pose correspondante de l'image de profondeur. Le flux d'images RVB, qui est utilisé pour colorer la reconstruction 3D de l'environnement environnant à des fins de visualisation, est facultatif. La tranche de carte de distance 2D montre la distance entre chaque point et l'obstacle reconstruit le plus proche, ainsi qu'un maillage 3D pour la visualisation RVIZ. La reconstruction 3D de l'environnement environnant à des fins de visualisation est facultative. La tranche de carte de distance 2D affiche la distance entre chaque point et l'obstacle reconstruit le plus proche, ainsi qu'un maillage 3D pour la visualisation RVIZ.