Die Erkundung ist ein wichtiger Aspekt der autonomen Navigation in der Robotik. Simultane Lokalisierung und Kartierung (SLAM) ist eine grundlegende Technik, die es Robotern ermöglicht, unbekannte Umgebungen zu navigieren und zu kartieren. Visual Simultaneous Localization and Mapping oder Visual SLAM (VSLAM) ist eine spezielle Art von SLAM, die es Robotern ermöglicht, ihre Umgebung zu kartieren und ihre eigene Position, d. h. die Odometrie, in Echtzeit mithilfe visueller Eingaben von Kameras zu schätzen. Diese Technik ist in verschiedenen Anwendungen weit verbreitet, darunter Mars-Rover, Mars-Helikopter, Bodenroboter, Unterwasserroboter und Staubsaugerroboter. Es wurde untersucht, wie gut die Time-of-Flight (ToF)-Kamera mit RTAB-Map für die autonome Navigation von autonomen mobilen Robotern (AMR) funktioniert, die nur Tiefenbilder verwenden. Die ToF-Kamera nimmt sowohl Infrarot- (IR) als auch Tiefenbilder auf. Das Tiefenbild wird verwendet, um eine 3D-Punktwolke zu erstellen. Die 3D-Punktwolke und die Rad-Odometrie werden von RTAB-Map verwendet, um eine korrigierte Odometrie und eine 2D-Belegungsraster-Karte für die autonome Navigation von AMR auszugeben.
Die ToF-Kamera ist eine Tiefenkamera von Analog Devices, die auf dem TOF-Signalprozessor ADSD3100 basiert. Sie bietet Unterstützung für die Datenverarbeitung auf der Embedded-Prozessor-Plattform sowie eine USB-, Ethernet- oder Wi-Fi-Verbindung zu einem Host-Computer. Die ToF-Kamera ist für den Einsatz in Industrie-, Automobil- und Verbraucheranwendungen konzipiert. Sie verwendet eine Flugzeitmethode, um die Entfernung zu Objekten in der Szene zu berechnen, wodurch sie genaue Tiefenkarten erstellen kann. Die ToF-Kamera liefert sowohl Infrarot- (IR) als auch Tiefenbilder und ist in Abbildung 1 abgebildet.
Real-Time Appearance-Based Mapping (RTAB-Map) ist eine graphbasierte SLAM-Technik. RTAB-Map beinhaltet einen auf dem Erscheinungsbild basierenden Ansatz zur Erkennung von Schleifenschlüssen und einen Ansatz zur Speicherverwaltung, um eine groß angelegte und langfristige Online-Kartierung zu ermöglichen. Die Odometrie, d. h. die Pose des AMR, ist eine externe Eingabe für RTAB-Map. Daher kann jede Art von Odometrie, die für eine bestimmte Anwendung geeignet ist, verwendet werden, einschließlich Rad-Odometrie, visuelle Odometrie und ICP-Odometrie. Vier verschiedene Eingabekonfigurationen können mit RTAB-Map verwendet werden:
In Abbildung 2 sind die verschiedenen Blöcke von RTAB-Map dargestellt. Eine 3D-Punktwolke und Odometrie sind die Eingaben, die RTAB-Map für unseren Anwendungsfall verwendet. Zusätzlich benötigt es zwei Eingangstransformationen: odom to base_link transform und base_link to camera_link transform. RTAB-Map gibt die Transformation von Karte zu Odom, die 2D-Belegungsraster-Karte und die korrigierte Odometrie aus. Der RTAB-Map-Knoten besteht aus den folgenden Blöcken: Synchronisierung, Kurzzeitspeicher (STM), Langzeitspeicher (LTM), Schleifenschluss und Näherungserkennung, Graphenoptimierung und globale Kartenzusammenstellung.
Die gesamte Pipeline für die Durchführung der autonomen AMR-Navigation unter Verwendung von rtabmap, ToF-Kamera und fusionierter Rad-IMU-Odometrie ist in Abbildung 3 dargestellt. Die fusionierte Rad-IMU-Odometrie wird durch Verschmelzen von Rad-Encoder-Daten und IMU-Daten mit Hilfe eines erweiterten Kalman-Filters erhalten, um eine robuste Odometrie zu erhalten. Wie wir sehen können, gibt es sieben Knotenpunkte: ToF-Kamera-Knoten, image_proc-Knoten, Punktwolken-Knoten, rtabmap-Knoten, Rad-IMU-fusionierter Odometrie-Knoten, Nav2-Knoten und Rviz-Knoten. Im nächsten Abschnitt wird die Funktionalität dieser Knoten erläutert.
Der erste Knoten in der Pipeline ist der ToF-Kameraknoten, der sowohl IR- als auch Tiefenbilder aufnimmt. Die erfassten Bilder werden dann durch den image_proc-Knoten entzerrt, um tangentiale und radiale Verzerrungen zu beseitigen. Die entzerrten IR-Bilder werden für die Visualisierung in Rviz verwendet. Der Punktwolkenknoten erzeugt 3D-Punktwolken aus entzerrten Tiefenbildern. Der Knoten wheel-IMU fused odometry schätzt die Odometrie des AMR anhand von Rad-Encodern und IMU-Daten. Der rtabmap-Knoten verwendet die fusionierte Rad-IMU-Odometrie und die generierte Punktwolke, um die 2D-Belegungsraster-Karte und die korrigierte Odometrie (d. h. die Pose) zu erstellen. Ein Nav2-Knoten verwendet die generierte Occupancy Grid Map und die Odometrie, um eine Costmap zu erstellen, die für die Pfadplanung und die autonome Navigation des AMR verwendet wird. Der Rviz-Knoten schließlich dient als Visualisierungstool zur Anzeige des IR-Bildes, der Odometrie und der Belegungsraster-Karte. Er ermöglicht auch die Einstellung der Zielposition für den AMR. Insgesamt kombiniert die Pipeline verschiedene Sensoren und Knotenpunkte, um die autonome Navigation des AMR zu ermöglichen.
Abbildung 3 zeigt den AMR, was er durch die an ihm angebrachte Realsense-Kamera sieht, und die daraus resultierende 3D-Punktwolkenkarte als Netz. Abbildung 4 zeigt die erstellte Karte mit dem vorgegebenen Zielzustand, dem geplanten Weg und dem AMR, der den Zielzustand sicher erreicht, indem er dem geplanten Weg folgt.
Außerdem zeigt die mit dem entzerrten Tiefenbild der ToF-Kamera erzeugte Punktwolke flache Oberflächen in der realen Welt als gekrümmte Oberflächen in der Punktwolke an. Daher ist eine Nachbearbeitung erforderlich, um dieses Problem zu lösen. Abbildung 6 zeigt die Karte des Belegungsrasters vor und nach der Filterung der Punktwolke. Die blauen Linien in diesem Fenster bezeichnen die geschätzte Odometrie des AMR.
Abbildung 6 Das linke Fenster zeigt die Belegungsraster-Karte vor der Punktwolkenfilterung, während das rechte Fenster die Belegungsraster-Karte nach der Punktwolkenfilterung zeigt. Die blauen Linien in beiden Fenstern kennzeichnen die geschätzte Odometrie des AMR.
Abbildung 7 veranschaulicht die verschiedenen Phasen des autonomen Navigationsprozesses. Die erste Abbildung auf der linken Seite zeigt die generierte Karte mit der aktuellen Position des AMR. Die Karte wird vom rtabmap-Knoten unter Verwendung der Rad-IMU-Fusions-Odometrie und der Punktwolke erstellt. In der zweiten Abbildung in der Mitte ist die Zielposition mit dem geplanten Pfad dargestellt. Sobald die Zielposition in Rviz festgelegt ist, plant der Nav2-Knoten einen Pfad unter Verwendung der Kostenkarte, die aus der Karte des Belegungsrasters und der Odometrie-Position erstellt wurde. Der geplante Weg wird in Rviz zur Visualisierung angezeigt. Schließlich zeigt die dritte Abbildung auf der rechten Seite, dass der AMR den Zielzustand erreicht hat. Sobald der Pfad geplant ist, verwendet der AMR die korrigierte Odometrie-Pose und die Kostenkarte, um zur Zielposition zu navigieren. Der AMR aktualisiert kontinuierlich seine Position mit Hilfe der fusionierten Odometrie und der Karte des Belegungsrasters und passt seine Flugbahn an, um dem geplanten Pfad zu folgen. Wenn der AMR die Zielposition erreicht, hält er an, und der Navigationsprozess ist abgeschlossen.
Die ToF-Kamera wurde in RTAB-Map und Nav2-Stack integriert, um den AMR in einer Laborumgebung autonom zu navigieren. Bei der Verwendung von ToF mit RTAB-Map für die autonome Navigation von AMR gab es verschiedene Herausforderungen. Die von ToF gelieferten IR- und Tiefenbilder müssen entzerrt werden, da ein unkorrigiertes Tiefenbild zu einer ungenauen Karte führen kann. Wir beobachteten, dass flache Objekte in der Punktwolke gekrümmt aussahen, was durch Nachbearbeitung der Punktwolke behoben werden konnte. Es ist notwendig, die Punktwolke zu filtern, bevor sie an RTAB-Map übergeben wird. Parallel dazu erstellte AMR die Karte und lokalisierte seine Position in der Karte für eine sichere Navigation mit Hilfe des Tiefenbildes von ToF und dem RTAB-Map-Algorithmus. Wir sahen auch die erfolgreiche autonome Navigation des AMR mit der ToF-Kamera und RTAB-Map. Wir gehen davon aus, dass die Ergebnisse unserer Experimente den Einsatz von ToF für eine Reihe von kommerziellen Robotersystemen beschleunigen werden.
Vereinbaren Sie eine 30-minütige Beratung mit unseren Experten für Automobil-Lösungen.
Vereinbaren Sie eine 30-minütige Beratung mit unserem Experten für Batteriemanagementlösungen.
Vereinbaren Sie eine 30-minütige Beratung mit unseren Expertenfür Industrie- und Energielösungen.
Vereinbaren Sie eine 30-minütige Beratung mit unseren Experten.
