TU Darmstadt / ULB / TUprints

AI Based Crack Recording and Repair using Autonomous Robot and Bio-Concrete Agent

Xia, Zhongxin (2024)
AI Based Crack Recording and Repair using Autonomous Robot and Bio-Concrete Agent.
Technische Universität Darmstadt
doi: 10.26083/tuprints-00028958
Ph.D. Thesis, Primary publication, Publisher's Version

[img] Text
Xia_Zhongxin_Diss._01.12.2024.pdf
Copyright Information: CC BY-NC-ND 4.0 International - Creative Commons, Attribution NonCommercial, NoDerivs.

Download (60MB)
Item Type: Ph.D. Thesis
Type of entry: Primary publication
Title: AI Based Crack Recording and Repair using Autonomous Robot and Bio-Concrete Agent
Language: English
Referees: Rüppel, Prof. Dr. Uwe ; Koenders, Prof. Dr. Eddie
Date: 23 December 2024
Place of Publication: Darmstadt
Collation: 148 Seiten
Date of oral examination: 26 November 2024
DOI: 10.26083/tuprints-00028958
Abstract:

Concrete is one of the most widely used building materials globally. Concrete cracks, a common occurrence, can result from numerous factors across the life cycle stages of concrete. With time, unrepaired narrow cracks may enlarge and get deeper, undermining the structure. But manual detection and repair of cracks by large concrete structures are both time-consuming and labor-intensive. Especially for narrow cracks, which are easily overlooked and cumbersome to repair using traditional methods. Moreover, the repair agents employed in traditional techniques are not environmentally friendly. A relatively new method for repairing narrow cracks is the use of the environmentally friendly bio-concrete agent Basilisk ER7, which is easy to use and can seal concrete cracks up to 0.6 mm. However, Basilisk ER7 is generally applied by spraying the agent onto the entire concrete surface to ensures the coverage of narrow cracks, it can be quite wasteful of the repair agent. If workers manually inspects for cracks first and then applies the Basilisk ER7 to each crack individually, it could indeed save on the amount of repair agent. But this process requires significant manual effort and attention to accurately identify and treat each crack. This doctoral dissertation demonstrates the development of a compact and low-cost robot named “CrackRepairBot”, specifically designed for repairing narrow cracks drying- and shrinkage cracking and wear on flat concrete surfaces using repair agent Basilisk ER7. Assisted by computer vision techniques such as image segmentation and image processing via OpenCV tool, the robot can swiftly identify cracks, distinguish between narrow and wide ones, and then apply the repair agent exclusively to the narrow cracks. Compared to the common application method using entire area spraying, this feature helps to save the repair agent. Since narrow cracks and wide cracks often occur together, and the repair agent Basilisk ER7 is only suitable for narrow cracks, this work has also developed a automatic recording and visualization system for wide cracks to facilitate engineers to take other methods to repair these wide cracks in the future. The most significant feature of the robotic system developed in this work is the distribution of various functional modules across different edge computing modules, which achieve communication through wired connections. The high-performance single-board computer, acting as the “brain” of the entire system, is primarily used for deploying machine learning model and achieving real-time inference of this model. The inference results from the machine learning model are sent to the robot’s existing single-board computer and microcontroller, which then control the robot’s movements, crack recording and spraying system. The algorithms used in this robot system are based on open-source frameworks. Such a system design ensures that the entire system is not overly dependent on hardware from a specific brand, facilitating the replacement of hardware in the future based on the needs of new application scenarios. In other words, this system design enhances the system’s flexibility and adaptability, allowing for easier upgrades and integration of new edge computing devices as needed without significantly affecting other devices within the network. Moreover, since the high-performance single-board computer takes on the vast majority of the system’s computational demands, the robot and microcontroller can be selected for cost-effective, low-computational versions, thereby reducing the overall development cost of the robot. According to the system design, the robot used in this work is the relatively inexpensive and open-source JetAuto Pro. Jetson Orin Nano uses the results deduced from the image segmentation algorithm YOLOv8 to control the Arduino and Jetson Nano. When the Jetson Orin Nano detects a concrete crack up 0.6 mm wide via 10x zoomable camera, it will send commend to Arduino to open the normally closed solenoid water valve and allow the repair agent to spray onto the crack from a pressurizable water bottle. If the crack’s width exceeds 0.6 mm, the Jetson Orin Nano will issue commands to Jetson Nano via an Ethernet cable, and Jetson Nano will immediately use the camera to take a picture of the wide crack and obtain coordinates from the map through the Robot Operating System (ROS), and then store the coordinates and picture in MongoDB Atlas. The locations of these cracks and their corresponding pictures will be visualized in a Building Information Modeling (BIM) and Geographic Information Systems (GIS) integrated web application based on 3D geospatial platform Cesium. To achieve autonomous navigation, the maps used by robot were converted from IFC (Industry Foundation Classes) model and photo taken by drone. Then, the robot will utilize the LiDAR and the multiple target points set by Python script to comprehensively cover and check the entire ground. The target points set by Python scripts can also be used for route planning during the curing phase of repair agent, allowing the robot to retrace its previous path to spray water for humidity maintenance of cracks. The robot initially performed specific functional tests on cracked concrete samples and indoor floor. Subsequently, comprehensive test was conducted on the concrete surface of a skate park, where all functionalities of the robot operated effectively. However, the best-trained YOLOv8 model occasionally misclassifies certain objects as cracks, and its performance still requires further improvement. This work demonstrates that intelligent robot can assist workers in completing time-consuming and labor-intensive task such as narrow crack repair and wider crack recording, thereby reducing labor costs in construction project. It can be seen that the development of robots in the field of civil engineering has significant application potential. In the future, this work aims to deploy the developed system on drones for crack detection and repair in high-rise buildings. To overcome the limitations in the generalization ability of the YOLOv8 model, more advanced algorithms are planned for use to achieve accurate crack detection.

Alternative Abstract:
Alternative AbstractLanguage

Beton ist eines der weltweit am häufigsten verwendeten Baumaterialien. Betonausrisse, ein häufig auftretendes Phänomen, können durch zahlreiche Faktoren in den verschiedenen Lebenszyklusphasen des Betons verursacht werden. Im Laufe der Zeit können unbehandelte, schmale Risse größer und tiefer werden, was die Struktur gefährdet. Die manuelle Erkennung und Reparatur von Rissen an großen Betonbauwerken ist jedoch sowohl zeitaufwendig als auch arbeitsintensiv. Besonders bei schmalen Rissen, die leicht übersehen werden und deren Reparatur mit herkömmlichen Methoden mühsam ist. Zudem sind die in traditionellen Techniken verwendeten Reparaturmittel nicht umweltfreundlich. Eine relativ neue Methode zur Reparatur schmaler Risse ist die Verwendung des umweltfreundlichen Biobetonmittels Basilisk ER7, das einfach anzuwenden ist und Betonausrisse bis zu 0,6 mm verschließen kann. Basilisk ER7 wird jedoch normalerweise durch Sprühen des Mittels auf die gesamte Betonoberfläche, um die Abdeckung schmaler Risse sicherzustellen, was zu einem hohen Verbrauch des Reparaturmittels führen kann. Wenn Arbeiter Risse manuell inspizieren und dann Basilisk ER7 auf jeden einzelnen Riss spritzen, könnte dies tatsächlich den Verbrauch des Reparaturmittels sparen. Dieser Prozess erfordert jedoch erheblichen manuellen Aufwand und Aufmerksamkeit, um jeden Riss genau zu identifizieren und zu behandeln. Diese Doktorarbeit zeigt die Entwicklung eines kompakten und kostengünstigen Roboters namens „CrackRepairBot“, der speziell dafür entwickelt wurde, schmale Risse, Trocknungs- und Schrumpfrisse sowie Verschleiß auf flachen Betonoberflächen mit dem Reparaturmittel Basilisk ER7 zu reparieren. Unterstützt durch Computer-Vision-Techniken wie Bildsegmentierung und Bildverarbeitung mittels des OpenCV-Tools kann der Roboter Risse schnell erkennen, zwischen schmalen und breiten Rissen unterscheiden und das Reparaturmittel gezielt nur auf die schmalen Risse spritzen. Im Vergleich zur üblichen Anwendungsmethode des Sprühens auf die gesamte Fläche hilft diese Funktion, das Reparaturmittel zu sparen. Da schmale und breite Risse oft zusammen auftreten und das Reparaturmittel Basilisk ER7 nur für schmale Risse geeignet ist, wurde in dieser Arbeit auch ein automatisches Aufzeichnungs- und Visualisierungssystem für breite Risse entwickelt, um Ingenieuren zu ermöglichen, in Zukunft andere Methoden zur Reparatur dieser breiten Risse zu ergreifen. Das wichtigste Merkmal des in dieser Arbeit entwickelten robotischen Systems ist die Verteilung verschiedener Funktionsmodule auf verschiedene Edge-Computing Module, die über kabelgebundene Verbindungen kommunizieren. Der leistungsstarke Einplatinencomputer, der als „Gehirn“ des gesamten Systems fungiert, wird hauptsächlich zur Bereitstellung des maschinellen Lernmodells und zur Echtzeit-Inferenz dieses Modells verwendet. Die Inferenz-Ergebnisse des maschinellen Lernmodells werden an den vorhandenen Einplatinencomputer und Mikrocontroller des Roboters gesendet, die dann die Bewegungen des Roboters, die Rissaufzeichnung und das Sprühsystem steuern. Die in diesem Robotersystem verwendeten Algorithmen basieren auf Open-Source-Frameworks. Ein solches Systemdesign stellt sicher, dass das gesamte System nicht übermäßig von Hardware einer bestimmten Marke abhängig ist, was den Austausch der Hardware in Zukunft je nach Bedarf neuer Anwendungsszenarien erleichtert. Mit anderen Worten, dieses Systemdesign erhöht die Flexibilität und Anpassungsfähigkeit des Systems, sodass neue Edge-Computing Geräte nach Bedarf leichter integriert und aufgerüstet werden können, ohne andere Geräte im Netzwerk wesentlich zu beeinträchtigen. Da der leistungsstarke Einplatinencomputer den Großteil der Rechenanforderungen des Systems übernimmt, können der Roboter und der Mikrocontroller in kostengünstigen, rechenarmen Versionen ausgewählt werden, was die Gesamtkosten für die Roboterentwicklung senkt. Der in dieser Arbeit verwendete Roboter ist gemäß dem Systemdesign der relativ kostengünstige und Open-Source JetAuto Pro. Jetson Orin Nano verwendet die Ergebnisse des Bildsegmentierungsalgorithmus YOLOv8, um Arduino und Jetson Nano zu steuern. Wenn Jetson Orin Nano über eine 10-fach zoombare Kamera einen Betonausriss von bis zu 0,6 mm Breite erkennt, sendet es einen Befehl an Arduino, das normalerweise geschlossene Magnetventil zu öffnen und das Reparaturmittel aus einer druckbeaufschlagbaren Wasserflasche auf den Riss zu sprühen. Überschreitet die Breite des Risses 0,6 mm, erteilt Jetson Orin Nano über ein Ethernet-Kabel Befehle an Jetson Nano, das sofort die Kamera verwendet, um ein Bild des breiten Risses aufzunehmen und über das Robot Operating System (ROS) Koordinaten aus der Karte zu erhalten, um diese Koordinaten und das Bild in MongoDB Atlas zu speichern. Die Positionen dieser Risse und ihre entsprechenden Bilder werden in einer integrierten Webanwendung für Building Information Modeling (BIM) und Geographic Information Systems (GIS) auf der Basis der 3D-Geoplattform Cesium visualisiert. Um eine autonome Navigation zu erreichen, wurden die vom Roboter verwendeten Karten aus dem IFC (Industry Foundation Classes) Modell und mit einer Drohne aufgenommenen Fotos konvertiert. Anschließend nutzt der Roboter das LiDAR und die durch Python-Skripte gesetzten Mehrfachzielpunkte, um den gesamten Boden umfassend zu überprüfen. Die durch Python-Skripte gesetzten Zielpunkte können auch für die Routenplanung während der Aushärtungsphase des Reparaturmittels verwendet werden, sodass der Roboter seinen vorherigen Weg erneut verfolgt, um Wasser zur Feuchtigkeitswartung der Risse zu sprühen. Der Roboter führte zunächst spezifische Funktionstests an rissigen Betonen und auf dem Boden in Innenräumen durch. Anschließend wurde ein umfassender Test auf der Betonoberfläche eines Skateparks durchgeführt, bei dem alle Funktionen des Roboters effektiv arbeiteten. Das am besten trainierte YOLOv8-Modell klassifiziert jedoch gelegentlich bestimmte Objekte fälschlicherweise als Risse, und seine Leistung muss noch weiter verbessert werden. Diese Arbeit zeigt, dass intelligente Roboter Arbeiter bei der Durchführung von zeitaufwendigen und arbeitsintensiven Aufgaben wie der Reparatur schmaler Risse und der Erfassung breiterer Risse unterstützen können, wodurch die Arbeitskosten bei Bauprojekten gesenkt werden. Es zeigt sich, dass die Entwicklung von Robotern im Bereich des Bauingenieurwesens großes Anwendungspotenzial hat. In Zukunft zielt diese Arbeit darauf ab, das entwickelte System auf Drohnen für die Risserkennung und -reparatur in Hochhäusern einzusetzen. Um die Einschränkungen der Verallgemeinerungsfähigkeit des YOLOv8-Modells zu überwinden, ist geplant, fortschrittlichere Algorithmen zu verwenden, um eine genaue Risserkennung zu erreichen.

German
Status: Publisher's Version
URN: urn:nbn:de:tuda-tuprints-289582
Classification DDC: 000 Generalities, computers, information > 004 Computer science
600 Technology, medicine, applied sciences > 620 Engineering and machine engineering
600 Technology, medicine, applied sciences > 690 Building and construction
Divisions: 13 Department of Civil and Environmental Engineering Sciences > Institute of Numerical Methods and Informatics in Civil Engineering
Date Deposited: 23 Dec 2024 10:04
Last Modified: 23 Dec 2024 10:05
URI: https://tuprints.ulb.tu-darmstadt.de/id/eprint/28958
PPN:
Export:
Actions (login required)
View Item View Item