Entwicklung einer effizienten Echtzeit 3D-Rekonstruktion auf dem NVIDIA Jetson Nano. - Ilmenau. - 72 Seiten
Technische Universität Ilmenau, Masterarbeit 2022
Im Rahmen dieser Arbeit wurde eine 3D-Rekonstruktion in Echtzeit auf dem NVIDIA Jetson Nano Kit realisiert. Der Begriff 3D-Rekonstruktion bedeutet, dass 3D-Bilddaten mit Hilfe von zwei Kameras und 3D-Bildverarbeitungsalgorithmen gewonnen werden können. Die Einsatzgebiete dieser Technologie sind vielfältig. Dazu gehören bspw. autonomes Fahren, Fertigungsprozesse und Industrieroboter. Dieses Ziel ist jedoch nicht einfach zu erreichen, da Bildverarbeitungsalgorithmen aufgrund der hohen Bilderfassungsrate einen großen Verbrauch an Prozessorressourcen erfordern. Dies erhöht die Belastung des Prozessors und erschwert die Ausführung von Anwendungen, die Echtzeitberechnungen erfordern. Eine mögliche Lösung für dieses Problem liegt in der Verwendung eines zusätzlichen Prozessors, der den Hauptprozessor bei zeitaufwändigen Rechenaufgaben wie Fließkommaoperationen, Grafik-Funktionen sowie Signalverarbeitung unterstützt und entlastet. Heutzutage gibt es viele Hardwareplattformen auf dem Markt, unter anderem GPU, FPGA und ASIC. Jede Hardwareplattform hat ihre eigenen Eigenschaften, Vorteile und Einsatzgebiete. Zur Realisierung eines passiven Stereosystems wurde in dieser Arbeit das NVIDIA Jetson Nano Entwicklerkit verwendet, das einen Quad-Core-ARM A57 CPU sowie einen NVIDIA Grafikprozessor GPU enthält. Auf diesem Kit wurde der Semi-Global Matching Algorithmus ausgeführt. Die Implementierungsschritte wurden zwischen der CPU und der GPU aufgeteilt, um Berechnungen in Echtzeit durchzuführen. Nach der Implementierung wurde die Laufzeiten des Gesamtsystems (Bildeinzug bis Tiefenkartenberechnung) für die Bildauflösung von 1280 px × 720 px und für einen Disparitätsbereiche von 256 px, 128 px und 64 px mit 4 und 8 Pfadrichtungen ermittelt. Das Gesamtsystems erreicht bspw. eine Laufzeit von 230,98 ms für einen Disparitätsbereich von 128 px und 4 Pfaden. Wird die Bildauflösung auf 640 px × 480 px reduziert, wird hingegen eine Latenzzeit von 98 ms erreicht. Aufgrund der geringen Leistung und des geringen Speicherplatzes des Jetson Nano Moduls, können keine Tiefenkarten für eine Bildauflösung von 1280 px × 720 px und einem Disparitätsbereich von 256 px mit 8 Pfaden berechnet werden. Um eine einfache Steuerung des Stereosystems zu ermöglichen, wurde eine grafische Benutzeroberfläche erstellt. Neben den Ergebnissen werden auch Faktoren diskutiert, die die Genauigkeit des entwickelten Stereokamerasystems negativ beeinflussten. Um die Effizienz des Systems mit dem Stand der Technik zu vergleichen, wurde der SGM Algorithmus von Hernandez-Juarez et al. auf dem Jetson Nano Modul umgesetzt. Hierbei ist die Laufzeit auf dem Jetson Nano Entwicklungskit 3,77 ms langsamer, als die in der Veröffentlichung.
Messunsicherheitsbestimmung für das Dunkelsignal von Leuchtdichtemesskameras unter Verwendung der Monte-Carlo-Methode und verschiedener Regressionsmodelle. - Ilmenau. - 92 Seiten
Technische Universität Ilmenau, Bachelorarbeit 2022
Ziel der vorliegenden Bachelorarbeit war es, die Messunsicherheit für das Dunkelsignal von Leuchtdichtemesskameras zu bestimmen. Dafür wurde zunächst das Verhalten des Dunkelsignals in Abhängigkeit von Integrationszeit und Kameratemperatur untersucht. Anschließend wurden mit Hilfe von verschiedenen mathematischen Modellen Formeln zur Vorhersage des Dunkelsignals, in Abhängigkeit von Integrationszeit und Kameratemperatur, hergeleitet. Ausgehend von diesen Modellgleichungen sind Messunsicherheitsanalysen für die Dunkelsignalbestimmung erstellt wurden. Dafür wurden zunächst die Unsicherheiten der Einflussgrößen, die in den Modellgleichungen verwendet werden, genau analysiert. Außerdem wurden für die Analyse der Messunsicherheit des Dunkelsignals vollständige GUM-konforme Messunsicherheitbudgets erstellt. Abschließend wurde die Qualität der Ergebnisse abgeschätzt. Dafür wurde die Differenz zwischen Dunkelsignal-Vorhersage und Dunkelsignal-Messung sowie die erzielte Nachweisgrenze betrachtet. Für das Dunkelsignal, in Abhängigkeit von Integrationszeit und Kameratemperatur, wurden drei Modellgleichungen hergeleitet. Dabei zeigt eine Modellgleichung eine exponentielle Temperaturabhängigkeit, während die anderen beiden die Messwerte mit Polynomen 2. Grades beschreiben. In einer der Polynom-Modellgleichungen wurden außerdem normierte Kameratemperaturen verwendet, um die entstehenden Unsicherheiten des Dunkelsignals zu minimieren. Die Unsicherheit des vorhergesagten Dunkelsignals wurde dabei auf unter 1% für alle Integrationszeiten und Kameratemperaturen im festgelegten Arbeitsbereich gesenkt. Außerdem wurde unter Verwendung der normierten Polynomfunktion zur Vorhersage und Korrektur des Dunkelsignals eine Nachweisgrenze von 0,21% des Messbereichsendwertes für alle Integrationszeiten und Kameratemperaturen im festgelegten Arbeitsbereich unterschritten.
Technische Universität Ilmenau, Bachelorarbeit 2022
Im Rahmen dieser Arbeit wurde eine Software zum Aufnehmen und Auswerten von Messungen in Anlehnung an den EMVA Standard 1288 Release 4.0 Linear in Matlab App Designer umgesetzt. Als Basis diente dabei eine bestehende Software in Matlab GUIDE, die dem EMVA Standard 1288 Release 3.1 entspricht. Zur Verifikation der Funktionsfähigkeit wurden mit drei verschiedenen Kameras Messungen in beiden Programmversionen aufgenommen und die Vergleichbarkeit der Ergebnisse nachvollzogen. Die Unterschiede zwischen den Versionen des EMVA Standard 1288 Release 3.1 und Release 4.0 Linear wurden herausgearbeitet und sowohl theoretisch als auch in den praktischen Ergebnissen dargestellt.
Die Inbetriebnahme und Optimierung eines Stereosensors auf Zeilenkamerabasis. - Ilmenau. - 97 Seiten
Technische Universität Ilmenau, Masterarbeit 2022
In Zeiten, in denen der Druck bezüglich hoher Effizienz und Effektivität steigt, und daher Automatisierung ein wichtiges Thema ist, sind auch die steigenden Qualitätsanforderungen ein entscheidender Faktor. Dementsprechend gilt es kostengünstige und effiziente Systeme zur Erfüllung und Überwachung der Qualitätsanforderungen zu entwickeln und zu nutzen. Üblicherweise werden hierbei optische Messsysteme eingesetzt. Diese Arbeit baut auf zwei Vorprojekte auf, die sich mit der Dimensionierung und Auslegung einer triangulationsbasierten Standardstereoanordnung eines Zeilenkamerasystems beschäftigen. Es gilt den Aufbau des Systems zu optimieren. Grundvoraussetzung für Optimierungsmaßnahmen sind die Funktionsfähigkeit und die Kalibrierung des Systems. Bereits aus dem letzten Vorprojekt sind Schwachstellen der triangulationsbasierten Standardstereoanordnung eines Zeilenkamerasystems bekannt. Daher ist die Zielsetzung dieser Arbeit, die einzelnen Komponenten zu charakterisieren und hinsichtlich möglicher Schwachstellen und deren Einfluss auf die Messgenauigkeit zu bewerten. Mögliche Schwachstellen betreffen die Kameras, den Laser und sowohl die thermische als auch die mechanische Stabilität des Systems. Daher werden unterschiedliche Aspekte analysiert: das thermische Verhalten, die intrinsischen Parameter der Zeilenkameras und des Lasers sowie die extrinsischen Parameter der Kameras. Bei den Untersuchungen zeigt sich, dass eine thermische Instabilität ausgeschlossen werden kann, allerdings die mechanische Stabilität erheblich eingeschränkt ist. Weiterhin zeigt die Analyse der Kameras, dass die intrinsischen Parameter keine Herausforderung darstellen. Die Untersuchungen des Lasers zeigen, dass dieser erhebliche Inhomogenitäten aufweist. Dabei sind die Inhomogenitäten sowohl zeitlich als auch örtlich reproduzierbar. Die Analyse der extrinsischen Parameter der Kameras ergibt, dass eine Fehlausrichtung vorliegt. Auf Basis der identifizierten Schwachstellen werden Verbesserungsmaßnahmen durchgeführt, die in weiterführenden Arbeiten optimiert werden sollten.
Entwicklung eines multifunktionalen Kalibrierungstools für einen Roboter mit Multikamerasystem. - Ilmenau. - 45 Seiten
Technische Universität Ilmenau, Masterarbeit 2022
Das Hand-Auge-System des Roboters ist dabei ein sehr wichtiger Bestandteil. In der Produktion unterstützen Hand-Auge-Systeme die Roboter bei Aufgaben wie Montage und Schweißen. In der Logistik können sie auch Robotern beim Sortieren und bei anderen Aufgaben helfen. Damit Roboter hochpräzise Hand-Augen-Systeme verwenden können, ist die Kalibrierung der Hand-Augen-Systeme eine wesentliche Aufgabe. Die Kalibrierung des Hand-Augen-Systems des Roboters war jedoch schon immer eine komplexe Aufgabe. Diese Arbeit basiert auf dem ROS und entwickelt ein Programm mit einer grafischen Benutzeroberfläche für eine einfache Hand-Augen-Kalibrierung auf der rqt-Plattform, wobei der UR10-Roboter als Ziel verwendet wird. Vor dem Hintergrund dieser Arbeit werden zunächst die grundlegenden Prinzipien der Kamerakalibrierung vorgestellt. Die kamerainterne Referenzkalibrierung ist eine Voraussetzung für die Kalibrierung mit den Augen und die Durchführung der Kamerakalibrierung. Anschließend werden die grundlegenden Komponenten des Hand-Augen-Systems beschrieben und zwei gängige Hand-Augen-Systeme, Auge in der Hand und Auge zur Hand, vorgestellt. Außerdem werden drei Algorithmen zur Hand-Augen-Kalibrierung beschrieben und in das Programm implementiert. Der Rahmen von ROS und seine Kommunikationsmechanismen werden unmittelbar danach beschrieben. Die in der Simulationsumgebung von ROS verwendeten Programme, Werkzeuge und Pakete werden beschrieben. Um die Güte der drei Hand-Augen-Kalibrierungsalgorithmen zu überprüfen, wurden Simulationsexperimente auf der Grundlage von ROS durchgeführt. Anschließend werden Simulationsexperimente zu den Faktoren durchgeführt, die die Schätzung der externen Parameter beeinflussen. Die grundlegenden Eigenschaften von rqt werden beschrieben und verschiedene rqt-Plug-ins, die mit ROS geliefert werden und in dieser Arbeit verwendet werden, werden vorgestellt. Schließlich werden die Schlussfolgerungen aus den Simulationsexperimenten für die Entwicklung des Kalibrierungsverfahrens verwendet. Insgesamt wurden fünf benutzerdefinierte rqt-Plug-ins entwickelt. Dabei handelt es sich um einen Parameter-Manager, einen Motion Boundary Adder, einen Motionsplaner, einen Bildauswähler und einen Optimierer für Kalibrierungsergebnisse. Wenn diese Plug-ins zusammenarbeiten, kann die Hand-Auge-Kalibrierung schnell und innerhalb weniger Minuten abgeschlossen werden.
Intelligente Segmentierung von Objektstrukturen in der industriellen Qualitätssicherung. - Ilmenau. - 104 Seiten
Technische Universität Ilmenau, Masterarbeit 2022
Die Technik der Computer-Vision hat sich in den letzten Jahren schnell weiterentwickelt und ist in vielen Aspekten zur erfolgreichen Anwendung gelangt, beispielsweise auf industriellem Gebiet. Zum besseren Verstehen eines Bildes trägt immer die auf Deep-Learning basierende intelligente Segmentierung als ein wichtiger Bestandteil der Computer-Vision bei. Deswegen ist es sinnvoll, die intelligente Segmentierung mit industriellen Anforderungen an die Qualitätssicherung zu verbinden, zum Beispiel bei der Oberflächendefekterkennung eines Produktes, um eine automatische Erkennung von Fehlerstrukturen zu ermöglichen. Das Ziel dieser Arbeit ist es, eine intelligente Segmentierung von Objektstrukturen bzw. Fehlerstrukturen für Bilddatensätze ausgewählter industrieller Produkte für die anschließende Anwendung der segmentierten Strukturen im Deep-Learning-Training und -Test einzusetzen. Danach werden die Ergebnisse von verschiedenen Untersuchungen miteinander verglichen und bewertet. Dazu wird die folgende Forschungsfrage gestellt: wie kann ein ideales Erkennungsergebnis erhalten werden? Um diese Frage zu beantworten, werden Untersuchungen mit verschiedenen Kombinationen von Trainingsparametern und Datensätzen von Wafern durchgeführt. Die Datensätze unterscheiden sich durch die Klassenanzahl bzw. durch den Unterschied der eingeschlossenen Klassen von Defekten „Schmetterlinge“, „Linien“ und „Mini-Defekte“ innerhalb des Wafers als auch durch den Labeling-Stil bzw. die rechteckige Maske oder die Kontur-Maske der Defekte. Bei den Trainingsparametern handelt es sich um die Parameter, die die Fähigkeit des erzeugten Deep-Learning-Modells beeinflussen können, z.B. Epochs-Zahl und Learning-Rate. Es wird eine Kombination gefunden, mit der das beste Modell trainiert wird, damit die meisten Defekte innerhalb eines neuen Wafers richtig erkannt und klassifiziert werden können. Die Ergebnisse zeigen, dass beruhend auf dem Datensatz mit allen drei Klassen von Defekten und mit rechteckiger Maske ein bestmögliches Deep-Learning-Modell trainiert werden kann. Ein solcher Datensatz kann beim Labeln eine ausführliche und deutliche Definition bzw. Ground-Truth für jede Art von Defekten bieten und infolgedessen eine genaue Erkennung von neuen Defekten ermöglichen. Weiterführende Untersuchungen zur Erkennung der Fehlerstrukturen sollten sich mit Defekten am Rand der Wafers beschäftigen.
Ein dynamischer Bewegungsplanungsalgorithmus für den Roboterarm (Universal-Robot-10) basierend auf ROS, GTSAM und miniSAM. - Ilmenau. - 50 Seiten
Technische Universität Ilmenau, Masterarbeit 2022
Roboter werden zunehmend in dynamischen oder zeitvariablen Umgebungen eingesetzt. Diese Szenarien sind geprägt von sich bewegenden Hindernissen, Zielpunkte ändern sich und somit ist die Berechnung kollisionsfreier Trajektorien für die Navigation oder Missionsplanung wichtig. Im Hinblick auf den Arbeitsplatz und die Arbeitsinhalte von Industrierobotern werden höhere Anforderungen an die Gleichmäßigkeit der Bewegung, Echtzeit und Hindernisvermeidung gestellt. In diesem Arbeit wird ein Rahmen mit dem GPMP2-Bewegungsplanungsalgorithmus als Kernstück konstruiert, um das Teilproblem der Zielpunktänderung im Replanungsproblem zu lösen. Zunächst wird in diesem Arbeit der Rahmen des Zyklus Modellierungsphase - Planungsphase - Ausführungsphase, die in jeder Phase implementierten Funktionen und die in ROS verfügbaren Funktionspakete beschrieben. In der Modellierungsphase werden hauptsächlich die Konstruktion der ESDF-Map und die Erfassung der Zielkonfiguration des Roboterarms implementiert; in der Planungsphase werden hauptsächlich die Replanung und die Neuplanung durchgeführt; in der Ausführungsphase werden hauptsächlich einige technische Probleme gelöst, die bei der Anwendung der Replanung auftreten. In den folgenden Kapiteln werden die spezifischen Funktionen der einzelnen Phasen, die Einzelheiten ihrer Umsetzung, die dahinter stehenden Überlegungen und die auftretenden Probleme ausführlich beschrieben. Schließlich werden Leistungstests zur Erzeugung der ESDF-Map, Tests zur Replanung und Stabilitätstests des gesamten Frameworks in der ROS-Simulationsumgebung durchgeführt.
Pfadplanung und Simulation eines robotergesteuerten Kalibrierprozesses für ein Multi-View-Stereosystem. - Ilmenau. - 106 Seiten
Technische Universität Ilmenau, Masterarbeit 2022
Multi-View-Stereo-Systeme werden in der Industrie u.a. zur Erfassung von Arbeitsumgebungen eingesetzt. Dazu ist jedoch eine präzise Erfassung der Objekt- Abmessungen erforderlich. Dies gelingt im Zuge einer Kalibrierung des Multi-View-Stereo-Systems, sodass eine präzise Tiefenrekonstruktion der erfassten Umgebung möglich ist. In dieser Arbeit wurde dazu mithilfe des Simulations-Frameworks ROS-Melodic und Gazebo 9.0 ein robotergesteuerter und damit autonomer Kalibrierprozess eines Multi-View-Stereo-Systems unter Einsatz von LUX13HS-Sensoren entwickelt. Der entwickelte Kalibrierprozess soll den Aufwand gegenüber einer manuellen Durchführung reduzieren und gleichzeitig sicherstellen, dass die Anforderungen an die Präzision erfüllt werden. Die Prozesskette umfasst eine landmarken-basierte Pfadplanung und gewährleistet, dass der Roboter die Kalibrierpositionen ansteuern kann. Außerdem wurde ein Pfadplanungsansatz entwickelt, der eine landmarken-unabhängige Pfadplanung in einem Arbeitsbereich ermöglicht. Beide Ansätze sollen gewährleisten, dass im Zuge eines autonomen Detektions- und Kalibrierprozesses eine präzise und robuste Kalibrierung der Einzelkameras und Stereopaare möglich ist. Als Grundlage für die Kalibrierung werden ein planares ChArUco-Board und ein dreidimensionaler ArUco-Würfel verwendet. Diese werden im Hinblick auf den gesamten roboter-gesteuerten Pfadplanungs- und Kalibrierprozess untersucht und einander gegenübergestellt. Die einzelnen Prozesse wurden schließlich in mehreren nicht-linearen und linearen Messanordnungen mit paralleler bzw. konvergenter Kameraausrichtung evaluiert. Damit wurde die Eignung der verwendeten Kalibriermethodik für eine anschließende Tiefenrekonstruktion eingeschätzt. Hierbei hat sich gezeigt, dass für das ChAruco-Board eine robuste Kalibrierung im Zuge der in dieser Arbeit entwickelten Prozesskette gelingt.
Bestimmung von Gelenkwinkeln eines geländegängigen autonomen Gabelstaplers auf Basis von 2D Kameradaten. - Ilmenau. - 112 Seiten
Technische Universität Ilmenau, Masterarbeit 2022
Im Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung (IOSB) Institutsteil angewandte Systemtechnik (AST) wird innerhalb des Projekts Autonomie-KITpro (AKITpro) ein geländefähiges, fahrerloses Transportfahrzeug (FTF) mit einer Knicklenkung entwickelt. Ziel der Arbeit ist es, Lösungen zum Bestimmen des Lenkwinkels des FTF auf Basis von 2D Kameradaten zu entwickeln. Dazu werden mehrere Konzepte erarbeitet, die unterschiedliche Merkmale des Fahrzeugs und verschiedene Verfahren der Bildverarbeitung einsetzen, um den Lenkwinkel zu bestimmen. Zu den eingesetzten Methoden zählen markerbasierte sowie makerlose Verfahren, die klassische Methoden der Bildverarbeitung verwenden, und ein Ansatz mit neuronalen Netzen. Die in den Konzepten aufgestellten Annahmen werden durch Implementierungen erprobt und optimiert. Anschließend werden die Lösungsansätze anhand von festgelegten Kriterien bewertet. Es wird gezeigt, dass alle vorgestellten Konzepte den Lenkwinkel des Fahrzeugs bestimmen können, aber nicht alle robust gegenüber Umwelteinflüssen und Kamerastörungen sind. Darüber hinaus verdeutlicht die Gegenüberstellung der Lösungsansätze, dass der Ansatz basierend auf Aruco-Markern am genausten und leistungsfähigsten ist, im Vergleich zu den Ansätzen mit CNN oder fahrzeugeigenen Merkmalen.
Datensatzanalyse ausgewählter Schüttgüter unter Verwendung von Hyperspektralsensorsystemen. - Ilmenau. - 90 Seiten
Technische Universität Ilmenau, Bachelorarbeit 2022
Mit der Entwicklung der bildgebenden Spektroskopie hat sich die Fähigkeit des Menschen, durch bildgebende Technologie erweiterte Informationen zu gewinnen, als Analysebasis, stark verbessert. Eine Vorverarbeitung der Daten ist aber zwingend notwendig, da die Schwierigkeit der Verarbeitung von Spektralbildern mit zunehmender räumlicher Auflösung exponentiell ansteigt. In dieser Arbeit wurden die Daten mit der Programmiersprache Python 3.8 und der Programmiersoftware Spyder verarbeitet. Für die Aufnahme von Datensätzen wurde eine Snapshot-NIR-Multispektralkamera verwendet. Zwei Vorverarbeitungslösungsansätze wurden erfolgreich mit NIR-Hyperspektraldatensätzen und Multispektraldatensätzen entwickelt. Dies bildet die Grundlage für spezifische Erkennungsaufgaben in der nachfolgenden Bildverarbeitung. Schließlich wird die Eignung der verwendeten Kamerasysteme anhand der Ergebnisse bewertet.