Final theses studies

Die vorliegende Masterarbeit behandelt die Untersuchungen zur Konzeption eines steuerbaren multispektralen Beleuchtungssystems. Das Ziel der Arbeit ist es, verschiedene Konzepte zur Umsetzung einer Beleuchtung für einen Bildverarbeitungssensor an Portalmessgeräten zu erarbeiten. Dazu werden die alten und neuen Bildsensoren und Objektive des Systems auf ihre Lichtempfindlichkeit untersucht und miteinander verglichen. Anschließend werden die Abstrahlcharakteristiken verschiedener LEDs und Fokussieroptiken analysiert und geeignete Kombinationen ausgewählt. Dabei überzeugte eine LED-Reihe von Osram durch eine gute Lichtleistung. Durch die Variation der Anordnung der Lichtquellen und verschiedene vorgesetzte Optiken ergaben sich sieben Konzepte, die mit der Hilfe der VDI-Richtlinie 2225 miteinander verglichen und bewertet wurden. Dabei zeichnete sich das Konzept mit zur optischen Achse geneigten LEDs und zusätzlicher Fokussieroptik durch eine effiziente Nutzung der Lichtenergie und geringe Herstellungskosten aus. Aus diesem Grund wird das Konzept zur weiteren Bearbeitung empfohlen.

In der Mensch-Roboter Kollaboration sowie bei Anwendungen mit unbemannten Fluggeräten (engl. Unmanned Aerial Vehicle, UAV) hat hierbei die Posenschätzung sowie Kalibrierung eine wichtige Schlüsselrolle. UAVs finden in verschiedenen Anwendungsbereichen wie Luftbildfotografie, Kartierung und Vermessung Verwendung. Das Landen in anspruchsvollen Umgebungen wie auf einem sich bewegenden Objekt bei Nacht oder in unwbwnwm Boden stellt jedoch aufgrund von schlechten Lichtverhältnissen und hoher Bewegung eine Herausforderung dar. Die Kamerakalibrierung ermöglicht es dem UAV, seine Position und Entfernung genau zu schätzen und somit eine sichere und präzise Landung durch Echtzeit-Anpassung des Flugwegs zu gewährleisten. Hierfür werden beispielsweise Marker wie ArUco-Marker verwendet. Bei Verwendung der traditionellen OpenCV-Methode gestaltet sich die Markererkennung unter den genannten Umweltbedingungen schwierig, was zu einer ungenauen Schätzung der Kamerakalibrierungsparameter und der Position führt. Diese Masterarbeit beschreibt die Implementierung des DeepChArUco Frameworks (nicht frei verfügbar) nach der Veröffentlichung [HDC+18]. Dieses Framework umfasst zwei Deep Convolutional Neural Networks (ChArUcoNet und RefineNet). Für das Training des Modells werden zwei Datensatze verwendet: ein realer Datensatz des Fachgebiets Qualitätssicherung und Industrielle Bildverarbeitung (TU Ilmenau) für ChArUcoNet und eigene synthetisch generierte Daten für das RefineNet. Es werden verschiedene Datenaugmentierungstechniken angewendet, um die schwierigen Bedingungen im Datensatz widerzuspiegeln. Es werden vier verschiedene Testfallstrategien entwickelt, um die Markererkennungsleistung auf dem Testdatensatz zu bewerten: (1) traditionelle Methode, (2) ChArUcoNet ohne Verfeinerung, (3) ChArUcoNet mit traditioneller Verfeinerung und (4) ChArUcoNet mit RefineNet. Die Testergebnisse zeigen, dass die traditionelle Methode unter extremen Bedingungen schlechte Leistung erbringt und nur 54 % der ChArUco-Marker erkennt, was zu einer ungenauen Kalibrierungsparameterschätzung führt. Die trainierten Modelle verbessern die Markererkennung jedoch signifikant auf 92 %, was zu verbesserter Schätzung der Kalibrierungsparameter und präziser ChArUco-Positionsbestimmung unter komplexen Bedingungen führt. Eine Einschränkung der Implementierung besteht darin, dass in einigen Bildern identische IDs zweimal erkannt werden, was zu fehlerhafter Klassifizierung der IDs führt. In dieser Arbeit werden zukünftige Arbeiten beschrieben, um die Gesamtleistung der eigen umgesetzten DeepChArUco Methode zu verbessern. Im Rahmen dieser Arbeit entstand eine frei verfügbare Umsetzung des DeepChArUco-Frameworks (GitLab).

In den letzten Jahren leiden immer mehr Mensch unter den Symptomen von Schlafstörungen. Diese Symptome können durch die Überwachung der Vitalparameter diagnostiziert werden. Herkömmliche Überwachungsmethoden wie die Polysomnographie (PSG) sind kompliziert in der Anwendung und beeinträchtigen die Qualität des Schlafs des Patienten. Ein multimodales und multispektrales Sensorsystem ermöglicht die Fernschätzung der Vitalparameter des menschlichen Körpers direkt aus dem Video, das von der Kopfposition, -orientierung und -bewegung abhängig ist. Um sicherzustellen, dass die Vitaldaten effektiv extrahiert werden können, muss daher in der Phase der Datenvorverarbeitung die Auswertbarkeit der erfassten Videodaten bestimmt werden. In der vorangegangenen Arbeit wurde das oben genannte Sensorsystem zur Langzeitüberwachung der Vitalparameter von Patienten mit Schlafapnoe im Schlaflabor des Universitätsklinikums Essen eingesetzt. Nach dem Stand der Technik gibt es keinen Anwendungsfall für die Reinigung von Gesichtsvideos zur Extraktion von Vitaldaten im medizinischen Umfeld. In dieser Arbeit wird eine stabile und effektive Methode auf der Grundlage von maschinellem Lernen und Techniken zur Gesichtsdetektion für die Bereinigung von Gesichtsvideodaten in diesem speziellen Szenario vorgeschlagen. Zunächst wird für jedes aufgenommene Bild das Gesicht detektiert und mit 478 Landmarken auf der Grundlage des Mediapipe Solution Face Mesh dargestellt. Diese Landmarken werden weiter definiert und als Gesichtsmerkmale ausgewählt. Mit den definierten und ausgewählten Gesichtsmerkmalen kann die Datenauswertbarkeit durch die Einstellung der Schwellenwerte bestimmt werden. In dieser Arbeit wurde maschinelles Lernen integriert, um die traditionelle Schwellenwertmethode für diese binäre Klassifizierung zu ersetzen. Darüber hinaus werden auch Arm- und Handdetektion berücksichtigt, um die Bilder mit typischen Verdeckungen des Gesichts zu bereinigen. Um die Leistung der vorgeschlagenen Methode zu bewerten, wurden 128-stündige Videos von 16 Patienten während des Schlafs mit 15,2-Hz-Bildern aufgenommen. Obwohl die Qualität der Grundwahrheit aufgrund der menschlichen Subjektivität variieren kann, was sich negativ auf das Modelltraining auswirkt, kann die vorgeschlagene Methode bei der Leave-One-Out-Validierung immer noch eine Genauigkeit von über 90 % erreichen.

Multispektrale Bildgebung (MSI) kann hochaufgelöste Spektraldaten über einen breiten Bereich von Bändern aufzeichnen und hat sich in vielen Bereichen wie der medizinischen Bildgebung, der Fernerkundung, der Minenerkennung und der militärischen Zielverfolgung als sehr nützlich erwiesen. MSI ist Teil der Spektralbildgebung und kombiniert die Vorteile von Spektral-, Textur- und Forminformationen. Es kann versteckte Informationen in einer Szene aus verschiedenen Spektralbereichen aufdecken und die Systemeffizienz steigern, indem es diese Informationen in Bilderkennungsaufgaben integriert. Die inhärente Natur multispektraler Daten, die durch hohe Dimensionalität und Rechenkomplexität gekennzeichnet sind, stellt jedoch große Herausforderungen für eine effektive Bildverarbeitung und -klassifizierung dar. Unser Ziel ist es, diese Herausforderungen durch die Anwendung und Entwicklung einer innovativen Vorverarbeitungsdatenpipeline zu bewältigen, die auf multispektrale Bilder zugeschnitten ist. Da bestehende Vorverarbeitungspipelines für Bilderkennungsaufgaben Mängel aufweisen, versucht diese Arbeit, die Effizienz und Genauigkeit des Modelltrainings zu verbessern und dabei Algorithmen zur Reduzierung der Dimensionalität zu berücksichtigen. Die Methodik umfasst eine umfassende Überprüfung bestehender Dimensionsreduktionsalgorithmen und die Formulierung einer Kombination von Vorverarbeitungsfunktionen. Damit wird auch das Thema Maschinelles Lernen im Rahmen dieser Arbeit eingeführt. In der theoretischen Diskussion präsentieren wir einen Datensatz, der zum Entwurf und zur Implementierung einer neuen Vorverarbeitungspipeline führt, die modernste Algorithmen zur Dimensionsreduktion enthält. Darüber hinaus wird die Bildklassifizierung als Leistungsbewertung der ausgewählten Vorverarbeitungstechniken angenommen und die ausgewählten Bildklassifizierungsmodelle vorgestellt. In unserem Versuchsaufbau arbeiten wir an der Anwendung dieser Modelle auf vorverarbeitete Daten und präsentieren Ergebnisse in Form einer durchschnittlichen Top-1-Genauigkeit für die Kombination ausgewählter Modelle und Vorverarbeitungsfunktionen an Testdaten. Durch die Bereitstellung eines systematischen Ansatzes zur multispektralen/hyperspektralen Bildvorverarbeitung verbessert diese Studie die Vorverarbeitungsmethoden und trägt dazu bei, das volle Potenzial hyperspektraler Daten in realen Anwendungen auszuschöpfen.

In der industriellen Qualität spielt die Analyse und Klassifizierung von Schüttgütern eine wichtige Rolle sowohl in der Lebensmittelindustrie als auch im Bauwesen und Recycling. Zum Beispiel ist die automatisierte Analyse von Gesteinen für die Verwendung als Zuschlagstoffe im Beton unerlässlich, um zukünftige Zerstörungen durch reaktive Gesteine in Form von Alkali-Silica-Reaktion zu verhindern. Diese Arbeit zielt darauf ab, durch einen Algorithmus die Masse jedes Gesteinstyps, der als Zuschlagstoffe verwendet wird, zu schätzen, um ihre Qualität im Beton zu kontrollieren, indem mehrere Proben untersucht werden. Dazu werden Daten verwendet, die mit einem 3D-Laserlinienscanner und einer Präzisionswaage erfasst wurden, um die geschätzten Massenergebnisse jedes Gesteinstyps mit ihrer tatsächlichen Masse zu vergleichen.